JSON 모드 활성화

더 쉽게 파싱할 수 있도록 모델 응답에서 구조화된 JSON 출력을 얻기 위해 Serverless Inference에서 JSON 모드를 구성합니다.

JSON 모드를 활성화하면 모델이 유효한 JSON 형식으로 응답을 반환하도록 설정합니다. 다만 응답의 스키마가 항상 일관되거나 특정 구조를 따르지는 않을 수 있습니다. 일관된 구조의 JSON 응답이 필요하다면, 가능하면 structured output을 사용하는 것을 권장합니다.

JSON 모드를 활성화하려면 요청에서 “response_format”을 다음과 같이 지정합니다:

Python

import json
import openai

client = openai.OpenAI(
    base_url='https://api.inference.wandb.ai/v1',
    api_key="<your-api-key>",  # https://wandb.ai/settings 에서 API 키를 생성하세요
)

response = client.chat.completions.create(
    model="openai/gpt-oss-20b",
    messages=[
        {"role": "system", "content": "You are a helpful assistant that outputs JSON."},
        {"role": "user", "content": "Give me a list of three fruits with their colors."},
    ],
    response_format={"type": "json_object"}  # 이렇게 하면 JSON 모드가 활성화됩니다
)

content = response.choices[0].message.content
parsed = json.loads(content)
print(parsed)

Bash

curl https://api.inference.wandb.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <your-api-key>" \
  -d '{
    "model": "openai/gpt-oss-20b",
    "messages": [
        {"role": "system", "content": "You are a helpful assistant that outputs JSON."},
        {"role": "user", "content": "Give me a list of three fruits with their colors."},
    ],
    "response_format": {"type": "json_object"}
  }'