reasoning フィールドに表示されます。推論に対応していないモデルの応答では、このフィールドの値は null です。
推論をサポートする、サポートされるモデル
次の表は、推論出力を返すことができる Serverless Inference モデルと、それぞれの動作方法をリストしています:- 常時有効: モデルは常に推論出力を返します。これを無効にすることはできません。
- デフォルトで有効 / デフォルトで無効: 推論出力をオンまたはオフにできます。設定を指定しない場合のデフォルトを表に示します。
- 適応型; モデルがデフォルトで選択: モデルはリクエストごとに推論出力を返すかどうかを決定します。これを上書きすることができます。
推論が常時有効なモデル
前述のサポートされるモデルの表でモデルが常時有効と記載されている場合、推論は常に含まれ、無効にすることはできません。
推論を無効にする
前のサポートされるモデルの表でモデルがデフォルトで有効 と記載されている場合、推論を無効にすると、トークン使用量を削減したり、応答を簡潔にしたりできます。リクエストで推論を使用しない場合は、chat_template_kwargs で enable_thinking フラグを False (Python) または false (Bash) に設定します。リクエストが完了すると、応答に推論内容は含まれません。
- Python
- Bash
推論を有効にする
前述のサポートされるモデルの表でモデルがデフォルトで無効 と表示されている場合は、前述のコードスニペットで enable_thinking フラグを True (Python) または true (Bash) に設定すると、推論を有効にできます。