OpenAI の Decisions API が全面公開:ミリ秒単位の意思決定、TypeSafe の Jev に挑む

OpenAI の Decisions API が全面公開:ミリ秒単位の意思決定、TypeSafe の Jev に挑む

OpenAI の Decisions API は 10 月 22 日にパブリックベータを終了し、すべての顧客に提供開始されました。リアルタイム意思決定のためのインターフェースです。GPT-6 Luna を「意思決定モデル」として再調整し、テキスト・画像・JSON 入力と事前定義の質問に対して、長い生成テキストの代わりに確率・選択肢・スコア型の回答を返します。

3 つのポイント:

1. 速度:ミリ秒レスポンス。 1 回の意思決定呼び出しのレイテンシは 1〜3 秒から 100〜180 ミリ秒に圧縮。OpenAI によれば GPT-6 Luna の Responses API で同じ作業をする場合の約 10 倍高速です。初期顧客のデータも鮮烈で、Datadog はレイテンシ 40 分の 1、Box は 5 倍の高速化を報告。語学学習アプリ Speak はユーザー操作間の間隔を 1.4 秒から 0.13 秒に短縮しました。プロダクトリードの Nikunj Handa 氏は次の目標を 60 ミリ秒と掲げます——「動画の 1 フレームごとに API 呼び出しができる速度」です。

2. 安さ:入力課金のみ。 入力は 100 万トークンあたり $0.10、キャッシュ入力は $0.01 で、出力トークンは無料。分類・リクエスト振り分け・タスク優先順位付けといった高頻度・低価値タスクでは、フル LLM 呼び出しを置き換えてコストとレイテンシの両方を節約できます。

3. 対抗馬:TypeSafe の Jev。 「意思決定モデル」というカテゴリ自体を切り開いたのは、元 OpenAI 研究者が創業した TypeSafe で、Jev は数週間で 76 億ドル企業になりました。公開ベンチマークでは Jev が 3 位、OpenAI の意思決定モデルは 8 位/14 位。典型的な「流通力 vs 品質」の勝負であり、OpenAI は自社の流通力を武器に追い上げます。

GA 版では GPT-Live 音声システムのネイティブ統合、プロンプトキャッシング、ネイティブ JSON 入力、質問ごとの画像添付、1 リクエスト最大 400 質問、米国・EU の地域指定推論が追加されました。

原文リンク:原文を読む。要約は参考用です。

XWeiboLinkedInFacebook

コメント