API Decisions от OpenAI вышла из публичной беты 22 октября и теперь доступна всем. Это интерфейс для принятия решений в реальном времени: GPT-6 Luna, перенастроенный в "модель решений" — на вход текст, изображения или JSON и предзаданные вопросы, на выходе ответы типа вероятность, выбор или оценка вместо длинного сгенерированного текста.
Три ключевых момента:
1. Скорость: ответы за миллисекунды. Задержка одного вызова решения падает с 1–3 секунд до 100–180 мс — примерно в 10 раз быстрее, чем та же задача через Responses API модели GPT-6 Luna, по данным OpenAI. Данные первых клиентов впечатляют: Datadog сообщает о снижении задержки в 40 раз, Box — о росте скорости в 5 раз, а приложение для изучения языков Speak сократило интервал между действиями с 1,4 секунды до 0,13. Руководитель продукта Nikunj Handa называет следующую цель — 60 мс: "хватит на API-вызов для каждого кадра видео".
2. Дешево: оплата только за вход. Вход — $0,10 за миллион токенов, кэшированный вход — $0,01 за миллион, выходные токены бесплатны. Для частых низкозначимых задач — классификации, маршрутизации запросов, приоритизации — разработчики могут заменить полные вызовы LLM и сэкономить деньги и задержку.
3. Соперник: Jev от TypeSafe. Категорию "моделей решений" создала TypeSafe — основанная бывшим исследователем OpenAI — чей Jev за недели стал компанией стоимостью $7,6 млрд. В публичных бенчмарках Jev на третьем месте, а модель решений OpenAI — на восьмом/четырнадцатом: классическая битва дистрибуции против качества, и OpenAI делает ставку на силу своей дистрибуции.
В GA-версии добавлены нативная интеграция с голосовой системой GPT-Live, кэширование промптов, нативный ввод JSON, изображения к отдельным вопросам, до 400 вопросов на запрос и гео-направленный инференс в США и ЕС.
Источник: читать оригинал. Аннотация приведена только для справки.
Комментарии