Компания OpenAI запустила ограниченный предварительный просмотр режима Ultrafast для модели GPT-5.6 Sol, доступный избранной группе клиентов через API OpenAI. По словам разработчиков, эта версия обрабатывает запросы в 14 раз быстрее, чем стандартная версия, и может генерировать до 750 выходных токенов в секунду. Режим Ultrafast был разработан в партнёрстве с компанией Cerebras и использует её технологию для достижения минимальной задержки при выводе данных.
На этапе тестирования клиенты используют режим Ultrafast в различных областях: разработке кода, электронной коммерции, финансовых исследованиях и системах поддержки в реальных условиях. OpenAI собирает данные о том, как значительное увеличение скорости влияет на различные сценарии использования и как изменяется работа с моделями, когда они реагируют с той же скоростью, с которой пользователи с ними взаимодействуют.
Джон Крепеззи из Jane Street, работающий над ИИ-ассистентами, отметил: «Прирост скорости благодаря Cerebras впечатляет. Это открывает новые способы применения моделей и делает более практичной и продуктивной совместную работу разработчиков с искусственным интеллектом».
В самой OpenAI режим Ultrafast применяется для реагирования на инциденты, включая анализ логов, исследование трассировок, обобщение переговоров, определение дополнительных проверок и подготовку или проверку исправлений. Ускоренная обработка сокращает время между обнаружением проблемы, проверкой гипотезы и выбором следующего шага, при этом инженеры остаются ответственными за принимаемые решения и их внедрение.
OpenAI также использует режим Ultrafast в исследовательских процессах, требующих поиска информации, выполнения запросов к данным, работы с подключёнными инструментами и синтеза информации. По информации компании, исследовательские группы, которые обычно запускают эксперименты вечером и изучают результаты на следующее утро, теперь могут выполнить несколько итераций в течение одного рабочего дня.
