PrismML представила мультимодальную модель Bonsai, которая работает локально на умных очках с процессором Qualcomm Snapdragon AR1 Gen 1. Система анализирует видеопоток в реальном времени и отвечает на вопросы пользователя без обращения к облачным сервисам.
Модель состоит из языковой части на 1,7 млрд параметров и визуального энкодера на 0,3 млрд. Камера передаёт изображение локальному ИИ, и владелец может спрашивать об окружающих объектах, получая ответ прямо на устройстве. Такой подход превращает очки в постоянного помощника, а не просто в камеру или гарнитуру.
Ключевая особенность Bonsai — способ хранения параметров. Языковая часть использует 1-битное представление, визуальный энкодер остаётся 4-битным. Весь набор нельзя назвать полностью 1-битным.
По тестам Qualcomm, веса языковой части занимают 0,43 ГБ вместо 1,66 ГБ в 4-битной версии. Сжатие в четыре раза позволило разместить значительно большую модель в тех же ограничениях памяти. На платформе с 4 ГБ оперативной памяти и 6 TOPS производительности модель генерирует 15,36 токена в секунду против 7,44 у 4-битного варианта.
Для очков такая экономия критична. В тонкой оправе ограничена память и место для батареи, избыточное тепло создаёт проблемы. PrismML совместно с Qualcomm оптимизировала архитектуру под нейропроцессор Hexagon, сокращая объём данных и ускоряя обработку без постоянной связи с дата-центром.
Показанные результаты получены в контролируемых условиях с использованием специальных конфигураций, включая внутреннюю версию QNN с поддержкой 1-битных вычислений. Скорость зависит от конфигурации модели, ПО и текущей нагрузки.
Потребительский продукт с Bonsai пока не появился. PrismML и её партнёры не представили очки для массового рынка, поэтому демонстрация показывает техническую возможность, а не готовое устройство.
Два дня назад Qualcomm показала иной масштаб: новый мобильный процессор способен запускать ИИ на 30 млрд параметров на смартфоне. В очках память и энергопотребление ограничены жёстче, поэтому PrismML сосредоточилась не на абсолютном размере, а на максимальном сжатии.
Ещё один эксперимент демонстрирует прогресс миниатюризации: в августе разработчик запустил нейросеть на микроконтроллере дешевле 10 долларов. На этом фоне 2 млрд параметров в очках — ещё один шаг к ИИ, который работает рядом с пользователем вместо удалённого сервера.
