Skild AI разработала модель S1, которая осваивает многошаговые операции, посмотрев одну видеодемонстрацию. При этом переучивать нейросеть не требуется. Первые промышленные применения уже идут на производстве: Skild AI, Nvidia и Foxconn используют роботизированные манипуляторы семейства Skild Brain при сборке систем Nvidia Blackwell.
Вместо программирования каждого движения оператор показывает S1, как выполнить работу. Модель смотрит видео и переводит увиденное в собственные действия. Такой подход называют контекстным обучением: пример служит инструкцией во время выполнения, без изменения весов нейросети.
Skild AI проверила S1 на операциях, которых не было в обучающем наборе. Робот пересаживал растение, готовил блины, заваривал кофе и собирал комплект деталей. Некоторые последовательности занимали десять минут и включали десятки отдельных действий. При пересадке растения между видео и началом работы робота прошло 11 минут.
S1 не повторяет каждое движение человека дословно. По данным Skild AI, модель определяет цель задачи и подстраивает действия под текущую ситуацию. Во время тестов исследователи передвигали предметы, меняли свет и заменяли объекты похожими по назначению. Робот продолжал работу и повторял действия после неудач. В одном тесте вместо лейки из видео рядом оставили чашку с водой, и система использовала чашку.
Главное преимущество появляется при частой смене операций. Обычному промышленному роботу новая задача требует отдельного набора примеров, программирования или переучивания. Skild AI утверждает, что одна видеодемонстрация для S1 в тестах дала результат, равный примерно 380 демонстрациям для модели, которую переучивали под новую задачу. Сбор такого объёма видео вручную занимал от 50 до 100 часов.
На производстве Skild AI применяет ту же идею через платформу Skild Brain. Nvidia описывает работу двухманипуляторной системы, которая устанавливает токопроводящую шину и ограничительный блок, затем закручивает 16 винтов. Робот точно работает с деталями, контролирует контакт, помнит последовательность и корректирует движения при изменении положения объектов.
Роботизированная система участвует в сборке оборудования Nvidia Blackwell на производстве Foxconn в Хьюстоне. Публикуемые материалы не утверждают, что заводскую операцию робот освоил после одного видео: возможность обучения по одной демонстрации относится к модели S1, а промышленное применение описывается как использование платформы Skild Brain в целом.
Для обучения Skild AI объединяет видеозаписи действий людей, дистанционное управление роботами, реальные данные и компьютерное моделирование. Nvidia предоставляет инфраструктуру и инструменты Isaac Sim, Isaac Lab, Cosmos и Omniverse для создания виртуальных сцен и синтетических примеров. Это решает главную проблему робототехники: реальные машины собирают опыт гораздо медленнее и дороже, чем языковые модели получают текстовые данные из интернета.
Skild AI уже развёртывает системы на реальном производстве. За десять месяцев после первого коммерческого внедрения у компании появилось более 60 платящих клиентов в логистике, производстве, доставке, инспекции объектов, центрах обработки данных и других областях. Следующая цель: научить одну модель переносить навыки между разными типами робопов и осваивать новые операции без длительной перенастройки каждой производственной линии.
