Гуманоидного робота Unitree G1 обучили выполнять удары, прыжки и акробатические движения на основе видеозаписей тренировок мастеров боевых искусств. Робот не просто копирует позы из видео — он переносит движения в реальный мир, выдерживает толчки и встаёт после падения примерно за 0,7 секунды.
Исследователи собрали 197 видеозаписей тренировок и разбили их на 1726 отдельных фрагментов с ударами, стойками, прыжками и сальто. Эти движения затем адаптировали для робота с 29 управляемыми суставами.
Прямое копирование движений человека не сработало бы. Видео показывает только траектории тела, но не содержит информацию о силах и напряжении в суставах. К тому же при автоматической обработке видео появляются ошибки: ноги проходят сквозь пол, суставы дрожат, тело в прыжке нарушает законы физики. Авторы работы вручную исправляли проблемные кадры и рассчитывали траектории полёта по баллистическим законам.
После этого робот обучался управлять моторами через обучение с подкреплением. Алгоритм начинал с физически реальных положений и постепенно подбирал движения для прыжков и вращений вместо того, чтобы слепо повторять ошибочную траекторию из исходного видео.
Отдельного режима для подъёма после падения разработчики не создавали. Одна модель одновременно училась выполнять движения, устойчивости к толчкам и вставанию из разных положений. На испытаниях среднее время восстановления составило 0,692 секунды — авторы утверждают, что это самый быстрый результат среди опубликованных систем, где одна модель отвечает и за движение, и за подъём после падения.
Метод всё ещё требует участия человека: проблемные участки видео нужно размечать вручную. Работа опубликована как препринт и не прошла рецензирование.
