То, что казалось ошибкой мозга, оказалось признаком полезного механизма. Учёные из Йоркского университета обнаружили, что недавний визуальный опыт меняет координаты объектов в мозге приматов, тогда как нейросети ориентируются исключительно на текущие пиксели кадра.
Исследователи использовали эффект последействия движения. После длительного взгляда на объект, движущийся в одну сторону, неподвижный предмет кажется смещённым в противоположную сторону. Мозг воспринимает не отдельные кадры, а непрерывный процесс, постоянно корректируя восприятие на основе предыдущих сигналов.
В экспериментах люди видели это смещение. Аналогичный сдвиг активности обнаруживался в нижней височной коре макак, отвечающей за распознавание объектов. Тестовый кадр оставался идентичным при разных условиях. Мозг переконструировал внутреннее представление о положении предмета исходя из того, что видел перед этим.
Искусственные нейросети вели себя иначе. Команда проверила прямые сети, рекуррентные модели и современные системы обработки видео. Они точно определяли координаты объектов, но практически не воспроизводили адаптивный эффект.
Дело было не в точности, а в отсутствии динамики. Нейросетям не хватало механизма, который менял бы внутреннее представление после предыдущего визуального опыта. Схожий разрыв между человеком и машинным зрением проявляется и в других задачах с движением и изменяющейся сценой.
Когда исследователи вручную добавили в признаки сети изменения, измеренные в коре приматов, модели начали демонстрировать похожее смещение. Авторы назвали такой адаптивный пересчёт одним из недостающих компонентов современного машинного зрения.
Это не означает, что ИИ нужно учить ошибаться. Иллюзия служит индикатором более общего свойства: биологическое зрение использует историю сигналов и постоянно перестраивает внутреннюю модель мира. Ранее такой подход уже помог разработчикам делать нейросети устойчивее, перенося особенности зрения приматов в искусственные модели.
