Огромная карта неба стала лишь начальной точкой для создания более полезного инструмента. Одиннадцатый выпуск проекта DESI Legacy Imaging Surveys преобразовался в доступный для компьютерной обработки каталог, содержащий примерно четыре миллиарда космических объектов. Теперь учёные могут применять программные методы для поиска, фильтрации и исследования данных, вместо того чтобы вручную изучать изображения. Необходимую информацию можно получить посредством запросов к базе данных и обрабатывать её с помощью языка программирования Python в среде Jupyter Notebook.

В летние месяцы специалисты представили панораму размером 5,6 триллиона пикселей, включающую почти четыре миллиарда звёзд, галактик и прочих космических объектов. Изображение охватывает примерно три четверти небосвода в видимом спектре и в диапазоне ближнего инфракрасного излучения. Хотя изначально внимание концентрировалось на впечатляющих визуальных характеристиках, настоящая ценность проекта постепенно переходит на новый уровень: масштабная фотография функционирует как база данных, пригодная для автоматизированного поиска и соотнесения с информацией, полученной от новейших телескопов.

В центре Astro Data Lab основной реестр DR11 насчитывает почти четыре миллиарда записей. Для каждого объекта сохраняются сведения об излучаемом свете и иные характеристики, выявленные при обработке фотографических материалов. Система позволяет направлять запросы к архиву, обращаться к данным из приложений Python, трудиться в среде Jupyter Notebook и загружать отдельные участки картин. Учёный может выделить определённый участок космоса или подходящую совокупность объектов, не требуя загрузки полного многомиллиардного архива.

Подобная стратегия критически важна для современной астрономии, где темпы накопления наблюдательных данных превосходят возможности традиционного ручного исследования. Снимки преобразуются в организованные массивы параметров, и обработка информации всё чаще происходит непосредственно около центров хранения данных. Вместо пересылки огромных объёмов информации на персональный компьютер исследователь отправляет поисковый запрос или процедуру обработки на удалённый сервер и получает только требуемые итоги. Проект DESI Legacy Imaging Surveys демонстрирует архитектуру, которая потребуется грядущим поколениям крупномасштабных астрономических аппаратов.

Обсерватория имени Веры Рубин в настоящее время формирует приблизительно 10 ТБ сведений в течение одной ночи, участвуя в десятилетнем проекте Legacy Survey of Space and Time. Вновь полученные изображения подвергаются обработке практически сразу, а механизм может разослать десятки миллионов информационных сообщений за одну ночь об объектах, которые сместились, внезапно ярко вспыхнули или изменили свою интенсивность. К концу программы первоначальные изображения могут достигнуть объёма в 30 ПБ, а результирующий каталог будет состоять из десятков миллиардов единиц и триллионов разнообразных показателей.

Анализировать такой объём информации посредством визуального осмотра нереально. Компьютеризированные процедуры должны различать стандартные колебания излучения от необычных происшествий, определять нетипичные скопления звёзд, взрывающиеся звёзды, малые планеты и прочие кандидаты для повторного тщательного наблюдения. Авторы Legacy Surveys видят громадный архив как источник обучения для интеллектуальных алгоритмов, предназначенных для обработки петабайтных потоков космологической информации. Одновременно обширное территориальное охватывание даёт возможность сравнивать текущие исследования с уже имеющейся картой космоса и выявлять объекты, которые появились или трансформировались позже.

Аналогичный вызов ожидает космический аппарат Nancy Grace Roman. В процессе основной пятилетней программы прибор должен собрать около 20 ПБ обработанной информации. Космическое ведомство США уже создаёт техническую базу, ориентированную не на загрузку архивов, а на обработку прямо в облачной инфраструктуре. Открытая для исследователей система Roman Research Nexus предоставляет инструменты для вычислений, среду Jupyter Notebook и демонстрационные наборы информации, позволяя астрономам заранее разрабатывать подходы для обработки грядущего потока исследовательских материалов.

Масштабность Roman наглядно демонстрирует, почему справочники для поиска становятся столь же критичны, как и сами приборы наблюдения. По расчётам NASA, за один календарный месяц приборный комплекс сумеет произвести примерно в два раза больше информации, чем Hubble собрал за три десятилетия. Практическая значимость теперь зависит не только от чувствительности систем регистрации или диаметра основного зеркала, но и от скорости выявления нескольких представляющих интерес объектов среди миллиардов данных.

Проект DESI Legacy Imaging Surveys находится на переходной стадии между традиционной астрономией больших фотоснимков и будущей астрономией огромных информационных хранилищ. Реестр DR11 уже позволяет проверять запросы, системы категоризации и подходы компьютеризированного исследования на почти четырёх миллиардах записей. Когда грядущие телескопы начнут ежедневно выдавать терабайты данных, смысл такого каталога будет заключаться не столько в обзоре значительной части космоса на единственном дисплее, сколько в возможности оперативно вопросить огромный архив, какие трансформации произошли, куда направить поиск нечастого явления и какие кандидаты требуют дополнительных исследований.