Нейросети с подачи реставраторов начали мыслить по-дионисийски

Росписи собора Рождества Богородицы Ферапонтова монастыря в Вологодской области — шедевр древнерусской стенописи, важный не только потому, что это работа мастера Дионисия, но и по той причине, что этот комплекс фресок сохранился практически целиком. «Практически» значит все-таки «не совсем», и эти утраты давно дразнят воображение искусствоведов и сотрудников Музея фресок Дионисия. Разгадать загадку в Кирилло-Белозерском музее-заповеднике решили с помощью модных сегодня нейросетей. Но не на любительском уровне, а с помощью Института космических исследований РАН, точнее, его отделения физических наук.

Музей фресок Дионисия давно на «ты» с компьютеризацией. Из-за того что Ферапонтово находится далеко, а увидеть его хотят очень многие, собор полностью оцифрован, в результате чего создана его 3D-модель, доступная онлайн. В качестве базы для нового проекта использовалась мультиспектральная съемка росписей 2016 года, осуществленная ИКИ РАН, Московским государственным университетом геодезии и картографии, Национальным исследовательским центром «Курчатовский институт» и Государственным научно-исследовательским институтом реставрации (ГосНИИР).

Лакуны во фресках вызваны и временем, и человеческим фактором. В частности, в барабане купола в XVIII веке пробили окна, из-за чего часть стенописи исчезла. В список задач, поставленных перед искусственным интеллектом, включили изображения Спаса Вседержителя, Евы, Мафусаила, Сифа, Иареда, Еноса, Еноха и Ноя.

Для воссоздания утраченных изображений использовалась нейросеть Stable Diffusion. «Нейросеть в целом хорошо справляется с „ретушированием“ и малых, и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, что вполне естественно, но и фрагменты фигур святых, направление взгляда и положение рук», — считают в ИКИ. При этом заведующий отделом учета и хранения Музея фресок Дионисия Игорь Хоботов, участвовавший в тестировании работы искусственного интеллекта, уточнил, что пока еще не все идеально, есть ошибки: «В частности, фреска с изображением праматери Евы, где положение глаза сильно смещено относительно того, которое мы ожидали бы увидеть».

Чтобы подобных недочетов было меньше, базу нейросети пополняют репродукциями фресок аналогичной иконографии и стиля. «Мы готовы не только к традиционным подходам в своей работе, но и к новым, неординарным, — сказала по поводу этого проекта директор Музея фресок Дионисия Ирина Паршукова. — Я считаю, что мы только в начале пути».

Разумеется, проект реконструкции останется цифровым, дописывать утраченные части фресок на подлинных древних стенах никто не будет. Результаты «тестовых прогонов» конца 2023 года сейчас можно увидеть на сайте РАН в анимационном ролике.

Хотя проект реконструкции ферапонтовских фресок — в России первый, на Западе о подобном начали задумываться еще несколько лет назад. В 2021 году был запущен проект RePAIR («Реконструкция прошлого: искусственный интеллект и робототехника встречаются с культурным наследием»), который направлен на сбор цельных фресок из небольших разрозненных фрагментов стенописи, найденных в Помпеях (сохранилось около 10 тыс. фрагментов, которые лежат в фондах музеев мертвым грузом). В Китае искусственный интеллект работает с фресками пещер Дуньхуана, в Индии — с росписями Аджанты: в обоих этих исторических комплексах со временем появились новые утраты, и состояние их продолжает ухудшаться.