Цветы и фрукты для туалетной комнаты императрицы нарисовал ИИ

Технологии искусственного интеллекта и нейросети использовали для реконструкции композиций утраченных живописных вставок в Туалетной, которая входит в число личных апартаментов Екатерины II в Царском Селе.

В новом проекте, реализованном Фондом поддержки культурных инициатив Газпрома совместно с проектом ПАО «Газпром» «Друзья Петербурга», Санкт-Петербургским национальным исследовательским университетом информационных технологий, механики и оптики (Университет ИТМО) и Государственным музеем-заповедником «Царское Село» при поддержке технологического партнера Yandex Сloud, приняли участие десятки студентов петербургских и московских вузов. За два месяца они изучили историю места, освоили работу с нейросетями и генеративными моделями, сформировали подробные текстовые описания и сгенерировали варианты утраченных изображений.

Воссоздание личных апартаментов императрицы в Зубовском флигеле Екатерининского дворца, отделка которых была полностью утрачена в годы Великой Отечественной войны, — один из грандиозных реставрационных проектов, реализованных при поддержке ПАО «Газпром». Сейчас музей-заповедник «Царское Село» работает над возрождением живописных лаковых панно для Туалетной комнаты Екатерины II. В рамках проекта «Друзья Петербурга» Фондом поддержки культурных инициатив Газпрома была организована творческая лаборатория для студентов. Им предстояло изучить исторический материал и, используя нейросети и искусственный интеллект, создать эскизы, которые в будущем могли бы стать возможной основой для работы реставраторов.

Елена Давыдова, начальник управления ПАО «Газпром», директор Фонда «Газпром культурные инициативы», отметила: «Три года назад мы начинали с одной творческой лаборатории, а в этом году делаем шесть. Каждый раз это новый и колоссальный опыт, интересный для нас самих. Воссоздание визуальных образов исторических панно Зубовского флигеля студентами с помощью искусственного интеллекта — это решение и для музея: применить экспериментальные подходы и дать возможность поработать таким образом с историческим наследием. Я не знаю ни одного примера подобных лабораторий, и это яркий пример, где в одном проекте соединились физики и лирики, искусствоведы и технари. Две совершенно разные манеры мышления и отдельная сущность — искусственный интеллект, который, с одной стороны является инструментом, а с другой – имеет собственное «мнение». Эти эксперименты принимают наши уважаемые партнеры — музейные институции. И я уверена, что в таких экспериментах есть будущее».

Исторически Туалетная комната в личных покоях императрицы в Зубовском флигеле была украшена живописными панно, выполненными, вероятно, в Англии. Всего на стенах было 103 панно разного размера и формы: квадратные, овальные, круглые — от 9 до 50 см в диаметре. Во время Великой Отечественной эти интерьеры были практически уничтожены, многие драгоценные предметы пропали. К сожалению, сохранилась очень скудная иконография Туалетной и живописи, украшавшей ее. В распоряжении специалистов есть акварель Эдуарда Гау, выполненная им с натуры, но детали сюжетов каждого панно на ней практически не читаются. В 1947 году в Берлине обнаружили десять живописных вставок из Туалетной комнаты, которые теперь стали основой для реконструкции остальных изображений.

Участникам творческой лаборатории предстояло воссоздать сюжеты и образы исторических панно с помощью искусственного интеллекта — совершенно новый опыт и для студентов, и для петербургских музеев. Фактически музей-заповедник «Царское Село» стал экспериментальной площадкой для отработки новых возможностей современных цифровых технологий.

Как рассказала Анастасия Лаушкина, куратор проекта от Университета ИТМО, отобрать студентов для этого сложного междисциплинарного проекта было непросто. От потенциальных участников требовались, с одной стороны, интерес к искусству, с другой — владение навыками работы с ИИ и моделями машинного обучения. Поэтому в конечном итоге собралась большая команда из студентов семи петербургских вузов: СПбГУ, Университета ИТМО, Политехнического университета и других.

Желающие участвовать писали мотивационные письма, в которых объясняли, почему им интересен этот проект. Организаторы получили около 60 заявок, отбор прошло примерно 40 студентов, но из-за большой нагрузки в вузах непосредственно к проекту приступило 30 человек, из которых и были созданы команды. «Мы старались формировать команды таким образом, чтобы половина студентов была из сферы искусства, половина — из технической области», — объясняет Анастасия Лаушкина.

По словам Ираиды Ботт, заместителя директора ГМЗ «Царское Село» по научной и просветительской работе, сначала к предложению участвовать в проекте с использованием ИИ сотрудники музея отнеслись скептически. Их можно понять: представить, что компьютер будет вмешиваться в процесс реставрации, — страшный сон любого музейщика. К тому же предполагалось, что проект продлится всего два-три месяца, а это слишком короткий срок для серьезного знакомства с темой. «Мы пять лет изучали историю искусства в вузе и становились профессионалами в процессе многолетней работы, поэтому нам казалось, что студенты по определению не могут справиться с такой сложной задачей и в такие сроки, — рассказывает Ираида Ботт. — Но позитивный результат в работе лаборатории есть. И он нас порадовал».

Все панно — разножанровые; по такому же принципу разделили студентов на команды: одни занимались пейзажами, другие — сценами охоты, натюрмортами или мифологическими сюжетами. Участникам проекта предстояло познакомиться с сохранившимися оригиналами и образцами живописи, типичной для конца XVIII столетия, стилистикой интерьера и живописных произведений того времени и при помощи ИИ составить композиции картин. «Во время занятий со студентами мы постоянно объясняли им, в чем заключаются характерные особенности этой живописи, — поясняет Ираида Ботт. — Ведь главная задача нашей реставрации — сделать не просто похоже, но по возможности так, как это было, опираясь на аналоги, исследуя технику и материалы. Некоторые работы студентов довольно точно попали в стилистику оригиналов. Особенно это удалось в простых композициях с цветами и бабочками».

Больше двух месяцев продолжалась напряженная работа. Полученные результаты, представленные на презентации, подтвердили, что эксперимент можно считать удачным. Специалисты музея отобрали около десятка наиболее подходящих композиций из 30 выполненных студентами. Из них три или четыре — после тщательной доработки — предполагается использовать как эскизы в цвете для воссоздания в материале. «Надо признать, данные эскизы — хорошая основа для дальнейшей работы реставраторов, — отмечает Ираида Ботт. — И нам тоже было полезно узнать, что способна сгенерировать машина на основе описаний и иконографии. В целом результат получился убедительным».

Правда, как рассказали участники проекта, у группы студентов, которым достались мифологические сюжеты, при работе с искусственным интеллектом возникли проблемы. Им никак не удавалось сгенерировать сцены из греческих мифов и их героев: часть фигур должна быть изображена обнаженной, но ИИ отказывался это сделать.

«С удовольствием еще раз внедрилась бы в такой проект, — говорит Анастасия Лаушкина. — Были сложности, но в целом старт хороший, и потенциал у этого дела высокий».

«Думаю, что перспективы у такого рода работы с использованием нейросетей в сфере реставрации есть, — считает Ираида Ботт. — Искусственный интеллект будет меняться, и его можно еще многому научить, что ярко доказал наш опыт работы со студентами. Но самые важные перспективы здесь открываются перед самими студентами: они познакомились с совершенно новым для себя миром. И мне было очень приятно, что в конце проекта они заговорили с нами на одном языке. Уверена, они нас запомнят».

Результаты творческой лаборатории будут представлены на тотальной инсталляции в атриуме многофункционального комплекса «Лахта Центр» осенью этого года, во время ежегодного фестиваля «Друзья Петербурга».