18+
Материалы нашего сайта не предназначены для лиц моложе 18 лет.
Пожалуйста, подтвердите свое совершеннолетие.

Нейрозамещение: как искусственный интеллект проявил себя в искусстве

В рамках проекта Recognition (2016) искусственный интеллект сопоставлял репортажные кадры с произведениями из собрания Тейт. Полученные пары показывали онлайн и в музее. Фото: Tate
В рамках проекта Recognition (2016) искусственный интеллект сопоставлял репортажные кадры с произведениями из собрания Тейт. Полученные пары показывали онлайн и в музее.
Фото: Tate
№108, февраль 2023
№108
Материал из газеты

Рассказываем о том, как искусственный интеллект — и прежде всего нейросети — проявил себя на ниве искусства, выступая не только вспомогательным инструментом кураторов и экспертов, но и полноценным соавтором художников

Искусственный интеллект (ИИ) теперь не только обыгрывает человека в шахматы, но также проводит атрибуцию картин Рубенса и создает произведения, которые улетают с молотка на ведущих аукционах. Кто-то относится к этому с иронией, кто-то видит в новых разработках большой потенциал, а кто-то не на шутку обеспокоен этическими аспектами таких практик. Не вдаваясь в теоретические вопросы, расскажем о том, как искусственный интеллект — и прежде всего нейросети — проявил себя на ниве искусства, выступая не только вспомогательным инструментом кураторов и экспертов, но и полноценным соавтором художников.

Нейрохудожник: бета-версия

Праотцом династии нейрохудожников можно считать AARON — изобретение Гарольда Коэна. Успешный британский художник-абстракционист, после переезда в США в 1968 году он стал одним из пионеров компьютерного искусства. AARON появился на свет в 1973 году в Стэнфордской лаборатории искусственного интеллекта. За свою 43-летнюю жизнь (эволюция робохудожника остановилась вместе со смертью Коэна в 2016 году) он пережил разные модификации — от чертежной «черепахи», медленно движущейся по холсту на колесиках, до сложной роботизированной руки. Художественный стиль AARON тоже претерпевал изменения. Поначалу он создавал абстрактные композиции, затем научился рисовать камни, растения и просто биоморфные формы, в 1980-х перешел к человеческим фигурам, а в конце карьеры вновь вернулся к лирической абстракции. В 1983 году в Галерее Тейт AARON на глазах у посетителей создал серию рисунков черным фломастером. И лишь к 1990-м годам Коэн научил свое детище раскрашивать произведения, чем прежде занимался сам. Отныне механическая рука могла выбрать необходимую кисть и смешать краски, используя палитру из 17 цветов.

Картина «Без названия (Амстердамская сюита 11)» (1977) создана рисовальной машиной AARON. Ее изобретатель, художник Гарольд Коэн, лишь раскрасил вручную полученную композицию. Фото: AARON
Картина «Без названия (Амстердамская сюита 11)» (1977) создана рисовальной машиной AARON. Ее изобретатель, художник Гарольд Коэн, лишь раскрасил вручную полученную композицию.
Фото: AARON

В отличие от сегодняшних нейросетей, AARON не мог обучаться самостоятельно на основе гигантских массивов данных, а лишь следовал инструкциям. Только для того, чтобы машина освоила рисование головы и «поняла», что нос помещается на лице, а не где-то еще, Коэну пришлось внести в программу 4 тыс. правил. В сущности, художник создал автоматизированную версию самого себя, способную работать в том же стиле и теми же методами. Тем не менее AARON можно считать самым ярким провозвестником нейро­искусства, породившим целую область исследований, называемую «вычислительной креативностью».

Нейрохудожник 1.0

Сегодня любой может создать изображение при помощи нейросети: достаточно отправить текстовый запрос, и система сгенерирует результат. Для использования text-to-image-моделей, таких как DALL-E, Midjourney, Stable Diffusion и отечественная Kandinsky 2.0, не требуется ни специальных навыков, ни оборудования.

Изображения, сгенерированные text-to-image моделью Stable Diffusion по запросу «Марсель Дюшан обнимает огромного пушистого кота». Фото: stablediffusionweb.com
Изображения, сгенерированные text-to-image моделью Stable Diffusion по запросу «Марсель Дюшан обнимает огромного пушистого кота».
Фото: stablediffusionweb.com

Пока мы балуемся, создавая аватарки в Lensa и просто дурацкие картинки, художники используют машинные алгоритмы по-настоящему изобретательно. На одной только Биеннале будущего, показанной Мультимедиа Арт Музеем (МАММ) сперва в Москве, а затем — фрагментарно — в регионах, можно было увидеть около десятка работ, созданных при помощи ИИ. София Креспо использует машинные алгоритмы весьма традиционно: на основе изображений реальных животных она создает причудливые биоморфные образы, в которых угадываются сразу многие существа и одновременно ни одно из них.

Причудливые животные в серии Софии Креспо «Нейронный зоопарк» (2018–2021) были созданы нейросетью. Работа участвовала в «Биеннале будущего» в МАММ (2022). Фото: MAMM
Причудливые животные в серии Софии Креспо «Нейронный зоопарк» (2018–2021) были созданы нейросетью. Работа участвовала в «Биеннале будущего» в МАММ (2022).
Фото: MAMM

Работа напоминает о том, что нейросеть-художник, как бы парадоксально это ни звучало, весьма консервативна: она копирует знакомые формы, а не придумывает что-то свое. Дуэт Gray Cake обу­чил нейросеть различать на видео протестных акций демонстрантов и полицейских, а затем избирательно применять ретушь. Джейк Элвес в инсталляции «Замкнутый цикл» показал странный диалог между рекуррентной нейронной сетью, создающей подписи для изображений, и генеративной нейронной сетью, иллюстрирующей тексты. Список примеров можно продолжать и продолжать.

Арт-дуэт Gray Cake научил нейросеть генерировать на основе текстов и образов собственные сны («Сны машины». 2021). МАММ (2022). Фото: graycake.com
Арт-дуэт Gray Cake научил нейросеть генерировать на основе текстов и образов собственные сны («Сны машины». 2021). МАММ (2022).
Фото: graycake.com

Впрочем, если одни художники видят в нейросетях инновационный инструмент самовыражения, то другие относятся к ним с подозрением. Масла в огонь подливают аукционные дома. Так, в 2018 году на торгах Christie’s за $432,5 тыс. был продан «Портрет Эдмона Белами», а Sotheby’s в 2019-м выручил $42 тыс. за инсталляцию «Воспоминания о прохожих I» — обе работы были созданы с применением машинных алгоритмов. Недавний эпизод на местечковой ярмарке в Колорадо с присуждением первого приза в одной из номинаций сгенерированной картине «Пространственный театр оперы» тоже вызвал резонанс. Не стоит, впрочем, забывать, что за каждой из упомянутых работ стоят реальные цифровые художники. Тем временем борьба художников-скептиков с нейросетями в январе этого года вышла на новый уровень: иллюстраторы Сара Андерсен, Келли Маккернан и Карла Ортис подали коллективный иск против компаний DeviantArt, Midjourney и Stability AI, создавших на основе искусственного интеллекта генераторы изображений. Истцы встревожены их способностью имитировать индивидуальный стиль художников, что может нанести ущерб всей индустрии искусства.

Нейро-Уорхол

В 1982 году для одной бродвейской постановки создали робота-двойника Энди Уорхола. Андроиду предстояло сидеть на кровати в окружении собаки и пары телевизоров и говорить по телефону, а также отвечать на вопросы зрителей, используя несколько фраз, записанных заранее самим художником. Робо-Уорхолу сделали узнаваемую прическу и обучили 54 движениям, включая пожимание плечами. Однако голос он так и не получил: проект был заморожен.

В начале 1980-х незавершенный робот Энди Уорхола должен был произносить реплики, записанные самим художником. В 2022 г. голос Уорхола был синтезирован нейросетью для нового сериала «Дневники Энди Уорхола».  Фото: Alvaro Villa
В начале 1980-х незавершенный робот Энди Уорхола должен был произносить реплики, записанные самим художником. В 2022 г. голос Уорхола был синтезирован нейросетью для нового сериала «Дневники Энди Уорхола».
Фото: Alvaro Villa

Зато спустя 40 лет, в 2022 году, на Netflix вышел сериал «Дневники Энди Уорхола», в котором мы фактически можем подслушать телефонные разговоры лидера поп-арта с его подругой Пэт Хэкетт (ежеутренне на протяжении десятилетия он надиктовывал ей, как прошел вчерашний день). Это стало возможным благодаря голосовому генератору Resemble AI, который воссоздал — с одобрения Фонда Энди Уорхола — голос художника на основе реальных аудиозаписей общей длительностью всего 3 минуты 12 секунд. Сложная технология позволила скорректировать произношение и интонации, чтобы синтезированная речь звучала более убедительно. Впрочем, настоящий Уорхол и сам говорил как робот: монотонно и невыразительно.

Нейрокритик

Наши ленты в соцсетях формируют особые алгоритмы: стоит поставить лайк или задержаться взглядом на какой-либо публикации, и система начнет предлагать аналогичные, скрывая остальное. А что если те же алгоритмы влияли бы на музейные экспозиции? Какие художники и сюжеты были бы в топе, а что убрали бы в запасник? Об этом заставляет задуматься эксперимент, который в 2021 году провели в Муниципальном дворце Болоньи, где находится городская коллекция предметов искусства. Миниатюрные камеры, расположенные рядом с произведениями, считывали эмоциональные реакции посетителей, различая веселое, грустное, нейтральное, удивленное и сердитое выражение лица, а также траекторию скольжения взгляда по картинам, а затем отправляли отчет в базу данных. Предполагалось, что кураторы на основе этой информации смогут корректировать развеску работ.

Ученые из Стэнфордского университета и ряда других исследовательских центров, занятые в проекте ArtEmis, зашли еще дальше — попытались научить нейросеть описывать произведения живописи. Для обучения использовались результаты опроса, в ходе которого респонденты делились своими впечатлениями от картин. Наученная таким образом, нейросеть оценила горы на «Майтрейе» Николая Рериха как «величественные», а цвет неба нашла «успокаивающим». Есть и более оригинальные умозаключения. «Ветви деревьев будто кричат», — комментирует она работу Эмили Карр. А Амбруаз Воллар на портрете кисти Поля Сезанна выглядит, по мнению машины, так, «будто вот-вот заплачет».

Нейрокуратор

Машинный интеллект, которому делегировали функции куратора, зачастую действует как цифровой Жан-Юбер Мартен, который в своих выставочных проектах — таких как «Бывают странные сближенья» в ГМИИ им. А.С.Пушкина — проводит параллели между произведениями и артефактами, на первый взгляд абсолютно не схожими. В 2016 году Галерея Тейт совместно с корпорацией Microsoft вручила премию IK Prize исследовательскому центру Fabrica за проект «Распознавание». В его рамках ИИ искал визуальные и тематические соответствия между произведениями из музейного собрания и фотографиями текущих событий от новостного агентства Reuters. К примеру, снимок сирийской беженки с младенцем на руках составил пару картине Томаса Гейнсборо с изображением нищих детей (девочка в лохмотьях на ней держит ребенка помладше).

В ходе проекта Recognition (2016) искусственный интеллект нашел соответствие между фотографией папы римского Франциска и скульптурой Джорджа Фредерика Уоттса Дафна из собрания Тейт. Фото: Tate
В ходе проекта Recognition (2016) искусственный интеллект нашел соответствие между фотографией папы римского Франциска и скульптурой Джорджа Фредерика Уоттса Дафна из собрания Тейт.
Фото: Tate

Разумеется, невозможно говорить о машине как о самостоятельном кураторе: то, как она производит отбор, зависит от параметров, заданных человеком-оператором. Зато она способна за секунды проанализировать огромный массив оцифрованных изображений и тем самым посодействовать кураторским экспериментам, задействующим коллекции с тысячами экспонатов. Так, в рамках проекта «Мерцающий атлас человеческого взгляда» удалось составить своеобразную «карту», визуализирующую, куда смотрят герои картин, фотографий, скульптур и монет из коллекции Гарвардских художественных музеев. Даже музей Бельведер и Академия изобразительных искусств в Вене доверили свои оцифрованные фонды инициаторам проекта Dust and Data, также изучающим кураторский потенциал искусственного интеллекта.

ИИ как куратор, с одной стороны, предвзят: в зависимости от заданных парамет­ров он может отсеять художников определенного пола, эпохи или направления. С другой стороны, он способен действовать беспристрастно, ведь для него не существует любимых авторов и соблазна отбирать их по знакомству. Это преимущество лежит в основе онлайн-платформы Curatron, которую разработал канадский художник Кэмерон Маклауд. Система позволяет определить оптимальный состав художников групповой выставки, учитывая предпочтения потенциальных участников и в обход чьего-либо субъективного решения.

Нейробиеннале

Хотя искусственный интеллект не успел проявить себя достаточно компетентно на кураторском поприще, его уже привлекают к решению и более крупных задач. «Следующую биеннале должна курировать машина», — заявили в 2021 году Музей американского искусства Уитни и устроители Ливерпульской биеннале, обыгрывая название проекта «Следующую Documenta должен курировать художник», инициированного в 2013 году порталом e-flux.

Художник Богдан Матей с работой Это не мое произведение (2022) был выбран для участия в 10-й Бухарестской биеннале ее куратором — нейросетью по имени Джарвис. Фото: Bucharest Biennale
Художник Богдан Матей с работой Это не мое произведение (2022) был выбран для участия в 10-й Бухарестской биеннале ее куратором — нейросетью по имени Джарвис.
Фото: Bucharest Biennale

Оба проекта ставят под сомнение привилегированность фигуры куратора в мире искусства. К организации нейробиеннале подключились арт-дуэт Ubermorgen, цифровой исследователь Леонардо Импетт и куратор Йоаша Криса. С результатами одного из этапов эксперимента можно познакомиться в онлайн-галерее Музея Уитни Artport, откуда попадаешь на веб-страницу, где на динамичном фоне в духе оп-арта рассеяны вращающиеся шестеренки. При щелчке по каждой шестеренке открывается окошко, в котором нейросеть выдает уникальный список художников со сгенерированными именами и биографиями, а также фальшивые кураторские заявления, пресс-релизы и фрагменты рецензий (чтобы они не звучали слишком занудно, в обучении использовались не только настоящие выставочные тексты, но и статьи из журнала Rolling Stone). Наполнение сайта позволяет вообразить, что представляла бы собой биеннале, курируемая машиной, в действительности.

Однако подобные события реализованы не только в виртуальном, но и в реальном пространстве. Так, участники 10-й Бухарестской биеннале, прошедшей в 2022 году, были отобраны не кем иным, как искусственным интеллектом. Свое имя — Джарвис — он получил в честь помощника Железного человека из киновселенной Marvel. Джарвис проводил кастинг, основываясь на популярности художников и на том, насколько их искусство соответствует заявленной теме «Каждый достоин бросить вызов поп-культуре».

Для онлайн-проекта Следующую биеннале должна курировать машина (2021) нейросеть создала список несуществующих художников со сгенерированными именами и биографиями. Фото: Liverpool Biennial/Whitney Museum of American Art
Для онлайн-проекта Следующую биеннале должна курировать машина (2021) нейросеть создала список несуществующих художников со сгенерированными именами и биографиями.
Фото: Liverpool Biennial/Whitney Museum of American Art

Возможно, такого, как Джарвис, стоило бы привлечь и к организации Московской биеннале современного искусства, чтобы исключить «человеческий фактор», из-за которого мероприятие раз за разом заканчивается скандалом.

Нейроэксперт

Характер мазков, оставленных на холсте живописцем, так же уникален, как и отпечатки его пальцев. Даже скрупулезно копируя другого художника, невозможно в полной мере контролировать то, как краска сходит с кисти на холст. Группа ученых из Университета Кейс-Вестерн-Резерв (Кливленд, США) обучила нейронную сеть улавливать специфику индивидуальных мазков и тем самым отличать работу одного автора от другого. Искусственный интеллект «видит» картину через трехмерные топографические сканы ее поверхности. Анализируя небольшие, размером в несколько миллиметров, фрагменты, он способен зафиксировать малейшие изменения в способе наложения краски, которые могут быть вызваны тем, как художник держит и использует кисть. В ходе первых экспериментов нейросети удавалось верно идентифицировать автора мазка в 95% случаев (использовались работы студентов Кливлендского института искусств, копировавших фотографии водяной лилии). Разработка могла бы послужить дополнительным инструментом как при выявлении подделок, так и при определении вклада разных художников в одну и ту же картину — к примеру, на полотнах, созданных в мастерских Тициана, Рубенса или Рембрандта, подчас невозможно отличить руку звездного мастера от руки его учеников. Сложно сказать, решатся ли эксперты всерьез полагаться на машинные алгоритмы при атрибуции произведений искусства. Впрочем, громкий прецедент, когда выводы искусственного интеллекта совпали с выводами крупных искусствоведов, уже есть: осенью 2021 года в ходе исследования, проведенного швейцарской компанией Art Recognition, нейросеть показала, что с вероятностью 91% Рубенс не является автором приписываемой ему картины «Самсон и Далила», подтвердив сомнения ряда экспертов. Нейросеть пришла к такому заключению, сравнив спорную картину с 148 другими, принадлежность которых кисти Рубенса не вызывает сомнений.

Нейрописатель

«Удивительно, что сотрудничество с нейросетью было предложено самому технофобскому писателю Российской Федерации», — так литератор и художник Павел Пепперштейн прокомментировал выход в издательстве Individuum книги «Пытаясь проснуться» (2022). У книги два автора: сам Пепперштейн и НейроПепперштейн — под этим псевдонимом скрывается лингвистическая модель ruGPT-3, разработанная командой SberDevices. Оба автора написали по 12 рассказов в духе психоделического реализма — от уморительного перепрочтения «Репки» до трагической истории противостояния товарища Самойлова и агрессивно настроенных пчел. Но кто стоит за каждым из рассказов — секрет. Издательство предлагает читателям делиться своими догадками через форму обратной связи на сайте. Однако не все так просто: не только нейросеть, обученная на сочинениях и интервью Пепперштейна, пыталась сымитировать его слог, но и тот, в свою очередь, имитировал особенности машинного текста. А чтобы как-то персонифицировать своего нейропартнера, писатель представил его в виде бесполого существа по имени Тесорйен. Оно пребывает в состоянии сонного морока и потому производит рассказы, которые, как и сны, трудно запомнить и пересказать.

Нейроманифест

«Если машина начала писать, ее не остановить. Точку приходится ставить принудительно, иначе текст будет генерироваться бесконечно», — вспоминает искусствовед Каролина Пескишева, участница кураторской школы Avant-Garde LAB в Еврейском музее и центре толерантности. Выпуск, который вела Наталья Фукс, занимался производством «Манифеста манифестов». Обучившись на сотнях исторических манифестов на английском языке, нейросеть выдала собственный, в котором соединились и киберфеминизм, и кризис культуры, и вопросы расизма. Наталья Фукс подчеркивает, что машинная логика «не имитирует существующие тексты, а создает на их основе новые конструкты». Сейчас готовится вторая итерация «Манифеста манифестов», теперь уже на русском языке. Датасет для обучения машины включает программные заявления, написанные художниками, архитекторами, писателями, кинематографистами и теоретиками новых медиа за более чем 100 лет. Бесконечное нейропослание воплотится в виде звучащей художественно-технологической выставки, которая откроется в марте в Центре изучения конструктивизма «Зотов» и будет концептуально перекликаться с другим проектом, посвященным языку авангарда.

Нейрозаключение

Мы спросили у Балабобы, общительной нейросети, созданной на основе языковой модели YaLM, что нам сулит повсеместное внедрение искусственного интеллекта в культурные проекты. Она ответила лаконично, но уклончиво: «Это не слишком обнадеживающе. Но и не слишком неприятно. Я думаю, машине важно оставаться человеком». 

Самое читаемое:
1
Со-бытие без события: «Арт Москва» похожа на дорогую барахолку
Старейшая из ныне действующих ярмарок искусства «Арт Москва» открылась в Гостином Дворе. Тема 21-го выпуска сформулирована как «Со-бытие». Организаторы постарались украсить салонный контекст интеллектуальными инфоповодами
17.04.2024
Со-бытие без события: «Арт Москва» похожа на дорогую барахолку
2
В Москве завершено строительство нового корпуса Третьяковки
Долгострой, длившийся с 2007 года, закончен. Сначала новое здание будет работать как общественное пространство, а в ноябре там откроется первая выставка — «Передвижники»
26.03.2024
В Москве завершено строительство нового корпуса Третьяковки
3
Коллекция русского авангарда с сомнительным провенансом конфискована французскими властями
Произведения якобы Василия Кандинского, Казимира Малевича и Наталии Гончаровой, связанные с именем висбаденского арт-дилера Ицхака Заруга, стали доказательством в весьма запутанном деле
03.04.2024
Коллекция русского авангарда с сомнительным провенансом конфискована французскими властями
4
Стоик, фанатик, визионер: выставка к 100-летию Владимира Вейсберга
Юбилейная экспозиция в ГМИИ им. А.С.Пушкина выстроена по хронологическому принципу и прослеживает эволюцию творчества Владимира Вейсберга от раннего, «цветного» периода к каноническому «белому на белом»
01.04.2024
Стоик, фанатик, визионер: выставка к 100-летию Владимира Вейсберга
5
Мультимедиа Арт Музей готов к открытию после затянувшегося ремонта
В 2022 году МАММ закрылся на капитальный ремонт. Его директор Ольга Свиблова надеялась справиться быстро, но работы затянулись на полтора года. В апреле наконец случится долгожданное открытие — музей готовит к нему восемь проектов
05.04.2024
Мультимедиа Арт Музей готов к открытию после затянувшегося ремонта
6
Две выставки советского авангарда из Узбекистана пройдут в Италии
Научным консультантом проекта «Узбекистан: авангард в пустыне» об avant-garde orientalis в Венеции и Флоренции выступила Зельфира Трегулова
26.03.2024
Две выставки советского авангарда из Узбекистана пройдут в Италии
7
Премьера авангарда из Узбекистана на мировой сцене проходит во Флоренции и Венеции
Во Флоренции, в палаццо Питти, только что открылась экспозиция «Свет и цвет» — первая часть проекта «Узбекистан: авангард в пустыне», которая впервые в таком объеме показывает практически неизвестное западному миру художественное явление
16.04.2024
Премьера авангарда из Узбекистана на мировой сцене проходит во Флоренции и Венеции
Подписаться на газету

Сетевое издание theartnewspaper.ru
Свидетельство о регистрации СМИ: Эл № ФС77-69509 от 25 апреля 2017 года.
Выдано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор)

Учредитель и издатель ООО «ДЕФИ»
info@theartnewspaper.ru | +7-495-514-00-16

Главный редактор Орлова М.В.

2012-2024 © The Art Newspaper Russia. Все права защищены. Перепечатка и цитирование текстов на материальных носителях или в электронном виде возможна только с указанием источника.

18+