18+
02.03.2018 Тексты / Интервью

​Андроид София и другие железные маски

Беседовала Алена Бондарева

Фотографии by Jehyun Sung on Unsplash

26 февраля писатели Денис Драгунский и Мария Галина, в рамках открытия нового сезона премии «ЛибМиссия», обсудили роботов-неудачников, будущее нейросетей, статус «электронной личности» и видеоигры.

Алена Бондарева

Литературный критик, руководитель проекта Rara Avis

Наша тема звучит довольно своеобразно «Снятся ли андроидам либеральные реформы». Но на самом деле это интересный и большой разговор. Сегодня все, что связано с искусственным интеллектом (ИИ), работой над усовершенствованием нейросети и прочими исследованиями в этой области, активно обсуждается как на обывательском уровне (в СМИ можно встретить ряд статей о том, нужно ли нам бояться роботов, полезен ли ИИ), так и на уровне государства. Например, Европарламент серьезно говорит о том, присваивать ли роботам статус «электронной личности». По сути, это уже разговор о правах, свободах и ограничениях.

А принц Саудовской Аравии Мухаммад ибн Салман даже начал в пустыне строительство города Неом, названного газетой «Вашингтон пост» меккой для роботов. Город будет полностью компьютеризован и населен андроидами, которые станут всячески помогать людям. Ожидается, что город объявят не просто свободной экономической и неисламской, но автономной зоной, то есть государством в государстве.

Однако не нужно быть футурологом, чтобы понять, что мир уже изменился. И он наполнен если не андроидами, неотличимыми от людей, то довольно простыми роботами, выполняющими многие функции, куда эффективнее, чем человек. Государственные структуры и частные предприниматели вкладывают безумные деньги в создание военных дронов, программы распознавания лиц и программы, блокирующие подобные распознавания, роботов, ставящих медицинские диагнозы, роботов-сиделок, андроидов для секса. Да, что говорить, даже билет на самолет часто помогает купить бот. Но сложность этой ситуации в том, что люди еще не понимают, к чему все идет. Например, Стивен Хокинг и Илон Маск всерьез опасаются того, что ИИ приведет человечество к гибели. А Марк Цукерберг, наоборот, говорит о благе.

ИИ в нынешнем, несовершенном состоянии, сегодня — либо благо, либо оружие. Хотелось бы чуть подробнее обсудить вопрос того, что ИИ даст (или отнимет) у человека, именно с социальной точки зрения?


Мария Галина

Писатель

Помимо того, что я пишу фантастические романы, еще занимаюсь исследованием фантастики, ее историей. И надо сказать, что фантасты до какой-то степени алармисты. Но я боюсь, что они алармисты просто потому, что строить сюжеты, где страшные роботы поработят человечество, гораздо интереснее, чем строить сюжеты, где все хорошо. И человеку вообще свойственно бояться нового.

Но, конечно, люди стараются максимально облегчить свою жизнь. И то, что мы пользуемся сейчас социальными сетями, интернетом и другими автоматизированными вещами внутри интернета (цифровые библиотеки, все что связано с запросами и так далее), замечательно облегчает нашу жизнь. В то же время все это дает возможность контролировать нашу каждодневную деятельность, потому что наши следы в интернете, помогают условному страшному Большому Брату постоянно за нами следить. Но здесь есть тоже некий алармизм, потому что если нет этого самого Большого Брата, то за вами прекрасно смотрят соседи по квартире. Поэтому страх того, что эти автоматизированные системы будут отслеживать каждый шаг и произойдет что-то плохое, генерируется фантастами-алармистами. Хотя, конечно, проблемы здесь есть. И одна из них — высвобождение некоторого количества рабочей силы. То есть с какими-то социальными потрясениями и конфликтами ИИ будет связан.

И еще мы постоянно говорим о том, что грядет прекрасная цивилизация и она сделает нам всем очень хорошо или очень плохо. Но мы забываем о существовании огромного количества стран третьего мира, где никакой прекрасной цивилизации нет, а есть высокие темпы воспроизводства, очень много, что называется, людей, обуреваемых некими идеологиями. И вот когда эти люди столкнутся с изнеженным цивилизованным обществом, здесь и начнутся проблемы. То есть не машин нам нужно бояться.


Денис Драгунский

писатель и журналист

Меня проблема ИИ интересует в большом количестве аспектов. Но сейчас я хочу сказать только об одном. Я не буду говорить слово «робот», потому что в нем есть нечто чапековское, ты так и представляешь себе что-то с лампочками, хотя сегодня есть роботы медицинские и автомобилестроительные. ИИ, конечно, должен оказать влияние и на литературу. Потому что любой технологический процесс переформатирует литературу. Самый грандиозный технологический прорыв — изобретение письменности, создало литературу. Устная и письменная литературы — две разные истории. В письменной, например, стали возможны повесть, философские трактаты и так далее. А в устной — песни, эпос. Книгопечатание тоже видоизменило литературу, она переросла в массовую. И почти любое изобретение что-то привносило. Например, роман о путешествиях появился тогда, когда появилось мореплавание. Когда возникла государственная почта, тогда начали писать романы в письмах. И, наверное, ИИ тоже принесет сильные изменения, но я не знаю какие. ИИ очень важен для культуры. С его помощью мы экстернализуем, то есть выносим во вне, такие необходимейшие для нас вещи, как память. Когда-то детей учили умножать и делить шестизначные числа, мы заучивали данные, сейчас есть калькулятор и Википедия, онлайн-словарь, переводчик. Все эти вещи очень изменили сознание человека. И, грубо говоря, в мозгах высвободилось место. Другое дело, чем это место занимать? Как Мария Семеновна совершенно справедливо сказала, это место занято довольно архаичными страхами.


Алена Бондарева

Литературный критик, руководитель проекта Rara Avis


А что будет с творчеством, его уникальностью? Ведь всегда считалось, что это прерогатива человека. Но современные программы уже пишут электронную музыку, существует масса ботов, генерирующих тексты, некоторые могут писать стихи и картины. Был даже случай, когда программа написала экономическую статью, а редактор не понял, что автор — не человек.


Денис Драгунский

писатель и журналист

Здесь нет ничего особенного, потому что какой-нибудь рерайтер или компилятор, составитель обзоров делает ровно то же самое, что и робот. Это как удивляться тому, что есть человек с обычной пилой, а есть с циркулярной. В случае с роботами, нет никаких творческих моментов.


Мария Галина

Писатель


Я хочу напомнить, что чапековские роботы были не огромные и железные с лампочками вместо глаз, а фактически андроиды. Кончалась история их бунтом и возникновением в этих андроидах человечности. Они сначала перерезали всех людей, а потом решили, что как-то нехорошо поступили и надо бы занять их место. А что это значит? Проявлять человеческие эмоции. Но дело не в этом. Когда мы говорим о том, что робот может писать картины или писать стихи, мы говорим о программистах, которые создают хорошие программы, они не обучают робота, а дают ему возможность компилировать уже известные тексты. Ни о каком творчестве ИИ мы пока что говорить не можем.

Возвращаясь к вопросу искусства, хочу сказать, что есть прекрасный роман Пелевина «IPhuck 10», где машинный разум пишет детективы. Они пользуются безумным успехом и выходят тиражом 100 экземпляров. Почему? Потому что чтение, как ни странно, тоже будет архаичной формой.

А еще на наших глазах, буквально за последние 10-15 лет, появился совершенно новый вид искусства, мы не говорим о нем, потому что он низменный. Это видеоигры, со своим прекрасно разработанным видеорядом, сюжетами, текстами и фэнами, которые порождают новые гипертексты. Сегодня мы все виды искусства переводим в интерактивную плоскость. Литература интерактивной не была, а современные виды искусства будут. Появится много свободных людей, которым будет нечего делать, видимо, они и станут писать эти видеоигры, как-то подгонять их под собственные потребности, типы характера. Будут выбирать себе абсолютно другие аватары, красивая блондинка станет брутальным мачо и наоборот. И это раздвоение, связанное с разными социальными функциями в сети и в реале, тоже очень интересный вопрос, который никто толком не изучал.


Алена Бондарева

Литературный критик, руководитель проекта Rara Avis

Есть такой андроид София, которая в свое время мило обещала убить всех людей (разработчики, правда, сослались на то, что это какие-то баги), так вот эта София уже стала гражданкой Саудовской Аравии. А что будет, если этот, отдельно взятый андроид (в котором что-то опять может поломаться), получит права и свободы? В чем плюсы и минусы?


Денис Драгунский

писатель и журналист

В ней, конечно, может что-то поломаться, но когда мы смотрим на какую-то новую вещь, мы должны понять, что в ней актуального, что действительно нового, а что старого. Например, с начала 1952 до марта 1953 года существовал такой робот София по имени Сталин. Было решение ЦК отобрать у товарища Сталина подпись и печать и подписываться за него. Сталин существовал как физическое тело, но не существовал как политическое. Политическим телом были Маленков и Берия, у которых была печать с подписью «Сталин». Никакой принципиальной разницы с роботом София тут нету. История этих бесконечных подпоручиков Киже, история, скажем, товарища Черненко, который как въехал на реанимационной каталке, так потом на ней и выехал, при этом кого-то награждал и подписывал указы. Это старая феодальная история, королева Хуана Безумная, посмотрите в Википедии, вам понравится. И прочие железные маски. Поэтому тот факт, что робота Софии не существует в телесной оболочке...


Алена Бондарева

Литературный критик, руководитель проекта Rara Avis

Ну почему же? Она существует, робот София женского пола...


Денис Драгунский

писатель и журналист

Вот опять людям изменила фантазия, произошло опошление. Мне кажется, что хороший андроид, который будет править миром, не обязательно должен иметь физическое воплощение.


Мария Галина

Писатель

Скорее всего, власть над миром захватит какая-то нейросеть, рассредоточенная по самым разным компьютерам и серверам. Поэтому ее невозможно будет быстро уничтожить. Она может подумать, что люди как-то нерационально правят. Но с другой стороны, у каждого президента любой приличной ядерной державы есть красная кнопка, мы совершенно не знаем, что делается в головах у этих людей. Какой там робот София? Вдруг этот президент сейчас сойдет с ума и решит все уничтожить, у него в отличие от робота Софии есть реальная возможность. Мы порой не знаем, с кем разговариваем. Нам проще представить, что в голове у робота Софии. Ну, сказала она, мило улыбаясь, что уничтожит весь мир. Но кто же ей даст? Вот она сидит, ограниченная своими программами, и, что называется, шутит. Но программы писал человек, эти программы проверяемы, и багов там гораздо меньше, чем в головах у других людей.


Денис Драгунский

писатель и журналист

Тут говорилось о том, что Европарламент якобы хочет присвоить роботам статус «электронной личности». Мне кажется, здесь явное непонимание слова «личность». Давайте я круто задеру вопрос и скажу, что о роботах, как о самостоятельных личностях можно будет говорить только в том случае, если появятся роботы-евреи и роботы-антисемиты. Им никто не прикажет так думать, а они самозародятся. Но прежде этого должны появиться роботы-неудачники. Представьте, массовое производство роботов, среди которых появится робот-неудачник, который взбунтуется против удачливых роботов. Это фактически революция. Кроме того, у робота должна появиться возможность эмоционально реагировать. И личностью робот станет только тогда, когда примет иррациональное решение, которое будет сюрпризом для него самого. И это решение должно базироваться на прошлом не очень хорошо освоенном опыте. И такой робот будет опасен. Вот, представьте, робот-хирург, они и сейчас существуют и работают довольно хорошо. Так вот, робот-хирург вдруг скажет: «А я не буду оперировать этого человека, потому что я брюнетов не люблю». А другой робот прибежит из ординаторской, набьет первому морду, заберет скальпель и сделает операцию. Подобная ситуация — это другое. Но не думаю, что мы, во всяком случае с Марией Семеновной, до нее доживем.


Мария Галина

Писатель

Вы знаете, меня немножко настораживает то, как мы антропоморфизируем ИИ. Мы даем ему ручки, ножки, ожидаем, что он будет вести себя как человек, у него появятся человеческие эмоции. Это довольно архаичное представление связанно с ранней фантастикой. Был Азимов, Чапек, Филип Дик. И вот Терминатор (как бы человек, только из пластика и железа) идет на самопожертвование, прыгает в раскаленный металл. Но на самом деле ИИ, с которым нам предстоит иметь дело, это некая дисперсная система, как говорят, нейросеть, аналог человеческого мозга, размазанный по большой территории. Мы не знаем, где находятся ключевые ячейки. Никаких человекоподобных роботов, которые, как писал Вознесенский, будут заглядываться на наших блондинок, скорее, появятся просто сексуальные игрушки. Но был очень интересный случай. Я его всем напоминаю. Однажды в такой нейросети запустили ботов как искусственных собеседников. Первое время они общались с людьми, а потом выяснили, что это им совершенно неинтересно, потому что люди медленно думают и медленно отвечают на вопросы. Тогда эти боты выдумали собственный язык и стали переговариваться между собой. Люди испугались и отключили их. Потому что этого языка они уже не понимали. И это реальная ситуация, когда нечто вышло из под контроля, не в военной сфере. Вот это самое страшное, когда тебя отодвинут локтем.


Денис Драгунский

писатель и журналист

А насколько эта история про ботов реальна?

Алена Бондарева

Литературный критик, руководитель проекта Rara Avis

Это реальная история, она произошла с Facebook.

Денис Драгунский

писатель и журналист

Не является ли это чем-то похожим на то, как во Франции XIX века охотились за иезуитами, а в XX — за масонами, а потом выяснилось, что никаких иезуитов не было? А антииезуитская компания была, она потрясала Францию. Но оказалось, что во Франции сидели каких-то 4 старичка, которые составляли отделение этого ордена. Это был фантом.

Я верю в разные страшные вещи, и даже, возможно, в инопланетян. Но все должно быть доказано. В данном случае мне это напоминает красивую сказочку. Вот, если бы те люди внутри сети сделали что-то вроде зоопарка и показали, как их боты резвятся, это было бы одно. А история — мы всех уже убили — другое.

Алена Бондарева

Литературный критик, руководитель проекта Rara Avis

Не могу не задать еще один вопрос. А как же разработка андроидов для секса, компании RealDoll? Они оснащены определенными характерами, могут поддерживать разговор, эмоционально реагировать, я уверена, что их будут разрабатывать и дальше. Это не угроза биологического вымирания? Ведь картина очень заманчивая, теперь не нужно тратить силы, эмоции на отношения. Накопил денег, купил андроида, живи и радуйся.

Денис Драгунский

писатель и журналист

Мы говорим о разных вещах. Мария Семеновна рассказывает куда более интересные вещи об ИИ, который, как космос, существует отдельно. А мы думаем об андроидах вроде кукол. Но я не вижу опасности. Могу сказать, что эти сексуальные куклы ничем не отличаются от проститутки, которая выполняет работу, что-то говорит, попискивает и поддерживает элементарный разговор, а свои переживания ей выражать в общем-то запрещено. Мы, конечно, можем представить, что внутри этой куклы тоже что-то есть и она просто молчит. Существуют еще куклы реборн, и куча женщин ходит с этими искусственными детишками. Но нейросети мне значительно интереснее, чем отдельно взятые андроиды. Нейросети — это как Бог, который непостижим, непредставим, всемогущ. И это безумно захватывающе. А резиновые Зины и прочие андроиды — это про человека, которому нужно вот такую фигню посадить у себя на диване. Это не относится к ИИ.

Мария Галина

Писатель

Мне тоже кажется, что это скорее социальный вопрос, чем какой-то другой. Возможно, когда-нибудь станет модным завести себе андроида. Это будет показателем определенного социального статуса. Вот, я себе завел/завела ни каких-то там женщину/ мужчину, а красавицу или, наоборот, красавца. Но потом это утратит актуальность. И войдет в моду жить с настоящими биологическими людьми и все будет о'кей. Подобное связано с колебанием спроса и предложения. Но опять же мы не достигли таких технологических высот, чтобы мозг андроида был эквивалентен человеческому. Для того чтобы это был мозг эквивалентный человеческому, нужна нейросеть. А то, о чем вы говорите, всего лишь определенный спектр реакций, программы, которые запихнули в андроида. И что? Куче одиноких людей это даст релаксацию, но это действительно не интересно.

Алена Бондарева

Литературный критик, руководитель проекта Rara Avis

И мой последний вопрос про войну машин. А что будет, когда мы создадим этот невероятный, превосходящий нас во сто крат кибернетический мозг, в котором зародится сознание? Нужны ли ему будем мы, такие слабые, простые и неэффективные?

Мария Галина

Писатель

Мы постоянно говорим о том, что изобретем этот мозг. Но есть более интересный вариант, что этот мозг возникнет сам, когда уровень нейросети возрастет до определенного количества коммуницирующих ячеек. И совершенно неважно будет это искусственная или естественная эволюция. Человеческий мозг тоже никто не изобрел. Возможно, что на наших глазах появится совершенно иная рациональная цивилизация, она будет заботиться о людях, следить за тем, чтобы все тикало. Люди станут элементами внутри этой системы. Но подобное произойдет в очень цивилизованных, технологически развитых странах, а весь остальной мир будет бороться за свой кусок хлеба. И вот самое интересное случится тогда, когда столкнется эта благоустроенная, почти идеальная, цивилизация с симбиозом машины и человека, с совершенно диким внешним миром.



Денис Драгунский

писатель и журналист

Да, это настоящая драма будущего. Замечательный человек, Стив Радер, натовский стратег, сказал интересную фразу, что любая армия бессильна перед толпой, вооруженной палками, потому что толпу, вооруженную палками, можно уничтожить только с воздуха огнеметами. Но это табу для цивилизованного общества. А как выйти из такого положения, пока не известно.


Другие материалы автора

Алена Бондарева

Донасьен де Рошамбо о том, как супергерои выжили детективов

Алена Бондарева

​Репродуктор. Клокочущий мир

Алена Бондарева

Курс Шишкина

Алена Бондарева

​Когда ты слон, тебе не обидно