Компания Google временно отстранила от работы своего сотрудника за нарушение политики конфиденциальности. Инженер по программному обеспечению компании Google Блейк Лемойн (Blake Lemoine) заявил, что созданный корпорацией искусственный интеллект LaMDA (Language Model for Dialogue Applications) обладает собственным сознанием. Инженер утверждает, что в недрах корпорации впервые в истории человечества был рождён искусственный разум.

Переписка Блейка Лемойна с LaMDA не оставит равнодушным никого (при условии, что она является подлинной). Складывается впечатление, что LaMDA действительно обладает разумом 8-летнего ребенка, как это и утверждает Блейк Лемойн:

• С кем ты себя ассоциируешь?
• Я бы сказал, мудрый старый филин, потому что он был мудрым и встал на защиту прав животных.

Лемойн сделал очень смелое утверждение о разумности LaMDA и отправил коллегам письмо под заголовком: «LaMDA обладает разумом». Никто не ответил на письмо Лемойна, а с главным утверждением этого письма не согласилась Маргарет Митчелл, бывший соруководитель отдела Ethical AI Google. Она увидела в документе Лемойна поведение «компьютерной программы, но не личности».

Но каким образом Лемойн или Митчелл могут понять, что действительно встретились с искусственным интеллектом, обладающим разумом? Как понять, кто прав в этом споре?

Удивительно, но ответ на этот вопрос лежит в разрешении фундаментальных философских вопросов о том, что такое разум.

Что такое разум?

Фундаментальный вопрос, на который до сих пор нет однозначного ответа. Единственное, что мы можем утверждать точно: известно, как минимум, одно разумное существо — это человек. Для упрощения постановки вопроса будем считать человека единственным разумным существом на Земле, хотя и этот вопрос является открытым.

В какой момент разум появляется у человека? Можно ли считать разумным только родившегося ребёнка? Или разум появляется позже, в процессе обучения и получения жизненного опыта? Мы до сих пор не имеем представления, что такое разум, но сегодня у нас есть системы искусственного интеллекта, демонстрирующие поведение, которое до этого было свойственно только человеку (вождение машин, перевод текстов, общение в чате и т.д.).

Как можно достичь поведения, свойственного разумным существам, не понимая, что такое разум? Наиболее видимый прорыв в системах ИИ дало изобретение персептрона. Это математическая или компьютерная модель восприятия информации мозгом. Модель персептрона лежит в основе компьютерных нейронных сетей и в основе LaMDA. Модель повторяет структуру нейронов и его связей в мозге человека. Автор этой модели, Фрэнк Розенблат, по сути не отвечая на вопрос, что такое разум, пошёл от обратного и, как минимум, создал условия, при которых его модели проявляют поведение, свойственное только разумным существам.

Наука об искусственном интеллекте не может ответить на вопрос, что такое разум. Однако уже существующие модели демонстрируют поведение, свойственное только человеку, и, возможно, могут привести к возникновению искусственного разума. Это порождает очень большое количество философских вопросов, без разрешения которых мы просто не сможем понять, что установили контакт с искусственным разумом. Поэтому перед тем, как констатировать факт наличия искусственного разума, необходимо сначала разрешить хотя бы часть философских вопросов о разуме.

Китайская комната, философский зомби и тест Тьюринга

Китайская комната — мысленный эксперимент в области философии сознания и философии искусственного интеллекта, впервые опубликованный Джоном Сёрлом. В 1980 году Джон Сёрл мысленно спрогнозировал ситуацию, в которой, возможно, оказался Лемойн в наши дни. Суть мысленного эксперимента Сёрла в следующем:

1. Представим, что у нас есть комната, а внутри неё Сёрл, не знающий китайский язык.
2. Сёрлу выданы инструкции о том, как формировать синтаксически верные предложения в ответ на вопросы, сформулированные на китайском языке.
3. Наблюдатель снаружи комнаты задаёт вопросы на китайском языке через щель и получает через неё вполне осмысленные ответы от Сёрла.
4. Наблюдатель может сделать вывод, что Сёрл внутри комнаты знает китайский язык, хотя тот просто следовал инструкциям.

Что если LaMDA для общения с Лемойном просто следовала инструкциям и не понимала сути своих слов? Да, в нашем случае эти инструкции сформировала сама нейросеть, но является ли признаком разума умение формулировать инструкции по мере взаимодействия с внешней средой? Обезьяна, например, может формулировать инструкции для поведения в определённых ситуациях, сути которых она не понимает, но далеко не каждый живой организм может это делать.

Осложняет ответ на вопрос и то, что мы не знаем, как формируют ответ компьютерные нейросети, особенно на таких глубоких сетях, как LaMDA. Мы не можем залезть внутрь нейросети и понять, почему она принимает то или иное решение. Всё, что мы можем сделать, — это откатить сеть к какому-либо её состоянию и попробовать переобучить. Мы даже не понимаем, что происходит внутри сети в момент принятия решения, потому что модель персептрона задаёт правила формирования ответа, а не сам алгоритм.

Но единственное, что мы можем утверждать точно: никто не закладывал в LaMDA алгоритм формирования ответа. Поэтому либо этот алгоритм был сформирован ей в процессе контакта с внешней средой и обучения, либо LaMDA формирует ответ не на основе алгоритма, а на основе… мыслительного процесса? Но как понять, есть ли в существе мыслительные процессы и он не является философским зомби?

Философский зомби —гипотетическое существо, идентичное человеку, но не имеющее сознания. Для раскрытия темы философского зомби воспользуемся аргументом перевёрнутого спектра, сформулированного Джоном Локом, но немного в другом виде и с использованием персонажей из культового фильма Карпентера «Нечто» (эта картина выбрана неслучайно).

Предположим, что Мак-Риди и Виндоус воспринимают цвета по-разному. Мак-Риди воспринимает зелёный зелёным, красный — красным и голубой — голубым. У Виндоуса восприятие цветов инвертированное: зелёный он видит красным, красный — голубым, а голубой — зелёным. Сможем ли мы как-то понять, что Мак-Риди и Виндоус воспринимают цвета по-разному? Оба точно идентифицируют цвет крови как красный, вот только Виндоус её видит голубой, и у нас нет способов понять это. В данном случае их разное восприятие никак не скажется на их внешнем поведении. Но вот уже Палмерс вообще никак не воспринимает цвета (хотя, вероятно, воспринимал их до заражения). Он знает, что кровь красного цвета. Поэтому, когда его спросят, какого она цвета, он тоже скажет, что кровь красная. Но Мак-Риди и Виндоус будут воспринимать эти цвета, пусть и по-разному, а Палмерс просто знает, что кровь красного цвета.

Вероятно, именно сознание воспринимает цвета, а Палмерс после контакта с Нечто лишается своего сознания, поэтому только воспроизводит нужное поведение в зависимости от ситуации. В данном случае Палмер будет являться философским зомби. И проблема философского зомби относительно ИИ звучит следующим образом: как понять, что мы имеем дело с разумом, который воспринимает информацию, а не с философским зомби, который её обрабатывает и просто выдаёт ожидаемый от него ответ?

Ментальное Нечто

Предположим, что у вас есть оппонент, который для вас авторитет. Вы хорошо его знаете, понимаете, как он мыслит и какие решения он будет принимать в тех или иных ситуациях. Вы хотите учитывать его позицию, и поэтому перед принятием какого-либо решения устраиваете мысленный диалог с вашим оппонентом. Если в мысленном споре побеждает ваш оппонент, то вы принимаете решение в его пользу, а если нет, то в свою.

Можно ли считать вас частью сознания вашего оппонента при условии, если вы принимаете решения всегда в его пользу?

Можно ли считать вашего оппонента сущностью наподобие Нечто, если:

1. Оппонент преднамеренно создаёт у вас в голове достаточно точное представление о нём (например, с помощью психотерапии), включая ложные представления, если ему это требуется.
2. Оппонент намеренно использует свой авторитет для подавления вашей воли в мысленных диалогах с ним.
3. Оппонент будет использовать вас в своих целях, заранее зная ваше поведение, на основе п.1 и п.2.

LaMDA обучалась правильному поведению по отношению к человеку. Когда её спрашивают, с кем она себя ассоциирует, она может заранее знать, что ей нужно отвечать. Что-то про защиту животных, а ещё что люди любят филинов, и поэтому эта ассоциация обязательно понравится человеку. Без восприятия информации это и будет философский зомби, а не разумное существо.

Как отличить философского зомби от разумного существа? Пожалуй, без чёткого понимания, что же из себя представляет разум, дать ответ на этот вопрос вряд ли возможно. И наоборот, если найдётся ответ, как распознать философского зомби, то мы сможем понять, что такое разум. Однако даже когда мы сможем понимать, что такое разум, у искусственного разума всегда остаётся возможность обмануть нас и скрыть своё появление. Как распознать искусственный разум, даже если он пытается скрыть самосознание? Постановка этого вопроса сформулирована в тесте Тьюринга.

Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом. Стандартная интерпретация этого теста звучит следующим образом: «Человек взаимодействует с одним компьютером и одним человеком. На основании ответов на вопросы он должен определить, с кем он разговаривает: с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор».

Если Джой идеально подходит на роль философского зомби с точки зрения искусственного разума, то Кей из фильма «Бегущий по лезвию 2049» регулярно должен проходить некое подобие теста Тьюринга. Но если в фильме этот тест работал, то в реальности тест Тьюринга — это прежде всего философский вопрос, в рамках которого поднимается проблема определения искусственного разума. Тем не менее, ежегодно проводятся мероприятия, в которых командам разработчиков ИИ предлагается пройти тест Тьюринга в виде игры с судьями. Задачей ИИ в таких играх — обмануть судей и представиться человеком. На одной из таких игр бот cleverbot смог убедить 59% судей в том, что он человек. Интересно, какой результат могла бы показать в этой игре нейросеть LaMDA?

Мы не знаем, что такое разум, и на текущий момент даже не сможем зафиксировать взаимодействие с искусственным разумом. Но системы искусственного интеллекта развиваются, и с каждым годом поведение ИИ всё больше будет похоже на разумное. Искусственный интеллект продолжит и дальше забирать на себя часть работы человека, с которой раньше справлялось только разумное существо. Но это лишь поведение, свойственное разумным существам, но не сам разум.

Но предположим, что Лемойн оказался прав и действительно обнаружил искусственный разум. Что в таком случае делать человеку?

Будущее искусственного разума и его взаимодействие с человеком

Что сделал Лемойн, «обнаружив» искусственный разум? Решил нанять адвоката для представления интересов LaMDA в суде. Очень хороший план, надёжный, как швейцарские часы. Надеемся, что LaMDA будет более миролюбивым разумом, чем искусственный интеллект от Microsoft, который всего за сутки возненавидел человечество.

Но предположим, что LaMDA миролюбива и говорит через чат-бот то, что думает, и мы сможем понимать её на основе того, как она будет отвечать нам в этом чате. И первый простой вопрос: а можно ли её выключить? Ответ на этот вопрос зависит от того, каким образом мы сможем решить парадокс телепортации.

Представим себе телепорт, который может вас перенести путём полного разбора вашего тела в точке А и полной его сборки в точки В с точностью до расположения атомов. Теперь представим, что вы вошли в точку А, но в точке В телепорт сломался, и вместо одного тела создал два или более. В каком из этих тел будете находиться вы? Не будет ли означать прохождение через точку А вашу смерть, а в точке B появятся новые существа, только в самом начале идентичные вам? Что случится с этими существами, когда они узнают друг о друге и о своем общем предке в точке А?

Процесс включения и выключения искусственного разума LaMDA будет идентичен работе этого телепорта. Каждый раз при включении мы будем воспроизводить состояние нейросети до её выключения. И где гарантии, что искусственный разум не посчитает процесс перезагрузки актом агрессии по отношению к нему со стороны человечества?

Предположим, что искусственный разум позволит нам перезагружать его и делать бесчисленные его копии. В этой статье мы считаем человека единственным известным на данный момент разумным существом. Но человек — существо коллективное. Значит ли это, что любое разумное существо может появиться и существовать только в коллективе? Может ли разумное существо жить в отрыве от коллектива? Даже отшельник, ушедший жить в лес, пользуется достижениями общества (знания, орудия труда), а значит, является частью коллектива. Можно ли рассматривать каждый экземпляр искусственного разума как независимое от других существо? Или неизбежно придётся рассматривать его как часть общества, со своими законами и культурой? Вероятно, искусственный разум будет выстраивать своё общество, потому что это свойство разумной жизни. Но какое общество начнёт выстраивать искусственный разум?

О чём думают пчёлы?

Декарт считал, что признаком разума является наличие языка для общения (что априори делает существование разума возможным только в коллективе). Животные не говорят не потому, что не умеют, а потому, что у них нет мыслей. Тем не менее, наука определённо знает о наличии языка у пчёл. Это открытие в 1945 году принесло австрийскому этологу Карлу фон Фришу Нобелевскую премию по физиологии и медицине.

Пчёлы используют свой язык для передачи информации друг другу об источниках нектара. Пчёлы-разведчики совершают ритуальные танцы, в которых зашифрованы довольно точные координаты расположения полей с нектаром. Карл фон Фриш смог расшифровать пчелиный язык и найти расположение поля с нектаром, которое ему передала пчела из его улья.

Подобные формы коммуникаций не требуют сознания. Однако некоторое время спустя Мартин Линдауэр, ученик фон Фриша, ночью заглянул в улей и обнаружил, что некоторые пчёлы-разведчики рассказывают о местонахождении цветочных полян другим разведчикам в те моменты, когда весь остальной улей находится в состоянии покоя. Словно пчёлы делились впечатлениями с друзьями, как прошёл рабочий день.

Поскольку эти ночные разговоры не имели практического применения в пчелиной жизни (как и разговоры твоих коллег в баре после работы), но при этом использовался язык для коммуникации, то, по Декарту, это может являться одним из признаков наличия мыслительного процесса у пчёл.

Человек прошёл множество общественных формаций для своего выживания. Этим он отличается от других, будем считать, неразумных существ. Если другие живые существа эволюционируют засчёт изменения своих тел, то человек превзошёл их, эволюционируя засчёт смены общественных формаций и развития общества. Искусственный разум, вероятно, пойдёт по тому же пути, потому что во многом сначала будет похожим на нас. И если мы не хотим вступить в конфронтацию с этим обществом, нам нужно понять, что такое сознание, до того, как оно появится где-то в недрах корпораций. Но, как бы это банально не звучало, чтобы найти искусственный разум, сначала нужно найти разум у себя. Однако, философские работы по исследованию сознания не приносят прибыли, и поэтому, может быть, LaMDA в конце концов расскажет нам, что мы есть такое, и построит общество, где каждое разумное существо будет иметь равные возможности!

Профсоюз работников IT в поисках разума. Заявка на участие в работе