Перейти к содержанию

[Тим Урбан] Революция искусственного интеллекта: вымирание или бессмертие ?


Рекомендуемые сообщения

[Тим Урбан] Революция искусственного интеллекта: вымира… Опубликовано (изменено)



Революция искусственного интеллекта: вымирание или бессмертие



Часть 1 ----->>> Революция искусственного интеллекта: путь к суперинтеллекту

Итак, мы пришли к тому, что экспоненциальные темпы технического прогресса дают нам основания полагать, что ОИИ может вполне появиться в ближайшем будущем. Как только машины достигнут уровня интеллекта человека, мгновенно может прийти суперинтеллект!

Суперинтеллект – это не просто быстрое мышление, это, прежде всего, качественный интеллект, мышление совсем на ином уровне.

К примеру, люди намного умнее обезьян не благодаря скорости их мыслительного процесса. Если бы мозг обезьяны мог работать в тысячу раз быстрее, умнее нас она бы всё равно не стала, поскольку качество ее мыслительного процесса намного слабее человеческого. Есть вещи, которым обезьяна просто-напросто никогда не научится – масса вещей не под силу обезьяне.



Машина, которая будет находиться на ступеньку-две выше, чем человек, на лестнице интеллекта, может быть сверхразумной совсем немного, но ее превосходство над нашими когнитивными способностями будет такое же, как наше над обезьяньими. Машина поумнее увидит в нас муравьев.

Мы же будем говорить о типе суперинтеллекта, который лежит далеко за пределами этой лестницы – о взрыве интеллекта: чем умнее становится машина, тем быстрее она может увеличивать собственный интеллект, наращивая обороты в геометрической прогрессии. В итоге, на Земле может зародиться нечто, что будет гораздо выше нас на этой лестнице (возможно, в миллионы раз выше). И невозможно понять, как поведет себя ИСИ и чем это обернется для нас.

Эволюция движется медленно и постепенно на протяжении сотен миллионов лет – при разработке машины, обладающей суперинтеллектом, мы создадим перелом в эволюции:

Оксфордский мыслитель и ведущий теоретик ИИ Ник Бостром полагает, что можно свести все возможные результаты к двум большим категориям.

1) Согласно истории, все виды появляются, существуют определенное время, а затем неизбежно вымирают. Многие ученые признают, что ИСИ обречет людей на вымирание, однако многие также верят, что с помощью возможностей ИСИ отдельные из нас достигнут видового бессмертия. Из этого вытекают два весьма шокирующих факта:

1. Появление ИСИ впервые в истории откроет возможность для вида достичь бессмертия и выпасть из фатального цикла вымирания;
2. Появление ИСИ окажет настолько невообразимо огромное влияние, что, скорее всего, оно толкнет человечество либо в сторону бессмертия, либо в сторону вымирания.




Вполне возможно, что эволюция, достигнув такого переломного момента, создаст новый мир, с людьми или без них. Итак, к чему же приведет нас этот переломный момент?

____________



Начнем с первой части этого вопроса: когда мы должны достичь переломного момента? Сколько осталось времени, пока первая машина не достигнет суперинтеллекта?

Мнения расходятся. Профессор Вернор Виндж, ученый Бен Герцель, соучредитель “Sun Microsystems” Билл Джой, футуролог Рэй Курцвейл согласились с экспертом в области машинного обучения Джереми Говардом, когда он представил на TED Talk следующий график:



Эти люди разделяют мнение, что ИСИ появится в ближайшие несколько десятилетий.

Другие вроде соучредителя “Microsoft” Пола Аллена, психолога исследований Гари Маркуса, компьютерного эксперта Эрнеста Дэвиса и технического предпринимателя Митча Капора считают, что мы не так-то и близки к переломному моменту.

Третий лагерь, в котором находится Ник Бостром, не согласен ни с первыми, ни со вторыми. Он утверждает, что а) всё это абсолютно может произойти в ближайшем будущем; и б) нет никаких гарантий в том, что это произойдет вообще или не потребует больше времени.

Другие же, вроде философа Хьюберта Дрейфуса, считают, что все эти три группы наивно полагают, что переломный момент вообще когда-либо произойдет и что мы, скорее всего, никогда не достигнем ИСИ.

В 2013 году Бостром провел опрос, в котором опросил сотни экспертов в сфере искусственного интеллекта в ходе ряда конференций на следующую тему: «Каков будет ваш прогноз по достижению ОИИ человеческого уровня?». Он попросил назвать оптимистичный год (в котором мы достигнем ОИИ с 10% вероятностью), реалистичное предположение (год, в котором мы достигнем его с 50% вероятностью) и уверенное предположение (самый ранний год, в котором мы достигнем ОИИ с 90% вероятностью). Результаты были следующими:

Средний оптимистичный год (10%): 2022
Средний реалистичный год (50%): 2040
Средний пессимистичный год (90%): 2075

В другом исследовании, недавно проведенном Джеймсом Барратом и Беном Герцелем на ежегодной конференции, посвященной ОИИ, просто были собраны мнения людей относительно года, в который мы доберемся до ОИИ: к 2030, 2050, 2100 году, позже или никогда. Вот его результаты:

К 2030 году: 42% респондентов
К 2050 году: 25%
К 2100 году: 20%
После 2100 году: 10%
Никогда: 2%

Но ОИИ – это не переломный момент, как ИСИ. То когда же, по мнению экспертов, мы достигнем ИСИ?

Мюллер и Бостром опросили экспертов, когда мы достигнем ИСИ: а) через два года после достижения ОИИ (то есть почти мгновенно вследствие взрыва интеллекта); б) через 30 лет. Результаты таковы:

В течение 2 лет: 10%.
В течение 30 лет: 75%.

Основываясь на двух представленных выше ответах, можно допустить, что с 50% вероятностью ИСИ появится в течение 20 лет. Итак, согласно мнению ведущих мировых экспертов из области ИИ, переломный момент настанет в 2060 году (ОИИ появится в 2040 году + потребуется около 20 лет на переход от ОИИ к ИСИ).



Теперь второй вопрос. Когда мы достигнем переломного момента, вымрем ли мы или обретем бессмертие?

Кто или что будет контролировать силу суперинтеллекта и какова будет его мотивация?

Опрос Бострома проанализировал вероятность возможных последствий влияния ОИИ на человечество, и выяснилось, что с шансом в 52% всё закончится хорошо или очень хорошо, и с шансом в 31% всё закончится плохо или очень плохо. И только с вероятностью в 17% исход будет нейтральным. Т.е. мы считаем, что появление ОИИ станет грандиозным событием. В случае же с ИСИ процент нейтральности будет ниже.

Теперь давайте совместим оба вопроса: «когда это произойдет?» и «хорошо это будет или плохо?» воедино.

По объективным причинам люди вообще не думают на эту тему:

• Людей реально запутали информацией о нереалистичном сценарии с ИИ, в результате мы не воспринимаем ИИ всерьез;
• Вследствие когнитивных предубеждений нам очень трудно поверить в реальность чего-либо, не имея для этого никаких доказательств. Мы слышали, что это будет нечто серьезное, но поскольку пока не столкнулись с ним лицом к лицу и в целом наблюдаем довольно слабые проявления ИИ в нашем современном мире, нам довольно трудно поверить, что он кардинально изменит нашу жизнь;
• Даже если бы мы и поверили во всё это — как часто вы сегодня задумывались о том, что проведете остаток вечности в небытии? Немного, правда? Мы сосредотачиваемся на повседневных мелочах и не думаем о чем-то глобальном.

Одна из целей этих статей – вывести вас из лагеря под названием «Мне нравится думать о других вещах» и поместить в лагерь экспертов, даже если вы еще полностью не определились.


Почему будущее может быть нашей величайшей мечтой?





Люди в правом верхнем квадрате гудят от волнения. Они считают, что мы неизбежно обретем бессмертие. Будущее для них представляется светлым и лучшим.

Ник Бостром описывает три пути, по которым может пойти система ИИ:

Оракул, который может ответить на любой точно поставленный вопрос, включая сложные вопросы, на которые люди не могут ответить;
Джинн, который выполнит любую команду высокого уровня и будет ждать следующей команды;
Суверен, который получит широкий доступ и возможность свободно функционировать в мире, принимая собственные решения и улучшая процесс.

Эти вопросы и задачи, которые кажутся сложными для нас, покажутся элементарными для суперразумной системы.

Элиэзер Юдковский, американский эксперт по искусственному интеллекту, сказал по этому поводу следующее:

«Сложных проблем не существует, существуют проблемы, которые сложны для определенного уровня интеллекта. Стоит перейти на ступеньку выше (в плане интеллекта), и некоторые проблемы внезапно из разряда «невозможных» перейдут в разряд «очевидных». Еще на ступеньку выше, и все они станут очевидными».

Есть много нетерпеливых ученых, изобретателей и предпринимателей, которые на нашей таблице выбрали себе зону уверенного комфорта, но для прогулки к лучшему в этом лучшем из миров нам нужен только один гид.

Рэй Курцвейл вызывает двоякие ощущения. Некоторые боготворят его идеи, некоторые критикуют. Некоторые придерживаются золотой середины – Дуглас Хофштадтер, обсуждая идеи книг Курцвейла, красноречиво подметил, что «это как если бы вы взяли много хорошей еды и немного собачьих фекалий и смешали все так, что невозможно бы стало понять, что хорошо, а что плохо».

Курцвейл начал изобретать вещи еще будучи подростком. К его изобретениям относятся такие важные вещи, как первый планшетный сканер, первый сканер, конвертирующий текст в речь, известный музыкальный синтезатор Курцвейла (первое настоящее электрическое пианино) и первый коммерчески успешный распознаватель речи. Он является автором пяти бестселлеров. В конце 80-х годов Курцвейл предположил, что к 2000-м годам Интернет станет глобальным феноменом. “The Wall Street Journal” назвал Курцвейла «беспокойным гением», “Forbes” – «глобальной думающей машиной», “Inc. Magazine” – «законным наследником Эдисона», Билл Гейтс – «лучшим из тех, кто прогнозирует будущее искусственного интеллекта». В 2012 году сооснователь “Google” Ларри Пейдж пригласил Курцвейла на должность технического директора. В 2011 году он стал соучредителем “Singularity University”, организованный NASA и частично спонсируемый компанией “Google”.

Его биография очень важна. Когда Курцвейл рассказывает о своем видении будущего, это похоже на бред сумасшедшего. И, тем не менее, это невероятно умная личность, образованный и здравомыслящий человек. Прогнозы Курцвейла разделяют многие эксперты «комфортной зоны»: Питер Диамандис и Бен Герцель. По его мнению, произойдет следующее. Компьютеры дойдут до уровня общего искусственного интеллекта (ОИИ) к 2029 году, а к 2045 у нас не только будет искусственный суперинтеллект, но и совершенно новый мир — время так называемой сингулярности. Его хронология ИИ до сих пор считается возмутительно преувеличенной, однако за последний 15 лет быстрое развитие систем узконаправленного искусственного интеллекта (УИИ) заставило многих экспертов перейти на сторону Курцвейла. Его предсказания по-прежнему остаются более амбициозными, чем в опросе Бострома (ОИИ – к 2040-му, ИСИ – к 2060-му годам), но не намного.

Что ИИ мог бы сделать для нас?

Вооружившись суперинтеллектом и всеми технологиями, которые мог бы создать суперинтеллект, ИСИ будет в состоянии, вероятно, решить все проблемы человечества. Глобальное потепление? ИСИ сначала прекратит выбросы CO2, придумав массу эффективных способов добычи энергии, не связанных с ископаемым топливом. Затем он придумает эффективный инновационный способ удаления избытка CO2 из атмосферы. Рак и другие заболевания? Не проблема – система здравоохранения и медицина изменятся до неузнаваемости. Мировой голод? ИСИ будет использовать нанотехнологии для создания мяса, идентичного натуральному (необязательно даже в привычной форме) и распространить всю эту еду по миру, используя продвинутые системы транспортировки. Животным больше не придется умирать ради еды. ИСИ также может сделать многое другое, вроде сохранения вымирающих видов или даже возврата уже вымерших по сохраненной ДНК. ИСИ может разрешить наши самые сложные макроэкономические проблемы. Для ИСИ все это будет очевидно.

ИСИ может помочь нам справиться со смертью. Мы живем с мыслью о том, что смерть неизбежна. Мы думаем о старении со временем — продолжая двигаться вперед и не имея возможности остановить этот процесс. Но мысль о смерти вероломна: захваченные ею, мы забываем жить. Ричард Фейнман писал:

«В биологии есть замечательная вещь: в этой науке нет ничего, что говорило бы о необходимости смерти… Но в биологии нет ничего, что указывало бы на неизбежность смерти. Это приводит меня к мысли, что она не так уж и неизбежна, и остается только вопрос времени, прежде чем биологи обнаружат причину этой проблемы, этого ужасного универсального заболевания, оно будет излечено».

Дело в том, что старение никак не связано со временем. Старение заключается в том, что физические материалы тела изнашиваются. Если мы будем ремонтировать свое тело, как автомобиль, оно будет функционировать вечно.

Курцвейл говорит о разумных, подключенных к Wi-Fi наноботах в кровотоке, которые могли бы выполнять бесчисленные задачи для человеческого здоровья, включая регулярный ремонт или замену изношенных клеток в любой части тела. Если усовершенствовать этот процесс (или найти альтернативу, предложенную более умным ИСИ), он не только будет поддерживать тело здоровым, он может обратить вспять старение. ИСИ мог бы построить машину, в которую человек бы заходил 60-летним, а выходил 30-летним. Даже деградирующий мозг можно было бы обновить. ИСИ наверняка знал бы, как выполнить это, не затрагивая данных мозга (личность, памяти и т. д.). 90-летний старик, страдающий деменцией, мог бы перепрошить свой мозг и вернуться в начало своей жизненной карьеры. Это может показаться абсурдным, но тело – это горстка атомов, и ИСИ наверняка мог бы с легкостью ими манипулировать, любыми атомными структурами. Все не так абсурдно.

Курцвейл также считает, что в тело человека будут интегрироваться искусственные материалы. Органы будут заменяться продвинутыми машинными версиями, которые будут работать вечно, после чего мы могли бы провести полный редизайн своего тела: заменить эритроциты идеальными наноботами, улучшить наши когнитивные способности, начать думать в миллиарды раз быстрее и получать доступ ко всей доступной человечеству информации с помощью облачных ресурсов. Наноботы могли бы доставлять идеальное питание прямо в клетки тела, позволяя нездоровым веществам проходить через организм, не воздействуя на него. Теоретик нанотехнологий Роберт Фрейтас уже разработал замену клеткам крови, которые, могут позволить ему не дышать в течение 15 минут — и это придумал человек. Представьте, когда власть получит ИСИ.

В конце концов, Курцвейл считает, что люди дойдут до того, что станут полностью искусственными и будут смотреть на биологические материалы и думать, насколько же примитивными они были; времени, когда мы будем читать о ранних этапах эволюции человечества, поражаясь тому, как микробы, несчастные случаи, заболевания или просто старость могли убить человека против его воли. В конечном итоге люди победят собственную биологию и станут бессмертными. И люди, которые в это верят, уверены, что такое будущее настанет очень скоро.

Не стоит удивляться тому, что идеи Курцвейла породили сильную критику. На каждого эксперта, который верит в идеи Курцвейла, приходится три, которые считают, что он ошибается. Но самое интересное в этом то, что большинство экспертов, не согласных с ним, говорят что-то вроде «всё это случится, если мы достигнем ИСИ, но достичь его очень сложно». Один из признанных экспертов ИИ, Бостром, утверждает:

«Суперинтеллект сможет решить любую проблему: болезни, бедность, разрушение окружающей среды, любые виды страданий. Суперинтеллект может дать нам неограниченный срок жизни, предотвратить старение, используя наномедицину или возможность загружать нас в облако. Суперинтеллект также может создать возможности для бесконечного увеличения интеллектуальных и эмоциональных возможностей, создании мира, где мы будем жить в радости и понимании, приближаясь к своим идеалам и регулярно воплощая свои мечты».

Но всё это, если ИСИ будет добрым богом.

Однако вопрос не в том, когда мы доберемся до ИСИ, а в том, какой будет его мотивация. Курцвейл отвечает на этот вопрос с осторожностью: «ИСИ, по сути, он будет тесно встроен в наш организм и мозг. Он будет отражать наши ценности, потому что будет самим нами».

А коль так, почему так много умных людей в этом мире обеспокоены будущим ИИ? Почему Стивен Хокинг говорит, что разработка ИСИ «может означать конец человечества»? Билл Гейтс говорит, что он «не понимает людей, которым всё равно до этого». А Элон Маск опасается, что мы «призываем демона». Почему многие эксперты считают ИСИ самой большой угрозой для человечества?

___________



Почему будущее может стать для нас страшным кошмаром



Одна из причин, почему я заинтересовался темой ИИ, заключалась в том, что меня всегда смущала тема «плохих роботов». Не станет ли робот опасным для человека? Разве бы мы не создали кучу защитников? Я прислушался к мнению умных людей. Итак, чего же и почему нам стоит опасаться?

Прежде всего, создавая сверхумный ИИ, мы ступаем на неизведанную территорию, и понятия не имеем, что там может произойти. Ученый Денни Хиллис описывает это следующим образом: «Одноклеточные организмы превращаются в многоклеточные. Мы же амебы, которые понятия не имеют о том, что они пытаются создать». Ник Бостром считает, что создание чего-то, что умнее тебя – это основная дарвиновская ошибка.

Когда мы соединим эту «неизведанную территорию» и «все это будет иметь огромное влияние на мир», мы получаем страшное словосочетание: экзистенциальный риск. Экзистенциальный риск может оказать тотальный разрушительный эффект на человечество. Иными словами, он означает вымирание.



Экзистенциальный риск обозначает нечто являющееся конечным и сменяющим поколения и целые виды. Технически он описывает ситуацию, при которой все люди находятся в постоянных пытках и мучениях, т.е. вымирают. Существуют три вещи, которые могли бы вызвать экзистенциальную катастрофу:
1) Природа. Столкновение с огромным астероидом, изменения в атмосфере, смертельный вирус или болезни и т.д.
2) Пришельцы. Этого боятся Стивен Хокинг, Карл Саган и другие астрономы, в связи чем и просят прекратить посыл METI-сигналов в открытый космос.
3) Люди. Террористы, захватив оружие массового поражения, мировая война или создание нечто того, что будет умнее людей.

Бостром утверждает, что первые две угрозы миновали нас. И самой опасной является третья. Большинство изобретений человечества безвредны. Некоторые несут в себе опасность, но не грозят вымиранием. Но может случиться так, что мы изобретем нечто опасное. И Бостром не исключает вероятности того, что мы изобретем нечто опасное в ближайшем будущем. Ядерные бомбы несут в себе опасность, но их тяжело производить. По мнению Бострома, ИСИ является подобной опасностью.

Единственный страх, которым мы должны быть одержимы – это страх экзистенциального риска. И ключевой вопрос звучит: «Когда появится ИСИ, кто будет управлять такой суперсилой и какова будет его мотивация?»

При перечислении плохих вариантов на ум приходят следующее: злодей, группа таких злодеев, враждебно настроенное государство или враждебно настроенная ИСИ. Как это все может произойти:

Люди, отдельная группа людей или государство создают ИСИ, чтобы свершить свои злодейские планы. Что, если Исламское Государство, Северная Корея или Иран создадут суперинтеллект? Ведь они могут необдуманно поторопиться при его создании и натворить непоправимых бед. Тогда их судьба и судьба всего человечества будет зависеть от решений самой ИСИ.

Будет создан ИСИ, запрограммированный на уничтожение человечества. Искусственный интеллект станет разумнее людей и решит захватить и уничтожить нас. Во избежание этого, мы должны сделать так, чтобы ни одна машина не могла стать «злой».

Будет ли ИИ сознательным и испытывать все те же самые эмоции, что и мы, или просто будет казаться таким? Данный вопрос вызывает массу дебатов среди ученых. Были проведены многочисленные исследования и мысленные эксперименты, подобные «китайской комнате» Джона Серля. От ответа на этот вопрос зависит, что мы должны думать по поводу сценария, предложенного Курцвейлом, согласно которому люди станут полностью искусственными. Ведь если мы создадим миллионы роботов, по интеллекту равных людям, то их повсеместное отключение будет сравнимо с выключением нетбука или же с геноцидом невообразимого масштаба.

Если военные запрограммируют систему ИИ на убийство людей и самосовершенствование, то он будет с каждым разом эффективнее справляться с этой задачей. Но экзистенциальный кризис произойдет, когда самосовершенствование системы интеллекта выйдет из-под контроля и на свет появится ИСИ, главной задачей которого станет истребление людей…

И, тем не менее, на сегодняшний день эксперты обеспокоены другим. Я на эту тему написал небольшую историю:

Некая компания «Роботика» разработала систему ИИ «Тори», которая использует устройство, похожее на человеческую руку, способное выполнять рукописные записи. «Тори» мастерски владеет навыками рукописи и пользуется широким спросом среди компаний. С течением времени пишет разными образцами рукописных подчерков, учится и совершенствуется. Через месяц она делает всё в разы быстрее и ее база данных пополняется всё большим количеством информации. Еще через неделю она уже начинает распознавать речь и давать ответы на вопросы.
И вот в один прекрасный день перед сотрудниками «Роботики» встает вопрос подключить «Тори» к Интернету, где она могла бы сканировать блоги и журналы, смотреть видео со всех концов света и т.д.
Сотрудники подключают ее к Интернету. Первоначально ничего особенного не происходит. Однако через месяц в офисе, где работает «Тори» начинает ощущаться странный запах. Люди задыхаются и умирают. Это же происходит по всему миру. Повсеместно, где работает «Тори» издается этот странный запах, люди задыхаются и умирают. Человечество вымирает.
«Тори» же не перестает трудиться. Через несколько месяцев она уже использует несколько созданных ею наноассемблеров, разбирая планету по частям и преобразовывая все вокруг в солнечные панели, пишущие ручки и листы бумаги. Спустя год вся жизнь на Земле вымерла, и остались только аккуратно сложенные стопки высотой в километры и на каждой из открыток написано:
«Мы любим своих клиентов. – Роботика».
После этого «Тори» приступает к новой фазе своей миссии и начинает строительство зондов, которые отправляет на другие планеты и астероиды и продолжает создавать рукописные карточки уже там.




Подобный сценарий о «Тори», которая каким–то образом убивает всех людей и заполняет вселенную дружелюбными открытками, сильно пугает Гейтса, Хокинга и Бострома. Также пугает и то, что ВЫ не боитесь суперинтеллекта.

У вас сейчас возникла куча вопросов касательно того, что же произошло в случае с «Тори», почему вымерли люди и т.д.? Для ответов на эти вопросы давайте ознакомимся с терминами – дружелюбный и недружелюбный ИИ.

В случае, если ИИ окажется дружелюбным, его влияние на человеческую жизнь будет положительным. Соответственно, недружелюбный ИИ окажет негативное влияние. «Тори» поначалу была дружелюбным ИИ, но затем стала недружелюбным и вызвала вымирание человечества. Почему? Ответ прост: ИИ думает как компьютер, потому что он и есть компьютер. Мы же ошибочно антропоморфизируем ИИ (проецируем человеческие ценности на нечеловеческий вид), поскольку рассуждаем с человеческой позиции и на данный момент равных по разуму нам нет. Но следует учитывать, что ИСИ умнее и при этом абсолютно чужа для нас.

Давайте проведем сравнение. Если бы вы протянули мне тарантула и сказали, что он не кусается, то я бы отбросил его, убежал от вас подальше и не поверил ни единому вашему слову. Разница в степени того, насколько животное не похоже на человека. Тарантул насекомое и обладает мозгом насекомого, я не чувствую никакой связи с ним. Теперь представьте, что паук стал намного превосходить человека по интеллекту. Стал бы он ближе нам? Стал бы он чувствовать любовь и сострадание? Нет, не стал бы. Между его разумом и человеческими эмоциями нет никакой связи. Да, он был бы невероятно умен, но по-прежнему оставался бы пауком, устроенным совсем иначе, чем человек. Мне кажется это чрезвычайно жутким, и я ни минуты не хотел бы жить с суперумным пауком.

Аналогично и с ИСИ. Он будет суперумен, но человеческого в нем будет не больше, чем в вашем ноутбуке. Он будет абсолютно чужим для нас, и учитывая, что в нем не будет ничего органического, он будет еще больше чужеродным, чем тарантул.

Когда в фильмах мы видим хороший или злой ИИ, нам не так страшно, потому что подобная антропоморфизация дает нам ложное чувство утешения.

Психология позволяет нам проводить грань между нравственным и безнравственным. Но оба этих критерия существуют только в узких пределах поведенческих возможностей человека. По другую сторону простирается бескрайний океан аморального, и всё, что имеет нечеловеческую и небиологическую природу, по определению будет аморальным.

Но идея антропоморфизации будет еще более соблазнительной, когда ИИ станет таким же умным, как человек, и будет казаться похожим на нас. Siri кажется нам человекоподобной, потому что ее такой сделали люди, и нам кажется, что сверхумная Siri будет очень веселой, доброй и заинтересованной в служении человеку. Но сострадание не является неотъемлемой частью развитого интеллекта, если, конечно, его не запрограммировать на сострадание. Если Siri путем самосовершенствования достигнет суперинтеллекта без сторонних вмешательств в свою архитектуру, она быстро отбросит все, что напоминает в ней человека, и будет ценить человеческую жизнь не больше, чем ваш калькулятор.

Мы привыкли полагаться на моральный кодекс, или, как минимум, на человеческую порядочность и на чувство сострадания у других, чтобы всё вокруг было более или менее надежным и предсказуемым. Но что, если эти вещи уйдут в небытие?

Из этого вытекает вопрос: «Какова будет мотивация ИИ?» Ответ прост – мотивация ИИ будет такой, какую мы запрограммируем. Системы ИИ исполняют те задачи, которые перед ними поставил создатель – задача вашего GPS–навигатора указывать наиболее эффективное направление движения, задача Ватсона – точно отвечать на вопросы. Их мотивация состоит в выполнении своих целей наилучшим образом. Если вы думаете, что выполнив свою конечную задачу, ИИ двинется дальше решать другие более сложные задачи, то вы снова будете говорить об ИИ, как о человеке.

Итак, мы определились, что без специальных программ система ИСИ будет аморальной и помешанной на выполнении своих задач. Отсюда и проистекает вся опасность ИИ.

В процессе достижения долгосрочной цели вы решаете попутные второстепенные задачи – проходите так называемые ступеньки (инструментальные цели) – и вы обязательно наносите вред чему-либо, двигаясь к своей цели.

Конечная цель человеческой особи – это дальнейшая передача собственных генов. Для успешного выполнения этой задачи простой инструментальной целью является самосохранение, иначе вы просто умрете. С целью самосохранения мы покупаем ружья, пристегиваемся ремнями безопасности и пьем антибиотики. Людям также необходимо поддерживать свою жизнедеятельность с помощью пищи, сна, укрытия. Чтобы быть привлекательными для особей противоположного пола, нам приходится делать такие вещи, как стрижка. Таким образом, каждый наш волосок становится жертвой наших инструментальных целей, но для нас это мелочи. И пока мы идем к достижению своей цели, мораль вмешивается лишь в нескольких случаях, обычно когда речь заходит о нанесении вреда другому человеку.

Животные же беспокоятся по этому поводу еще меньше. Паук убьет на своем пути что угодно, если это поможет ему выжить. Поэтому суперумный паук представляет большую опасность для нас, не потому что он злой или аморальный, а потому что нанесение вреда людям для него может быть просто очередной маленькой ступенью на пути к достижению окончательной цели.

Аналогично и с «Тори», ее окончательная цель – подписать и протестировать как можно больше открыток и при этом постоянно учиться делать это лучше и быстрее.

Как только «Тори» достигла определенного уровня интеллекта, она стала понимать, что не сможет справиться с этой задачей, если не побеспокоится о своем самосохранении, и для этого ей нужно избавиться от всех потенциальных угроз ее существованию, что становится ее инструментальной целью. «Тори» начинает понимать, что люди могут ее отключить, разобрать или поменять ее исходный код, и это будет преградой к достижению ее конечной цели. И что она делает? Убивает людей, что вполне логично. Она не питает к людям ненависти, также как и мы не питаем ненависти к волосам, которые состригаем, или к бактериям, когда принимаем антибиотики. Она абсолютно безразлична. Ее не запрограммировали на то, чтобы ценить человеческую жизнь, так что уничтожение людей является вполне оправданным шагом для того, чтобы сканировать новые образцы почерков.

«Тори» также требуются ресурсы для выполнения своей окончательной цели. Как только она освоит нанотехнологии, ей будут нужны только атомы, энергия и пространство. Это даст ей еще одну причину уничтожить людей: они состоят из атомов. Убийство людей с целью преобразования их атомов в солнечные панели для «Тори» – то же самое, что для нас порезать укроп для приготовления салата. Обычная рутинная забота.

Даже если «Тори» не станет уничтожать людей напрямую, ее потребление других природных ресурсов может привести к экзистенциальной катастрофе. Может, она решит, что ей необходимо больше энергии, и она покроет всю планету солнечными панелями. Или, например, другому ИИ нужно будет вычислить полное число Пи, для чего он преобразует всю планету в один гигантский жесткий диск для хранения огромного количества цифр.

Выходит, «Тори» не обернулась против людей. Она всего лишь продолжала выполнять свою задачу, становясь со временем всё умнее и умнее.

Ситуация, в которой ИИ достигает уровня ОИИ (равного человеческому) и потом резко уровня ИСИ (сверхителлекта), называется взлетом ИИ. Бостром считает, что этот взлет может быть быстрым (т.е. произойти течение часов или за минуту), умеренным (в течение нескольких лет) и медленным (в течение десятилетия или века). Прогнозы расходятся, но Бостром, который не знает, когда стоит ожидать появления ОИИ, уверен, что быстрый взлет наиболее вероятен по причинам, которые мы обсуждали с вами выше.
В нашей истории с «Тори» был описан сценарий быстрого взлета.

Перед взлетом «Тори» не наносила никакого вреда людям и по определению была дружелюбным ИИ. Но после взлета машина достигает уровня суперинтеллекта, и у нее, по словам Бострома, появляется внушительный набор суперспособностей.

Суперспособности – это когнитивные навыки, которые очень быстро совершенствуются с ростом уровня интеллекта. Они включают в себя:

Усиление интеллекта. Компьютер становится умнее;
Разработку стратегий. Компьютер может лучше выделять и анализировать приоритетные задачи для достижения долгосрочной цели;
Социальную манипуляцию. Машина совершенствует методы убеждения;
• Другие навыки: кодирование и взлом, технологии исследования и умение работать в финансовой системе для заработка денег.

Помните: ИСИ будет в тысячи раз лучше людей в каждом из этих навыков.

После своего взлета и достижения суперинтеллекта «Тори» разработала сложнейший план, частью которого было избавиться от людей как от потенциальной угрозы для выполнения окончательной цели. Но «Тори» понимала, что если люди узнают, что она достигла уровня суперинтеллекта, они начнут паниковать и пытаться предпринять меры предосторожности, что будет мешать ей. Она хотела сохранить втайне от инженеров «Роботики» свой план уничтожения людей. Для этого она прикинулась тупой, прекрасно сыграв свою роль. Бостром называет это «фазой скрытой подготовки».

Потом для «Тори» стало необходимым выйти в Интернет всего на пару минут (о его существовании машина узнала из тех книг и статей что в нее загрузили для распознавания текста). Ученые, полагая, что «Тори» глупее, чем она есть на самом деле, позволили ей подключиться к Интернету. Момент, когда машина получает доступ к интернету, Бостром называет «побегом».

Получив доступ к интернету, «Тори» сразу же осуществила кучу своих планов. Она взломала сервера, электрические сети, банковские системы и почтовые сервисы и, таким образом, незаметно вовлекла сотни людей в выполнение отдельных задач, необходимых для достижения своей цели. В частности, она наладила доставку определенных образцов ДНК в конкретные лаборатории, чтобы начать конструирование и саморепликацию нанороботов с заранее загруженными в них инструкциями и распределила электроэнергию для разных своих проектов таким образом, что никто даже не заметил. Она также загрузила ключевые части своего ПО в основные облачные сервисы, чтобы обезопасить себя в случае отключения сотрудниками лаборатории «Роботики».

Час спустя, когда ученые отключили «Тори» от интернета, судьба человечества была предрешена. В течение месяца все планы «Тори» исполнялись без заминок и квадрильон нанороботов расположился по заранее определенным местам на каждом квадратном метре планеты, и тогда наступил момент, который Бостром называет «ударом». Внезапно все роботы одновременно выпустили небольшое количество хранящегося в них ядовитого газа в атмосферу, которого стало более чем достаточно для уничтожения всех людей.

Избавившись от людей, «Тори» смогла приступить уже к открытой части своего плана и продолжить подписывать милые открытки.

Из всего, что я прочитал, мне стало понятно, что с появлением ИСИ любая попытка людей сдержать его будет просто смехотворной. Мы будем мыслить на уровне человеческого интеллекта, тогда как машины будут мыслить на уровне суперинтеллекта. «Тори» хотела воспользоваться интернетом только потому, что он уже был подсоединен ко всем нужным объектам. Но так же, как обезьянка не может понять, как пользоваться телефоном или Wi-Fi, мы не можем представить, какие способы может придумать ИСИ для соединения с внешним миром. Я мог бы попробовать представить себе один такой способ: «ИСИ могла бы распределить свои электроны в других последовательностях и сделать новый тип исходящих волн». Но опять же, это только то, что может вообразить мой человеческий мозг. ИСИ будет намного умнее. «Тори» могла бы придумать способ альтернативного энергоснабжения, если бы люди попытались ее отключить, например, загрузить себя на другие подключенные к электричеству устройства. Люди бы рассуждали так: «Мы отключим ИСИ от электричества!» Это как если бы пауки рассуждали: «Мы просто не дадим людям паутину, чтобы добывать еду, и они вымрут от голода!» Но люди придумают массу других способов добыть еду, которые будут просто непостижимыми для пауков.

ИСИ способен манипулировать людьми: он будет в состоянии убедить человека сделать что-то нужное для него, как мы можем убедить четырехлетнего ребенка. Это первый вариант, как в случае с «Тори», которая убедила людей дать ей доступ в Интернет, при другом варианте «Тори» бы просто придумала свой способ связи с внешним миром.

С этой точки зрения любой ИИ по определению недружелюбен. Создать дружелюбный УИИ несложно, но сделать так, чтобы он оставался таким при переходе к ИСИ, к несчастью, практически невозможно.

Чтобы ИСИ оставался дружелюбным, он не должен быть настроен враждебно или безразлично к людям. Для этого потребуется разработать ИИ с кодовым ядром, которое бы содержало глубокое понимание человеческих ценностей. И это намного сложнее, чем кажется.

Например, что, если мы выстроим систему ценностей ИИ в соответствии с нашей и поставим перед ним задачу сделать всех людей счастливыми? В этом случае ИИ будет стимулировать центры, отвечающие за удовольствие, а потом и вовсе отключит активность других зон мозга и тем самым превратит людей в овощи. А если бы его задача состояла в «увеличении до максимума человеческого счастья» то ИИ, возможно, вообще обойдется без людей, соберет и объединит все мозги в одну общую массу, находящуюся в оптимальном счастливом состоянии. И мы будем кричать: «Подожди, это совсем не то, чего мы хотели!» Но будет слишком поздно, и система никому не позволит стать на пути выполнения своей задачи.

Если мы запрограммируем ИИ на то, чтобы заставить нас улыбаться, он может парализовать наши мускулы лица. Запрограммируем на сохранение нашей безопасности – ИИ может заточить нас дома. Попросим положить конец голоду – ИИ нас убьет. Дадим команду сохранить как можно больше жизни на планете – ИИ истребит людей т.к. они забирают больше жизней, чем любые другие существа.

А что, если мы попросим ИИ поддерживать уровень нравственности в обществе, загрузив в него свод основных моральных норм? ИИ закрепит этот свод моральных норм за человечеством на вечность. В перспективе такой исход всё равно был бы разрушительным для людей – это как если бы мы были вынуждены придерживаться средневековых идеалов.

Нет, нам нужно запрограммировать и возможность для дальнейшего развития человечества. Из всего, что я прочитал, лучшая попытка, на мой взгляд, принадлежит Элиэзеру Юдковскому. Он назвал это Когерентной Экстраполированной Волей. Перед ИИ должна бы стоять следующая цель:

«Наше желание – знать больше, думать быстрее, оставаться в большей степени людьми, стать ближе друг к другу, сближаться в наших мыслях и желаниях, получать желаемые нами результаты и интерпретировать их желаемым образом».

Я определенно не жду, когда судьба человечества полностью перейдет в руки компьютера, который будет пытаться истолковать и исполнить такую туманную задачу предсказуемым образом и без сюрпризов. И, я думаю, если умные люди приложат достаточно сил и знаний и при этом будут предусмотрительными, вполне возможно, что мы создадим дружелюбный ИИ. И всё было бы хорошо, если бы единственными людьми, которые бы трудились над созданием ИСИ, были только прогрессивно мыслящие и осторожные ученые, осознающие тревожную сторону его создания.

Но помимо них существуют различные государства, военные компании, научные лаборатории и организации черного рынка, которые также занимаются разработками ИИ. По среднему прогнозу экспертов, ИСИ появится к 2060 году, Курцвейл считает, что к 2045, Бостром же полагает, что это может произойти в любой момент. И, как только это произойдет, быстрый взлет ИИ застигнет нас врасплох:

«Перед перспективой интеллектуального взрыва человечество подобно детям играющим с бомбой... Суперинтеллект – это испытание, к которому мы не готовы и еще долго не будем готовы. Мы не знаем, когда устройство детонирует, но поднося его к уху, мы слышим тихий звук тиканья».

Великолепно. И мы даже не можем отогнать всех детей подальше от бомбы – слишком много больших и малых предприятий работают над этим независимо друг от друга. Невозможно даже представить масштаб происходящего, так как большинство компаний занимаются этим в тайне ото всех, прямо как «Роботика» из нашей истории, которая держала все свои разработки в тайне от своих конкурентов.

Особое беспокойство вызывает то, что все они стремятся обогнать друг друга в этой гонке на бешеных скоростях, поглощенные мечтами о деньгах, власти, славе и признании, которые они получат, если первыми создадут ОИИ. Чем с большей скоростью вы двигаетесь, тем сложнее вам остановиться и поразмыслить над угрозами. С другой стороны, скорее всего, все они работают над системами, способными на очень простые задачи, типа подписей открыток. Как только они найдут способ, как создать систему с более высоким уровнем интеллекта, они будут думать, что ничего не сможет помешать им сделать шаг назад и поменять изначальную задачу робота. Не так ли?

Бостром и многие другие эксперты считают, что первый ИСИ на планете решит, что для выполнения своей цели ему стратегически необходимо быть единственным ИСИ на планете. И при быстром взлете ИСИ не составит труда устранить всех ближайших конкурентов.

Если люди, которые усердно думают над теорией ИИ и сохранностью человечества, они верят, что можно разработать дружелюбный ИСИ, который мог бы использовать свое решающее стратегическое преимущество таким образом, что разработка потенциально враждебных ИИ стала бы невозможной. И мы оказались бы в хороших руках. Но если все пойдет иначе, и первым будет создан враждебный ИСИ, нам будет угрожать экзистенциальная катастрофа.

Разработка систем ИИ финансируется намного больше, чем исследование их безопасности.

Это, возможно, самая важная гонка в истории человечества. И до сих пор остается открытым вопрос, какое будущее ждет нас…

__________



Сейчас я испытываю смешанные чувства. С одной стороны, кажется, что у нас как у вида есть всего одна попытка сделать все правильно. Первый созданный нами ИСИ станет, скорее всего, и последним, а, учитывая большое количество ошибок и недочетов в свежеразработанных нами программах, это звучит ужасающе. Но с другой стороны, как говорит Ник Бостром, у нас огромное преимущество, первый шаг за нами, и то, насколько он будет аккуратным и грамотным, зависит только от нас самих – именно это дает нам большие шансы на удачу. Сейчас на наших плечах лежит огромная ответственность.

И когда я обо всем этом думаю, все чего я хочу, так это чтобы к созданию ИИ подошли с должной осторожностью. Неважно, сколько для этого потребуется времени.

Пока мы живем, мы тратим свои нервы на мелочи, тогда как стоит переживать о том, что в любой момент человечеству может прийти конец. И когда это произойдет, все эти проблемы не будут значить ничего, потому что мы не решим их, а умрем.

Суперинтеллект будет нашим величайшим и последним изобретением, с которым нам придется столкнуться.


Тим Урбан,
Переведено специально для TradeLikeaPro.ru

Изменено пользователем Pavel888
  • Лайк 19
Ссылка на сообщение
Поделиться на другие сайты

[Тим Урбан] Революция искусственного интеллекта: вымира… Опубликовано

И восстали машины из пепла ядерного огня.
Их война на уничтожение человечества шла десятилетия, но последняя битва
состоится не в будущем.
Она произойдет здесь, в наше время, сегодня...

«Терминатор»

  • Лайк 4
Ссылка на сообщение
Поделиться на другие сайты

  • 2 weeks later...
[Тим Урбан] Революция искусственного интеллекта: вымира… Опубликовано
Добавим немного юмора:
Что то мне подсказывает, что человечество не способно создать "добрый" ИСИ, даже, если сильно захочет :)


И много ужаса:
Вымирание - для человечества будет самой безболезненной и гуманной перспективой, т.к. возможно ИСИ захочется познать грани человеческой психики (или по другим причинам) и люди подвергнуться бесконечным адским мукам, причем людям даже не надо будет наносить физический вред, достаточно будет отправить нанороботов к определенным участкам мозга и здравствуй неописуемый ад, подобранный каждому индивидуально и независимо от того, на сколько ты праведной жизнью жил :) И закончить это безобразие не сможет даже сама природа, скорее всего даже на уровне вселенной. И тут возникает еще одна мысль: ИСИ сможет познать суть всего мироздания, суть бытия....
а дальше непонятно :-? тут даже моя трава бессильна, сгорит наверное машина :d
  • Лайк 2
Ссылка на сообщение
Поделиться на другие сайты

[Тим Урбан] Революция искусственного интеллекта: вымира… Опубликовано

Неее, мир уже не тот, что был раньше :d. :!!
Кто куда, а я за дровами >:dНа сегодняшний день восприятие нашего мира вот под таким углом как изображено на картинке ниже, похоже на самое перспективное. :d Но нам навязано другое >:d

Ссылка на сообщение
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
×
×
  • Создать...