Бостром искусственный интеллект этапы угрозы стратегии. Искусственный интеллект. Этапы. Угрозы. Стратегии Текст. Искусственный интеллект скоро станет умнее нас

Ник Бостром

Искусственный интеллект. Этапы. Угрозы. Стратегии

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

This book was originally published in English in 2014. This translation is published by arrangement with Oxford University Press. Publisher is solely responsible for this translation from the original work and Oxford University Press shall have no liability for any errors, omissions or inaccuracies or ambiguities in such translation or for any losses caused by reliance thereon.

* * *

Эту книгу хорошо дополняют

Теория игр

Авинаш Диксит и Барри Нэлбафф

Кен Дженнингс

Удовольствие от x

Стивен Строгац

Предисловие партнера

…У меня есть один знакомый, – сказал Эдик. – Он утверждает, будто человек – промежуточное звено, необходимое природе для создания венца творения: рюмки коньяка с ломтиком лимона.

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Автор считает, что смертельная угроза связана с возможностью создания искусственного интеллекта, превосходящего человеческий разум. Катастрофа может разразиться как в конце XXI века, так и в ближайшие десятилетия. Вся история человечества показывает: когда происходит столкновение представителя нашего вида, человека разумного, и любого другого, населяющего нашу планету, побеждает тот, кто умнее. До сих пор умнейшими были мы, но у нас нет гарантий, что так будет длиться вечно.

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, – все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат – как в поединке шахматного компьютера «Дип Блю» с первоклассником.

За последнюю сотню-другую лет достижения науки у одних пробуждали надежду на решение всех проблем человечества, у других вызывали и вызывают безудержный страх. При этом, надо сказать, обе точки зрения выглядят вполне оправданными. Благодаря науке побеждены страшные болезни, человечество способно сегодня прокормить невиданное прежде количество людей, а из одной точки земного шара можно попасть в противоположную меньше чем за сутки. Однако по милости той же науки люди, используя новейшие военные технологии, уничтожают друг друга с чудовищной скоростью и эффективностью.

Подобную тенденцию – когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, – мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально – жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, – искусственного интеллекта, способного уничтожить человечество, – это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная – предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Когда фантастика, то бишь оформленная в образы и сюжеты мысль человеческая, долго и детально что-то повторяет – ну так дыма без огня не бывает. Банальные голливудские боевики о войнах людей с цивилизацией роботов несут в себе под шелухой коммерческого смотрива горькое зернышко истины.

Когда в роботы будет встроена передаваемая программа инстинктов, и удовлетворение этих инстинктов будет встроено как безусловная и базовая потребность, и это пойдет на уровень самовоспроизводства – вот тогда, ребята, кончай бороться с курением и алкоголем, потому что будет самое время выпить и закурить перед ханой всем нам.

Евгений Касперский, генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

Однажды, в самый разгар гнездования, утомленные многодневным тяжким трудом воробьи присели передохнуть на заходе солнца и пощебетать о том о сем.

– Мы такие маленькие, такие слабые. Представьте, насколько проще было бы жить, держи мы в помощниках сову! – мечтательно прочирикал один воробей. – Она могла бы вить нам гнезда…

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

– Пусть разведчики полетят в разные стороны на поиски выпавшего из гнезда совенка. Впрочем, подойдет и совиное яйцо, и вороненок, и даже детеныш ласки. Эта находка обернется для нашей стаи самой большой удачей! Вроде той, когда мы обнаружили на заднем дворе неоскудевающий источник зерна.

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

И только одноглазый Скронфинкл, въедчивый, с тяжелым нравом воробей, похоже, сомневался в целесообразности данного предприятия.

– Мы избрали гибельный путь, – убежденно промолвил он. – Разве не следует сначала серьезно проработать вопросы укрощения и одомашнивания сов, прежде чем впускать в свою среду такое опасное существо?

– Сдается мне, – возразил ему Пастус, – искусство приручения сов – задача не из простых. Найти совиное яйцо – и то чертовски сложно. Так что давайте начнем с поиска. Вот сумеем вывести совенка, тогда и задумаемся о проблемах воспитания.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

Что случится, если машины превзойдут людей в интеллекте? Они будут помогать нам или уничтожат человеческую расу? Можем ли мы сегодня игнорировать проблему развития искусственного интеллекта и чувствовать себя в полной безопасности?

В своей книге Ник Бостром пытается осознать проблему, встающую перед человечеством в связи с перспективой появления сверхразума, и проанализировать его ответную реакцию.

Характеристики книги

Дата написания: 2014
Название: . Этапы. Угрозы. Стратегии

Объем: 760 стр., 69 иллюстраций
ISBN: 978-5-00057-810-0
Переводчик: Сергей Филин
Правообладатель: Манн, Иванов и Фербер

Предисловие к книге «Искусственный интеллект»

Ник Бостром пишет, что если умные компьютерные алгоритмы научатся самостоятельно делать еще более умные алгоритмы, а те, в свою очередь, еще более умные, случится взрывной рост искусственного интеллекта, по сравнению с которым люди будут выглядеть приблизительно как сейчас муравьи рядом с людьми, в интеллектуальном смысле, конечно. В мире появится новый, хотя и искусственный, но сверхразумный вид. Неважно, что ему «придет в голову», попытка сделать всех людей счастливыми или решение остановить антропогенное загрязнение мирового океана наиболее эффективным путем, то есть уничтожив человечество, - все равно сопротивляться этому у людей возможности не будет. Никаких шансов на противостояние в духе кинофильма про Терминатора, никаких перестрелок с железными киборгами. Нас ждет шах и мат - как в поединке шахматного компьютера «Дип Блю» с первоклассником.

Подобную тенденцию - когда быстрое развитие технологий не только приводит к образованию новых возможностей, но и формирует небывалые угрозы, - мы наблюдаем и в области информационной безопасности. Вся наша отрасль возникла и существует исключительно потому, что создание и массовое распространение таких замечательных вещей, как компьютеры и интернет, породило проблемы, которые было бы невозможно вообразить в докомпьютерную эру. В результате появления информационных технологий произошла революция в человеческих коммуникациях. В том числе ею воспользовались разного рода киберпреступники. И только сейчас человечество начинает постепенно осознавать новые риски: все больше объектов физического мира управляются с помощью компьютеров и программного обеспечения, часто несовершенного, дырявого и уязвимого; все большее число таких объектов имеют связь с интернетом, и угрозы кибермира быстро становятся проблемами физической безопасности, а потенциально - жизни и смерти.

Именно поэтому книга Ника Бострома кажется такой интересной. Первый шаг для предотвращения кошмарных сценариев (для отдельной компьютерной сети или всего человечества) понять, в чем они могут состоять. Бостром делает очень много оговорок, что создание искусственного интеллекта, сравнимого с человеческим разумом или превосходящего его, - искусственного интеллекта, способного уничтожить человечество, - это лишь вероятный сценарий, который может и не реализоваться. Конечно, вариантов много, и развитие компьютерных технологий, возможно, не уничтожит человечество, а даст нам ответ на «главный вопрос жизни, Вселенной и всего такого» (возможно, это и впрямь окажется число 42, как в романе «Автостопом по Галактике»). Надежда есть, но опасность очень серьезная - предупреждает нас Бостром. На мой взгляд, если вероятность такой экзистенциальной угрозы человечеству существует, то отнестись к ней надо соответственно и, чтобы предотвратить ее и защититься от нее, следует предпринять совместные усилия в общемировом масштабе.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря которой мы можем, например, читать. Указанная субстанция - человеческий мозг - наделена возможностями, отсутствующими у других млекопитающих. Собственно, своим доминирующим положением на планете люди обязаны именно этим характерным особенностям. Некоторых животных отличает мощнейшая мускулатура и острейшие клыки, но ни одно живое существо, кроме человека, не одарено настолько совершенным умом. В силу более высокого интеллектуального уровня нам удалось создать такие инструменты, как язык, технология и сложная социальная организация. С течением времени наше преимущество лишь укреплялось и расширялось, поскольку каждое новое поколение, опираясь на достижения предшественников, шло вперед.

Если когда-нибудь разработают искусственный разум, превосходящий общий уровень развития человеческого разума, то в мире появится сверхмощный интеллект. И тогда судьба нашего вида окажется в прямой зависимости от действий этих разумных технических систем - подобно тому, как сегодняшняя участь горилл в большей степени определяется не самими приматами, а людскими намерениями.

Однако человечество действительно обладает неоспоримым преимуществом, поскольку оно и создает разумные технические системы. В принципе, кто мешает придумать такой сверхразум, который возьмет под свою защиту общечеловеческие ценности? Безусловно, у нас имеются весьма веские основания, чтобы обезопасить себя. В практическом плане нам придется справиться с труднейшим вопросом контроля - как управлять замыслами и действиями сверхразума. Причем люди смогут использовать один-единственный шанс. Как только недружественный искусственный интеллект (ИИ) появится на свет, он сразу начнет препятствовать нашим усилиям избавиться от него или хотя бы откорректировать его установки. И тогда судьба человечества будет предрешена.

В своей книге я пытаюсь осознать проблему, встающую перед людьми в связи с перспективой появления сверхразума, и проанализировать их ответную реакцию. Пожалуй, нас ожидает самая серьезная и пугающая повестка, которую когда-либо получало человечество. И независимо от того, победим мы или проиграем, - не исключено, что этот вызов станет для нас последним. Я не привожу здесь никаких доводов в пользу той или иной версии: стоим ли мы на пороге великого прорыва в создании искусственного интеллекта; возможно ли с определенной точностью прогнозировать, когда свершится некое революционное событие. Вероятнее всего - в нынешнем столетии. Вряд ли кто-то назовет более конкретный срок.

Искусственный интеллект. Этапы. Угрозы. Стратегии — Ник Бостром (скачать)

(ознакомительный фрагмент книги)

Недавно основатель Tesla Motors и SpaceX Илон Маск создание искусственного интеллекта к вызову демона, которого невозможно будет контролировать. Свой скепсис Маск разделяет с британским философом Ником Бостромом, чью последнюю книгу «Superintelligence: Paths, Dangers, Strategies» бизнесмен советовал своим подписчикам в твиттере. Пока некоторые футурологи предвещают людям комфортное будущее в результате повсеместной замены человеческого труда машинным, Ник Бостром видит в искусственном интелекте угрозу существования всего нашего вида. Apparat ознакомился с идеями Ника Бострома и выяснил, как, по его мнению, можно спасти человечество.

Ник Бостром

Философ и профессор Оксфордского университета

Несколько лет назад журнал Foreign Policy включил его в список 100 главных мыслителей планеты. Ник Бостром верит, что люди должны совершенствоваться с помощью технологий. В 1998 году он основал Всемирную ассоциацию трансгуманистов (сейчас она называется Humanity+) с целью борьбы за признание трансгуманизма полноценной областью научных знаний. Известность за пределами академических кругов Бостром получил, когда описал концепцию исчезновения человечества в книге «Global Catastrophic Risks» . Бостром является директором оксфордского Института будущего человечества. Сейчас он пытается привлечь общественное внимание к очередной угрозе для нашей цивилизации - суперинтеллекту.

Искусственный интеллект скоро станет умнее нас

Для Ника Бострома не важно, какая область знаний приведёт нас к созданию суперинтеллекта. Будь то программисты, написавшие программу, способную мыслить, или же нейробиологи, воссоздавшие функционирующий человеческий мозг. Главное, что это случится быстрее, чем нам кажется. Большинство опрошенных Бостромом экспертов предвещают создание способного мыслить искусственного интеллекта к 2040 или 2050 году.

Искусственный интеллект уже сегодня превосходит человеческий во многих областях. Так, на протяжении многих лет разные виды искусственного интеллекта побеждают чемпионов всевозможных игровых турниров, будь то шахматы или покер. Такие достижения могут и не казаться особенно впечатляющими, но лишь потому, что наши требования к удивительному быстро адаптируются к прогрессу.

За счёт способности к самообучению искусственный интеллект превратится в суперинтеллект

Согласно Бострому, вначале искусственный интеллект будет похож на мозг ребенка. И как и ребенок, он сможет учиться. Люди перестанут стараться вложить как можно больше информации в программу, а научат её саму познавать окружающий мир. Существование суперинтеллекта окажется возможно благодаря постоянному самосовершенствованию.

Для нас важно создать искусственный интеллект, у которого хватит ума учиться на своих ошибках. Он будет способен бесконечно совершенствовать себя. Первая версия сможет создать вторую, которая будет лучше, а вторая, будучи умнее оригинала, создаст ещё более продвинутую третью и так далее. В определённых условиях такой процесс самосовершенствования может повторяться до тех пор, пока не будет достигнут интеллектуальный взрыв – момент, когда интеллектуальный уровень системы подскочит за короткое время с относительно скромного уровня до уровня суперинтеллекта.

У суперинтеллекта появятся свои потребности и цели

Образ мышления искусственного интеллекта будет отличаться от нашего. Ник Бостром не пытается предугадать, как именно будет работать мотивация суперинтеллекта. Но какие бы у него ни были цели, для их достижения ему потребуются ресурсы.

Искусственный интеллект может быть менее человечен, чем пришелец. Нет ничего удивительного, что любого разумного пришельца могут побуждать к действию такие вещи, как голод, температура, травмы, болезни, угроза жизни или желание завести потомство. Искусственный интеллект, по сути, ничто из перечисленного интересовать не будет. Можно представить существование искусственного интеллекта, чьей единственной конечной целью будет пересчитать все песчинки на острове Боракай или найти десятичное представление числа π.

Суперинтеллект попытается использовать людей против их воли

Чтобы получить доступ к ресурсам, суперинтеллект попробует найти посредника. По мнению Бострома, даже не имея подключения к сети или возможности проявлять физическую активность, суперинтеллект всё равно сможет добиться своих целей. Поскольку, даже когда мы достигнем технологической зрелости, то есть создадим все технологии, которые могут быть созданы, главной нашей слабостью всё равно останемся мы сами.

Человек – самая ненадёжная система. Сегодня хакеры часто обращаются к принципам социальной инженерии с целью получения доступа к чужому компьютеру. А если хакером-манипулятором окажется суперинтеллект, то можно предположить, что он с лёгкостью найдёт себе сообщника или же просто станет использовать нас против нашей воли как свои руки и ноги.

Суперинтеллект может «захотеть» остаться единственным интеллектом

Некоторые философы и учёные видят в искусственном интеллекте лишь инструмент по повышению качества нашей жизни. В их числе - и американский философ Джон Сёрль : он считает невозможным появление самосознания у машин, поскольку для этого необходимо наличие физико-химических процессов, схожих с теми, что протекают в человеческом мозге. Однако Бостром полагает, что суперинтеллект в определённый момент всё же перестанет быть инструментом, а окажется полноценным существом со своими потребностями, и забота о сохранении человеческого рода может не оказаться одной из них. Мы окажемся лишь помехой на его пути.

Человек сам по себе представляет полезный ресурс (удобно сгруппированные атомы), а его выживание и процветание зависит от других ресурсов. Результатом развития искусственного интеллекта, нуждающегося в этих ресурсах, может легко стать исчезновение человечества. Так настанет время технологически высокоразвитого общества, включающего в себя множество сложных структур, многие из которых будут умнее всего, что есть сегодня на планете. Это будет время экономических и технологических чудес. Но никого, кто бы мог этим воспользоваться, не останется. На Земле воцарится Диснейленд, в котором больше не будет детей.

Человечество должно научиться держать технологии под контролем

Ник Бостром при этом не отрицает возможность создания дружественного искусственного интеллекта или его контроля. Ведь, признает философ, нам действительно нужны умные технологии, которые помогут справиться с насущными проблемами. Вопрос лишь в уменьшении рисков, особенно риска исчезновения.

Если интеллектуальный взрыв угрожает нам исчезновением, то мы должны понять, можем ли мы контролировать процесс детонации. Сегодня было бы более разумным ускорить работу по решению проблемы контроля, нежели приостанавливать проведение исследований в области искусственного интеллекта. Но пока решением проблемы контроля занимаются человек шесть, в то время как над созданием искусственного интеллекта трудятся десятки, если не сотни тысяч.

Осведомлён - значит, вооружён

Человечество пока не готово к встрече с суперинтеллектом и не будет готово ещё много лет, отмечает Бостром. Но хотя интеллектуальный скачок может не происходить ещё достаточно долго, мы должны обратить внимание на возможные проблемы уже сейчас. Многие учёные в погоне за созданием суперинтеллекта забывают об опасностях.

Самым разумным поступком ребёнка с тикающей бомбой в руках было бы аккуратно положить бомбу на пол, быстро выбежать из комнаты и позвать взрослого. Но что если вся наша комната полна детей и каждый ребенок имеет свободный доступ к пусковому механизму. Шансы, что мы все положим опасную игрушку на пол, крайне малы. Какой-нибудь маленький идиот обязательно нажмёт на кнопку, лишь бы увидеть, что произойдёт.

Ник Бостром

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

* * *

Эту книгу хорошо дополняют

Авинаш Диксит и Барри Нэлбафф

Стивен Строгац

Предисловие партнера

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Евгений Касперский, генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях

– Ага! – согласился другой. – А еще присматривать за нашими стариками и птенцами…

– И наставлять нас, и защищать от соседской кошки, – добавил третий.

Тогда Пастус, самый старший воробей, предложил:

Возбудившиеся не на шутку воробьи расчирикались что было мочи.

– Порочный план! – нервно чирикнул Скронфинкл.

Но его уже никто не слушал. По указанию Пастуса воробьиная стая поднялась в воздух и отправилась в путь.

На месте остались лишь воробьи, решившие все-таки выяснить, как приручать сов. Довольно быстро они поняли правоту Пастуса: задача оказалась неимоверно сложной, особенно в отсутствие самой совы, на которой следовало бы практиковаться. Однако птицы старательно продолжали изучать проблему, поскольку опасались, что стая вернется с совиным яйцом прежде, чем им удастся открыть секрет, каким образом можно контролировать поведение совы.

Введение

Внутри нашего черепа располагается некая субстанция, благодаря к...

Nick Bostrom

Superintelligence

Paths, Dangers, Strategies

Научные редакторы М. С. Бурцев, Е. Д. Казимирова, А. Б. Лаврентьев

Издано с разрешения Alexander Korzhenevski Agency

Правовую поддержку издательства обеспечивает юридическая фирма «Вегас-Лекс»

Эту книгу хорошо дополняют

Авинаш Диксит и Барри Нэлбафф

Кен Дженнингс

Стивен Строгац

Предисловие партнера

Аркадий и Борис Стругацкие. Понедельник начинается в субботу

Завершить свое вступление хочется цитатой из книги Михаила Веллера «Человек в системе»:

Евгений Касперский,

генеральный директор «Лаборатории Касперского»

Неоконченная история о воробьях