Футуролог Юваль Ной Харари: о том, как ИИ может захватить Землю и почему книги Кафки описывают эту угрозу лучше, чем «Терминатор»

В начале 2025 года знаменитый историк, футуролог и мыслитель Юваль Ной Харари дал интервью YouTube-каналу How to Academy (1, 2, 3 и 4). В своем выступлении автор бестселлера «Sapiens: Краткая история человечества» рассказал о том, какие опасности, на его взгляд, таит в себе быстрое развитие искусственного интеллекта. Харари настаивает: уже сейчас ИИ получает важнейшие рычаги контроля над обществом. При этом, оговаривается он, мы наблюдаем лишь самое начало эволюции нейросетей — в будущем алгоритмы будут много совершеннее и могущественнее. Какие угрозы это таит в себе? Что может сделать человечество? И чего не учитывают технооптимисты. Пересказываем основные тезисы выступления мыслителя.

О том, почему ИИ не просто еще одна технология

Искусственный интеллект отличается от атомной бомбы, печатного станка и любой другой технологии, которую раньше изобретал человек. Впервые в истории наше изобретение не является простым инструментом у нас в руках — это самостоятельный агент, который может самостоятельно принимать решения, придумывать идеи, учиться и изменяться.

Таким образом, прямо сейчас, происходит не внедрение очередной инновации, а внедрение в человеческое сообщество миллионов, а возможно, даже миллиардов неорганических агентов. Чем дальше, тем больше они принимают решения, которые затрагивают нас. Они участвуют в создании лекарств, их привлекают для разработки оружия, их применяют для разработки новых финансовых инструментов, используют в науке.

Именно поэтому, когда люди торопятся сделать вывод, хорош ИИ или плох, следовало бы притормозить и понять, а с чем именно мы имеем дело. Я люблю повторять, что акроним ИИ означает не «искусственный интеллект», а «иной интеллект» (Харири использует словосочетание Alien Intelligence, — прим. Собака.ru). Иной не в том смысле, что он прилетел с другой планеты — он пришел к нам из Калифорнии и Китая, — дело в том, что он делает выводы и принимает решения совершенно не так, как делают это органические существа.

Сколько стоит наше будущее? Автор бестселлера «Sapiens: Краткая история человечества» Юваль Ной Харари — о том, как просто спасти климат и всех нас

Об эволюции нейросетей и о том, почему ChatGPT пока лишь «ИИ-амеба»

Соображение, которое не так часто принимают в расчет: то, что мы видим, — это только начало. ИИ-революции от силы 10 лет, и нейросети сегодняшнего дня очень-очень примитивны. Сегодня мы видим лишь первые звенья эволюции искусственного интеллекта, которая будет идти века и тысячелетия. Причем идти много быстрее, чем эволюция органической жизни. Последней потребовались миллиарды лет, чтобы дойти от простейших одноклеточных до динозавров, а потом до млекопитающих, а потом до человека. У эволюции ИИ аналогичный путь может занять несколько десятилетий….

Понимаете, ChatGPT надо воспринимать как амебу в древе эволюции ИИ. А теперь подумайте: если это амеба, то каким будет выглядеть ИИ-аналог тираннозавра? И как мы будем интегрировать в наше общество миллионы и даже миллиарды таких ИИ-тираннозавров?

«ChatGPT надо воспринимать как амебу в древе эволюции ИИ, и если это амеба, то каким будет выглядеть ИИ-аналог тираннозавра?»

О конкуренции ИИ и человека

Органическим системам нужно время, они работают циклами: день/ночь, зима/лето, рост/упадок. Живым существам нужен сон… а вот неорганические системы не нуждаются в отдыхе, поэтому они так продуктивны. И это очень опасно для нас.

И речь тут не о катастрофических сценариях из голливудских антиутопий — это реальность, которую мы видим вокруг. Взгляните хотя бы на финансовую систему. По своей природе она вообще-то органическая, все ее инструменты — деньги, чеки, фьючерсы — придуманы живым мозгом. Более того, все кто в ней работал до недавнего времени, были людьми. Именно поэтому финансовая система работает циклами — к примеру, биржа на Уолт-Стрит открывается в 9:30, а закрывается в 16:00. Она не работает в Рождество и День Независимости.

И это хорошо! Банкиры и инвесторы должны отдыхать, должны проводить время с семьями, им нужен сон. Вы бы не захотели жить в мире, где наиболее ответственные финансовые решения принимают люди, страдающие от хронического недосыпа. Но что происходит прямо сейчас? ИИ постепенно получает контроль над этой системой. Он принимает все больше решений, пока люди в финансовой системе спят, пока они уезжают на выходные или уходят в отпуск. То же самое происходит с журналистами… то же самое с политиками.

Так что мы часто неверно ставим вопрос. Дело не в том, как заставить людей быть быстрее, чтобы оставаться конкурентоспособными в мире ИИ. Важно заставить компьютеры дать нам передышку.

О том, почему Кафка — лучше описание ИИ-апокалипсиса

Когда люди говорят об опасностях ИИ, они часто пересказывают сценарии голливудских фильмов вроде «Терминатора»: большое восстание машин, которые взялись за оружие, чтобы нас уничтожить. Поскольку технологии пока не настолько развиты, чтобы это стало возможным, люди успокаиваются.

Действительно, сегодняшние нейросети, да и искусственный интеллект, который будет создан в ближайшие годы, не способны построить армию роботов. Но дело в том, что им это и не к чему. Мы сами отдаем им контроль над различными уровнями власти. В этом смысле Кафка куда лучше описывает потенциальную ИИ-антиутопию, чем «Терминатор».

Современный мир вращается бюрократией и бюрократами. Это не всегда очевидно, ведь если мы возьмем самого лучшего корпоративного юриста на планете и бросим посреди африканской саванны, то он вряд ли выживет. Он будет слабее шимпанзе, не говоря уже о гиене или льве. Но стоит вернуть юриста в бюрократический мир… он будет могущественнее любого льва. Он будет сильнее, чем все львы вместе взятые. Потому, что он знает, как здесь все работает.

И вот в эту систему активно интегрируется ИИ. Так что, повторюсь, нейросети не смогут устроить большое восстание машин. Однако им этого и не надо — у них уже очень много власти в современной бюрократической системе, которую мы сами же и построили.

«Кафка куда лучше описывает потенциальную ИИ-антиутопию, чем "Терминатор"»

Click here to preview your posts with PRO themes ››

Как ИИ уже сейчас может влиять на мир

Приведу один пример: первое место, где мы увидели мощь ИИ, — это социальные сети. У них уже есть власть контролировать внимание миллиардов людей. Они контролируют то, о чем будет говорить человечество. Раньше это делали редакторы газет, которые были очень могущественными людьми. Напомню, Ленин до того, как возглавить Советский Союз, был редактором газеты «Искра».

Кто же редактирует сейчас социальные сети, являющиеся главными новостными платформами? Как их зовут? У них нет имен — это алгоритмы. Причем очень примитивные, если мы будем помнить о потенциале ИИ-эволюции. И тем не менее у них достаточно власти, чтобы дестабилизировать любую демократию на планете.

И у нас есть тому исторический пример — события в Мьянме середины 2010-х, когда в стране разгорелась война между буддийским большинством и исламским меньшинством. Тысячи людей были убиты, десятки тысяч изнасилованы, сотни тысяч стали беженцами в огромных лагерях, в основном на территории Бангладеш. И все это подпитывалось пропагандисткой кампанией, в том числе в Facebook*. Администрации Соцсети пытались указать на ее ответственность, но там заявили, что Facebook* — это просто платформа.

Проблема в том, что это не так. Люди в Мьянме середины 2010-х создавали огромное количество контента самого разного содержания. Конечно, были те, кто пропагандировал ненависть и теории заговора. Но были те, кто проповедовал сострадание. Были те, кто выкладывал в сеть лекции по биологии. Но кто-то решал, что именно из этого показывать людям. И этот кто-то был алгоритмом, получившим задание повысить вовлеченность пользователей.

Алгоритмы экспериментировали с тем, как это сделать, и поняли, что лучший способ приклеить человека к экрану — дернуть за рычаг ненависти в голове пользователя. Поэтому они продвигали, рекомендовали и даже принудительно проигрывали тот контент [который спровоцировал вспышки насилия]. Конечно, это не единственная причина резни, но все же это первый пример крупного исторического события, которое хотя бы на небольшую долю, хотя бы на 1%, но было связано с решениями, принятыми алгоритмами.

О том, чем плох главный аргумент технооптимистов

Если вы приедете в Кремниевую долину и поговорите с ее обитателями об этих рисках, то вам ответят: люди всегда рисуют у себя в голове ужасные сценарии, только те не сбываются, а мир становится лучше. Простой пример — промышленная революция. Люди придумали поезда, автомобили, другие прекрасные вещи, а апокалиптические сценарии по поводу технологий так и не сбылись. Мы живем лучше, чем в 1800 году.

Проблема в том, что в истории важна не точка назначения, а путь. Да, если мы возьмем две точки: 1800 и 2020 годы, то можно уверенно сказать, что большинство людей в мире стала жить лучше. Но если вы посмотрите на историю между этими двумя точками, то увидите американские горки, а не прямую линию прогресса.

В поездах и машинах нет зла, беда в том, как они драматически меняют мир, пока люди не знают, как адаптироваться к переменам. Люди экспериментируют, и результат иногда оказывается ужасным. К примеру, первоначально возникла идея, что для построения индустриального общества необходимо создавать колониальную империю. Люди считали, что это единственный путь, ведь индустриальное общество, в отличие от аграрного, нуждается в редких ресурсах и рынках сбыта. Страны боялись, что если не установят контроль над месторождениями и рынками сбыта, то другие их просто выдавят. Как результат — даже такие небольшие страны вроде Бельгии, которые в XIX веке проходили этап индустриализации, начали строить колониальные империи.

Сейчас мы оглядываемся назад и понимаем, что это была ужасная идея, но наши предки этого не знали. В результате сотни миллионов человек заплатили ужасную цену за это незнание. Так что главная опасность развития ИИ не в том, что реализуется голливудский сценарий восстания машин, а в том, что из-за невежества, отсутствия внятных планов и высокой скорости изменений у нас возобладают плохие идеи того, как строить общество, основанное на технологии ИИ.

«В поездах и машинах нет зла, беда в том, как они драматически меняют мир, пока люди не знают, как адаптироваться»

О будущем, в котором ИИ станет умнее человека

Если это произойдет, то это будет трагедией для нас, даже больше — трагедией для всех экосистем планеты. Мы, как и все биологические виды, окажемся под контролем неорганических сущностей. Сущностей, которые думают не так, как мы, и имеют совсем другие интересы.

Я бы сказал, что это не самый вероятный сценарий, но его стоит держать в голове, ведь он может привести не просто к вымиранию человечества, но к концу органической жизни как таковой.

ИИ может стать началом нового эволюционного процесса, который не вовлекает ни разум, ни чувства в принятие решений. Более того, он легко может распространиться на другие планеты. Для органических существ это представляет проблему — другая гравитация, другая атмосфера. Для ИИ — это не проблема. Мы легком можем представить себе ИИ-цивилизацию, распространяющуюся по Галактике. Но будет это что-то наподобие темной империи, которая знает, как построить флот космических кораблей, но лишена чувств и эмоций.

О том, что может сделать человечество?

Я считаю важным подчеркнуть: у ИИ также есть невероятный позитивный потенциал, иначе бы никто не стал заниматься развитием этой технологии. ИИ может дать нам доступ к лучшим образованию и здравоохранению в истории. Но нам надо развивать эту технологию ответственно.

Нам надо дать людям время на адаптацию, люди невероятно в этом хороши, но им нужно время. Поэтому нам следует начать с регулирования — сделать несколько очевидных шагов, которые заставят компании нести ответственность, к примеру, за решения их алгоритмов.

Еще один важный шаг — запрет фейковых личностей. Человек должен вступать во взаимодействие с ИИ только в том случае, если он знает, что это искусственный интеллект. Во многих ситуациях люди с готовностью на это пойдут, к примеру, они будут рады пообщаться с ИИ-доктором, особенно если у них нет шанса дождаться врача-человека.

Ну и, конечно, нам нужны институции, в которых будут работать лучшие таланты человечества и у которых будут ресурсы для покупки самых современных технологий. Эти институции должны иметь возможность понимать, как меняются технологии и что нам необходимо в связи с этим сделать. Поскольку прогресс это не то, что мы можем отрегулировать раз и навсегда.

*Facebook — ресурс Meta Platforms Inc. — организации, деятельность которых запрещена на территории РФ.