Аудио-издание · изложение на простом русском

Машины любящей благодати

Дарио Амодеи
Dario Amodei, «Machines of Loving Grace: How AI Could Transform the World for the Better». darioamodei.com, октябрь 2024. Оригинал: darioamodei.com. © Dario Amodei.
Это не дословный перевод, а полное изложение эссе для прослушивания: сохранены все аргументы, выводы, цифры и оговорки, существенные сноски вплетены в текст как примечания, список ссылок опущен. Примерное время прослушивания: 45 минут.

О чём эта статья

Это длинное эссе в октябре 2024 года написал Дарио Амодеи — глава компании Anthropic, которая создаёт ИИ и много занимается его рисками. Именно поэтому Амодеи часто считают «пессимистом». Он возражает: он думает о рисках как раз потому, что они — единственное, что стоит между нами и будущим, которое он считает по сути прекрасным. По его мнению, большинство людей недооценивают, насколько радикально хороши могут быть последствия сильного ИИ, — ровно так же, как недооценивают, насколько плохи могут быть риски.

Эссе — попытка нарисовать эту светлую сторону: как может выглядеть мир, если с ИИ всё пойдёт хорошо. Амодеи сознательно избегает слова «AGI» и говорит о «мощном ИИ». Он представляет его как «страну гениев в дата-центре»: миллионы копий системы, каждая умнее нобелевского лауреата, работающих и порознь, и вместе. И задаётся вопросом: что такая сила сделает с пятью областями, которые сильнее всего влияют на жизнь людей, — с биологией и здоровьем, нейронаукой и психическим здоровьем, экономическим развитием, миром и управлением, работой и смыслом.

Главная мысль по биологии: мощный ИИ способен «сжать» прогресс, который человечество прошло бы за пятьдесят-сто лет, до пяти-десяти лет. Но Амодеи честно оговаривает пределы: интеллект — не всесилен, его сдерживают скорость физического мира, нехватка данных, внутренняя сложность явлений, человеческие правила и законы физики. Для того, кто строит рынок ИИ-агентов, эссе полезно именно этим разбором: что интеллект делает быстро, а где упирается в «другие факторы производства», которые становятся узкими местами, когда интеллекта вдруг очень много.

Мощный ИИТермин Амодеи вместо «AGI». Система (возможно, похожая на нынешние языковые модели), которая умнее нобелевского лауреата в большинстве областей, умеет действовать в мире через любые интерфейсы и самостоятельно выполнять задачи, занимающие часы, дни и недели.
Страна гениев в дата-центреОбраз мощного ИИ: ресурсов, которыми обучали одну модель, хватает, чтобы запустить миллионы её копий; каждая работает в 10–100 раз быстрее человека; копии действуют и поодиночке, и сообща.
Предельная отдача интеллектаНасколько сильнее ума помогает в данной задаче и за какой срок. Экономисты говорят о предельной отдаче труда, земли, капитала; Амодеи предлагает в эпоху ИИ думать об отдаче интеллекта — и о том, что становится узким местом, когда интеллекта очень много.
Ограничивающие факторыТо, что сдерживает интеллект и дополняет его: скорость физического мира, нехватка данных, внутренняя сложность, человеческие правила и законы физики. Со временем интеллект всё лучше их обходит, хотя некоторые (законы физики) — непреодолимы.
«Сжатый XXI век»Идея, что после появления мощного ИИ мы за пять-десять лет пройдём в биологии и медицине весь путь, который иначе заняли бы пятьдесят-сто лет.
Биологическая свободаМысль, что каждый сможет выбирать, каким ему быть: вес, внешность, рождение детей и другие биологические процессы станут делом собственного выбора.
Стратегия «антанты»Предложение Амодеи по внешней политике: коалиция демократий получает временное преимущество в мощном ИИ, обеспечив цепочку поставок и опередив соперников, а затем «кнутом и пряником» склоняет остальной мир на свою сторону.

Вступление

Зачем вообще говорить о светлой стороне ИИ

Амодеи начинает с объяснения, почему он и Anthropic обычно говорят о рисках, а не о пользе, — и почему так, вероятно, будет и дальше. Причин четыре. Первая — рычаг. Развитие ИИ и большая часть его пользы кажутся почти неизбежными: их двигают мощные рыночные силы. А вот риски не предопределены, и наши действия сильно меняют их вероятность, — поэтому на риски и стоит тратить силы. Вторая — чтобы не выглядеть пропагандой. Когда ИИ-компания расписывает чудеса ИИ, это отдаёт рекламой собственного товара, да и для души вредно слишком много «нахваливать свои акции». Третья — чтобы не впасть в грандиозность. Амодеи неприятна манера многих говорить о мире после ИИ так, будто их миссия — единолично привести к нему человечество, словно пророк. Опасно считать, что компании в одиночку лепят мир, и опасно видеть в технических целях что-то почти религиозное. Четвёртая — чтобы уйти от «научно-фантастического» налёта. Радикальные картины будущего часто описывают в духе фантастики — с загрузкой сознания, космосом, киберпанком, — и это заставляет относиться к ним несерьёзно и протаскивает кучу чужих культурных допущений.

И всё же, говорит Амодеи, важно описать, каким может быть хороший мир с мощным ИИ. Нужна не только пожарная команда, но и вдохновляющая цель. Многое в последствиях ИИ — враждебно и опасно, но в конце должно быть что-то, за что мы боремся, какой-то исход, где всем лучше. Страх — тоже двигатель, но его мало: нужна и надежда. Список полезных применений ИИ очень длинный — тут и робототехника, и энергетика, и производство, — но Амодеи выбирает пять областей, где польза для качества жизни прямее всего: биология и здоровье; нейронаука и психическое здоровье; экономическое развитие и бедность; мир и управление; работа и смысл.

Примечание. Амодеи предупреждает: его прогнозы покажутся радикальными по обычным меркам. Но «скучно» — это хорошо: общество может переварить лишь столько перемен за раз, и описываемый темп близок к пределу того, что можно вынести без сильной тряски. У него есть опыт в биологии и нейронауке, но он уверен, что во многом ошибётся, и его эссе лучше считать «затравкой» для группы специалистов, которые написали бы версию лучше.

Основа

Что такое «мощный ИИ» и что его сдерживает

Страна гениев в дата-центре

Чтобы разговор был точнее, Амодеи задаёт, что он понимает под «мощным ИИ» (сам термин «AGI» он не любит, считая его расплывчатым и перегруженным хайпом; ему ближе «мощный ИИ» или «экспертный уровень в науке и технике»). Такую систему он представляет с несколькими свойствами. По чистому уму она умнее нобелевского лауреата в большинстве важных областей — биологии, программировании, математике, инженерии, письме: может доказывать нерешённые теоремы, писать прекрасные романы, создавать сложные программы с нуля. Кроме того, что это «умная штука, с которой говоришь», у неё есть все интерфейсы работающего удалённо человека: текст, аудио, видео, управление мышью и клавиатурой, доступ в интернет. Она может действовать в сети, отдавать и получать указания, заказывать материалы, ставить эксперименты, смотреть и делать видео — и всё это на уровне лучших людей.

Она не просто отвечает на вопросы: ей можно дать задачу на часы, дни или недели, и она выполнит её самостоятельно, как толковый сотрудник, уточняя по ходу. Своего тела у неё нет, но она управляет инструментами, роботами, лабораторным оборудованием через компьютер — и в принципе может сама спроектировать себе роботов. Ресурсов, которыми обучали модель, хватит, чтобы запустить миллионы её копий (это отвечает ожидаемым размерам кластеров примерно к 2027 году), и работает каждая копия в 10–100 раз быстрее человека. Каждая из миллиона копий может трудиться над своей задачей либо все вместе — как сотрудничали бы люди, и часть копий можно дообучить под конкретные дела.

Это можно свести к образу «страны гениев в дата-центре».

Дарио Амодеи

Две крайности, обе неверные

Ясно, что такая «страна гениев» решала бы очень трудные задачи очень быстро. Но насколько быстро — вопрос непростой, и две крайние позиции Амодеи считает ложными. Первая крайность: мир преобразится мгновенно, за секунды или дни («сингулярность»), ведь превосходящий ум строит сам себя и тут же решает любую задачу. Беда в том, что есть реальные физические и практические пределы — например, на создание оборудования или на биологические опыты. Даже страна гениев в них упрётся.

Интеллект может быть очень силён, но это не волшебная пыльца фей.

Дарио Амодеи

Вторая крайность: прогресс и так упёрся в потолок — ограничен данными или общественными факторами, — и ум выше человеческого почти ничего не добавит. Это Амодеи тоже считает неправдоподобным: он легко назовёт сотни научных и даже общественных задач, где большая группа действительно умных людей резко ускорила бы дело, особенно если они могут не только рассуждать, но и действовать в реальном мире. Истина, скорее всего, — запутанная смесь этих двух картин, своя для каждой задачи и области. Нужны новые рамки, чтобы думать об этом по существу.

Примечание. Вторая позиция кажется «соломенным чучелом», но, замечает Амодеи, вдумчивые авторы (он называет Тайлера Коуэна и Мэтта Иглесиаса) всерьёз поднимали эту тревогу, и он не считает её безумной.

Предельная отдача интеллекта и пять ограничителей

Экономисты говорят о «факторах производства» — труде, земле, капитале — и о том, что в каждой ситуации какой-то из факторов может быть узким местом: военной авиации нужны и самолёты, и пилоты, и лишние пилоты не помогут, если кончились самолёты. Амодеи предлагает в эпоху ИИ говорить о предельной отдаче интеллекта и искать, какие факторы дополняют интеллект и становятся узкими местами, когда интеллекта очень много. Мы не привыкли спрашивать «насколько быть умнее помогает в этой задаче и за какой срок?», но для мира с очень мощным ИИ это и есть правильный вопрос.

Его список факторов, которые ограничивают и дополняют интеллект, таков:

Ключевая мысльСо временем интеллект всё лучше обходит эти факторы, даже если они не исчезают до конца, а некоторые (законы физики) абсолютны. То, что в краткий срок — жёсткое ограничение, в долгий может стать податливым: можно придумать опыт в пробирке вместо опыта на животных, построить инструмент для сбора новых данных, в рамках этики упростить систему клинических испытаний. Главный вопрос — как быстро всё это происходит и в каком порядке.
Примечание. Ещё один фактор: мощный ИИ может создавать ещё более мощный ИИ. Амодеи считает, что так, вероятно, и будет, но эффект окажется меньше, чем кажется, — именно из-за убывающей предельной отдачи интеллекта. ИИ продолжит быстро умнеть, но его влияние в итоге упрётся в неинтеллектуальные факторы, и вот их-то и важнее всего анализировать.

1

Биология и здоровье

Биология — та область, где научный прогресс прямее всего и без оговорок улучшает жизнь. В прошлом веке победили древнейшие болезни вроде оспы, но многое осталось. А за пределами лечения болезней биология может поднять и сам уровень здоровья: продлить здоровую жизнь, дать больше свободы над собственными биологическими процессами.

Главные препятствия на пути ума в биологию — данные, скорость физического мира и внутренняя сложность (все три связаны), а позже, на клинических испытаниях, добавляются и человеческие ограничения. Опыты над клетками и животными идут со скоростью мира: вырастить культуру или дождаться реакции порой нужно днями и неделями, опыты на животных — месяцами, на людях — годами. С данными беда не столько в количестве, сколько в качестве: трудно получить ясные данные, которые вычленяют нужный эффект из тысяч мешающих и напрямую вмешиваются в процесс. А внутренняя сложность — это, например, биохимия обмена веществ: в такой запутанной системе почти невозможно выделить вклад одной части и точно на неё подействовать.

Из-за всего этого биологи давно скептичны к «большим данным» в биологии: математики и физики, пришедшие в неё за тридцать лет, добились успехов, но не той переворотной силы, на какую надеялись. Привычная формула: «ИИ лучше проанализирует ваши данные, но не создаст новых и не улучшит их качество — мусор на входе, мусор на выходе».

Ключевая мысльЭто, считает Амодеи, неверный взгляд. Правильно думать об ИИ не как о способе анализа данных, а как о «виртуальном биологе», который делает всё, что делают биологи: придумывает и ставит опыты в реальном мире (управляя лабораторными роботами или направляя людей, как научный руководитель — аспирантов), изобретает новые методы и способы измерения. Ускоряя весь исследовательский процесс, ИИ и ускоряет биологию.

Откуда возьмётся ускорение? Удивительно большая доля прогресса в биологии идёт от крошечного числа открытий — обычно это широкие инструменты измерения или точного, программируемого вмешательства. Таких крупных открытий примерно по одному в год, и вместе они дают, пожалуй, больше половины всего прогресса. Примеры: CRISPR (редактирование любого гена в живом организме); разные виды микроскопии; удешевившееся на порядки чтение и синтез генома; оптогенетика (нейрон заставляют сработать, посветив на него); мРНК-вакцины (в принципе — вакцина от чего угодно); клеточная терапия вроде CAR-T (иммунные клетки «перепрограммируют» на атаку); идейные прорывы вроде микробной теории болезней или связи иммунной системы и рака.

«Прогресс в науке зависит от новых методов, новых открытий и новых идей — вероятно, именно в таком порядке».

Сидни Бреннер, которого цитирует Амодеи

Главное утверждение Амодеи: темп таких открытий можно поднять в десять и более раз, будь исследователей больше и будь они талантливее. То есть отдача интеллекта для этих открытий высока, а всё остальное в биологии и медицине в основном следует из них. Почему он так думает? Во-первых, открытия делает крошечное число людей, часто одни и те же, — значит, дело в умении, а не в случайном переборе. Во-вторых, их часто «можно было сделать» на годы раньше: CRISPR как часть иммунитета бактерий знали ещё с 1980-х, но лишь через двадцать пять лет догадались приспособить его для редактирования генов. В-третьих, успешные проекты часто были скромными или вовсе побочными, а не щедро профинансированными, — значит, решает изобретательность, а не концентрация ресурсов. И наконец, многие открытия независимы, а значит, над ними можно работать разом, параллельно.

Ключевая мысльОтсюда догадка Амодеи: мощный ИИ способен ускорить темп этих открытий как минимум в десять раз — и дать нам следующие пятьдесят-сто лет биологического прогресса за пять-десять лет. Он называет это «сжатым XXI веком».
Примечание. Почему не в сто раз? Тут начинают мешать цепочечная зависимость опытов и их длительность: получить сто лет прогресса за один год значит сделать слишком многое правильно с первого раза, включая опыты на животных и создание оборудования. Амодеи даже допускает (пусть и звучит дико) тысячу лет прогресса за пять-десять лет, но очень сомневается в ста годах за один: у опытов есть неустранимая «задержка», которую приходится повторять некоторое неизбежное число раз. Зато поверх этой задержки возможна огромная параллельность.

А клинические испытания? Да, в них много бюрократии, но изрядная часть медлительности идёт оттого, что приходится строго проверять лекарства, которые едва работают: средний препарат от рака продлевает жизнь на считанные месяцы при заметных побочных эффектах, а это требует огромных исследований ради статистической убедительности. Когда средство работает по-настоящему хорошо, всё идёт куда быстрее: мРНК-вакцины от ковида одобрили за девять месяцев. Такие сроки (примерно год на препарат) вместе с массовой параллельностью вполне совместимы с радикальным преображением за пять-десять лет. Более того, ИИ может уменьшить нужду в повторных испытаниях, создав более точные животные и клеточные модели, — что особенно важно для борьбы со старением, которое тянется десятилетиями. Стоит отметить и редкую удачу биомедицины: разработать лекарство громоздко, но раз созданное, оно обычно доходит до людей — в отличие от многих технологий, задушенных общественными факторами.

Дальше Амодеи, оговариваясь, что это не строгая методика, а прикидка уровня радикальности, перечисляет, чего можно ждать от «сжатого XXI века»:

Примечание. Амодеи подчёркивает, как изменится мир, если всё это сбудется лет через семь-двенадцать. Он напоминает: тысячи экономистов спорят, как удержать на плаву пенсионную систему и медицину для пожилых. Если сбудется описанное, их положение резко улучшится — ведь изменится соотношение работающих и пенсионеров. Ему говорили, что прибавка годового роста производительности даже на половину процента была бы для этих программ преображающей, — а тут выигрыш может быть куда больше.

2

Нейронаука и разум

В первой области речь шла о телесных болезнях. Но нейронаука — тоже часть биологии, а психическое здоровье важно не меньше телесного, если не больше: сотни миллионов людей живут с низким качеством жизни из-за зависимостей, депрессии, шизофрении, посттравматического расстройства и прочего, а миллиарды — с более лёгкими версиями тех же бед. И здесь, помимо лечения болезней, можно поднять сам базовый уровень человеческого самочувствия.

Та же рамка, что в биологии, действует и тут: поле движут немногие открытия, связанные с измерением или точным вмешательством (оптогенетика — из них). Поэтому и здесь уместна формула «сто лет прогресса за пять-десять лет». Но есть добавка: то, что мы недавно узнали о самом ИИ, поможет нейронауке. Пример — интерпретируемость: хотя биологические нейроны устроены иначе, чем искусственные, общий вопрос «как обученные сети простых единиц совместно производят важные вычисления» — один и тот же. Так, механизм, найденный исследователями внутри ИИ-систем, недавно был заново обнаружен в мозге мышей. Ставить опыты над искусственными сетями куда легче, чем над живым мозгом, и сами мощные ИИ, вероятно, применят этот инструмент лучше людей.

Больше того: усвоенное в ИИ про обучение должно, по мнению Амодеи, перевернуть нейронауку. Когда он работал в ней, многие изучали, как он теперь считает, не те вопросы, потому что ещё не было идеи масштабирования, «горького урока» — мысли, что простая целевая функция плюс много данных рождают невероятно сложное поведение. Это смещает интерес к целевым функциям и устройству сети и от деталей отдельных нейронов. Он подозревает, что вычислительные нейробиологи этот урок ещё не вполне усвоили, и что ИИ-нейробиологи используют этот угол зрения эффективнее.

Амодеи ждёт ускорения нейронауки по четырём направлениям сразу: обычная молекулярная биология, химия и генетика (новые препараты, меняющие работу мозга); тонкое измерение и вмешательство на уровне отдельных нейронов и цепей; продвинутая вычислительная нейронаука; и поведенческие вмешательства — методы психиатрии и психологии, плюс идея «ИИ-наставника», который всегда помогает стать лучшей версией себя.

Его конкретные догадки о том, что произойдёт:

Примечание. Тему «загрузки сознания» — переноса устройства мозга в программу — Амодеи намеренно оставляет в стороне. Он считает её в принципе возможной, но на практике упирающейся в такие технические и общественные трудности, что в окно пяти-десяти лет она, скорее всего, не попадает.

3

Экономическое развитие и бедность

Первые две области — про создание технологий, лечащих болезни. Но с гуманитарной точки зрения встаёт очевидный вопрос: а будет ли ко всему этому доступ у всех? Одно дело — изобрести лекарство, другое — искоренить болезнь по всему миру. Уровень жизни во многих краях ещё отчаянно низок: валовой продукт на человека в Тропической Африке — около двух тысяч долларов, в США — около семидесяти пяти тысяч. Если ИИ поднимет богатый мир, а бедному почти не поможет, это будет моральным провалом. В идеале мощный ИИ должен помочь бедному миру догнать богатый.

Здесь Амодеи уверен меньше, чем в изобретении технологий. Техника даёт явно высокую отдачу интеллекта, а вот экономика полна человеческих ограничений и внутренней сложности. Он сомневается, что ИИ решил бы знаменитую «задачу планового расчёта», и не думает, что правительства отдадут (или должны отдавать) ему экономическую политику. Дело осложняет и повсеместная коррупция, которая кормит бедность, а бедность — коррупцию. И всё же есть серьёзные причины для оптимизма: болезни искореняли, страны переходили из бедных в богатые, а значит, отдача интеллекта в этих делах высока — ИИ, вероятно, сделает их лучше, чем делается сейчас. А главное, пробовать мы обязаны: моральный долг слишком велик.

Примечание. Амодеи подозревает, что плановый расчёт — как хаотическая система, с неустранимой сложностью, которой приходится управлять в основном децентрализованно. Но экономист Эрик Бриньолфссон возразил ему: крупные компании вроде Walmart или Uber накапливают столько централизованного знания о потребителях, что это может заставить пересмотреть давнюю мысль Хайека о том, у кого лучшее местное знание.

Его догадки о бедном мире на пять-десять лет после мощного ИИ:

В целом Амодеи оптимистичен насчёт быстрого переноса медицинских выигрышей в бедный мир и надеется, хотя не уверен, что ИИ позволит ему невиданно расти. Мир не станет идеальным, и отставшие не догонят полностью. Но при сильных усилиях мы можем сдвинуть всё в верную сторону — и быстро.

4

Мир и управление

Пусть даже всё из первых трёх разделов удастся — болезни, бедность и неравенство отступят. Из этого не следует, что все главные источники человеческого страдания решены: люди по-прежнему опасны друг для друга. Да, есть слабый тренд, что развитие ведёт к демократии и миру, но тренд именно слабый, с частыми откатами. В начале XX века думали, что с войной покончено, — а потом грянули две мировые. Тридцать лет назад писали о «конце истории» и торжестве либеральной демократии — не случилось. Двадцать лет назад верили, что свободная торговля сделает Китай либеральнее, — вышло наоборот.

Амодеи честен: он не видит сильной причины, по которой ИИ структурно поддержал бы демократию и мир, — в отличие от здоровья и борьбы с бедностью. Конфликт людей враждебен по сути, и ИИ в принципе помогает и «хорошим», и «плохим». Хуже того, некоторые структурные факторы тревожны: ИИ, похоже, усилит пропаганду и слежку — главные инструменты автократа. Значит, склонять чашу весов придётся нам самим: если мы хотим, чтобы ИИ служил демократии и правам человека, за это надо бороться.

Он делит вопрос на две части. Внешняя — международный расклад. Очень важно, чтобы к моменту создания мощного ИИ перевес на мировой сцене был у демократий: ИИ-автократия слишком страшна, чтобы её допустить. Его нынешняя догадка о лучшем пути — «стратегия антанты»: коалиция демократий получает явное (пусть и временное) преимущество в мощном ИИ, обеспечив цепочку поставок, быстро наращивая мощности и задерживая доступ соперников к чипам и оборудованию. Эта коалиция одной рукой добивается военного превосходства («кнут»), а другой — предлагает делиться выгодами мощного ИИ со всё более широким кругом стран в обмен на поддержку («пряник»), вроде давней программы «Атом ради мира». Так круг сторонников растёт, а худшие противники оказываются перед выбором: лучше принять ту же сделку, чем биться с заведомо более сильным. Если всё удастся, получится мир, где демократии ведут, — оптимистично говоря, «вечный 1991 год».

Внутренняя часть — борьба демократии и автократии внутри стран. Тут Амодеи даже с некоторым оптимизмом: если самый мощный ИИ у демократий, ИИ может структурно помочь демократии везде. Демократические правительства смогут выиграть информационную войну — отражать пропаганду автократий и создавать свободную информационную среду, которую автократам технически не перекрыть. Причин несколько. Во-первых, рост качества жизни из первых разделов сам по себе способствует демократии: психическое здоровье, благополучие и образование отрицательно связаны с поддержкой авторитарных вождей, а люди при удовлетворённых нуждах хотят больше самовыражения. Во-вторых, свободная информация действительно подрывает авторитаризм, если её не удаётся цензурировать. Репрессивные режимы держатся на том, что лишают людей общего знания — не дают понять, что «король-то голый». Сверхэффективный ИИ-помощник в кармане у каждого, которого диктаторы не могут заблокировать, мог бы стать ветром в спину несогласным по всему миру.

Примечание. Амодеи ссылается на Срджу Поповича, который помогал свергнуть режим Милошевича в Сербии и описал приёмы, как психологически лишать авторитарную власть силы, «разрушить чары» и сплотить людей против диктатора. ИИ-версия такого мастера, которую нельзя заблокировать, была бы грозным инструментом в руках реформаторов.

Как и в биологии, можно спросить не только «как избежать автократии», но и «как сделать демократии лучше, чем они есть». Даже в демократиях постоянно случаются несправедливости. Может ли ИИ помочь? Например, сделать правосудие беспристрастнее. Сегодня в суде боятся, что ИИ станет источником дискриминации, — и с этим надо бороться. Но столетиями у права дилемма: оно стремится к беспристрастности, а толкуют его пристрастные люди. Сделать право чисто механическим не вышло, потому что мир слишком сложен для формул; поэтому используют расплывчатые критерии вроде «жестокого и необычного наказания», которые люди толкуют с уклоном и произволом. ИИ может оказаться достаточно умён, чтобы выносить широкие, «размытые» суждения повторяемо и единообразно, — он первая технология, на это способная.

Амодеи не предлагает заменить судей ИИ, но сочетание беспристрастности с пониманием запутанных реальных ситуаций должно дать что-то полезное для права — хотя бы как помощь человеку в решениях. Тут важна прозрачность, и зрелая наука об ИИ могла бы её дать: процесс обучения можно изучать, а методами интерпретируемости — заглядывать внутрь модели на скрытые уклоны так, как с людьми просто невозможно. Похожим образом ИИ мог бы собирать мнения граждан и искать согласие, разрешая конфликты (первые шаги в эту сторону делает «проект вычислительной демократии», в том числе вместе с Anthropic). И ИИ мог бы помогать получать государственные услуги, которые по закону положены всем, а на деле работают плохо: вдумчивый ИИ, чья работа — дать вам всё, на что вы имеете право, и помочь разобраться в запутанных правилах, стал бы большим делом и укрепил доверие к государству.

Все эти мысли — довольно расплывчатые, и в их осуществимости Амодеи уверен куда меньше, чем в успехах биологии и борьбы с бедностью. Они могут оказаться наивно утопичными. Но важно иметь смелую, честолюбивую цель — видение ИИ как защитника свободы, прав личности и равенства перед законом слишком сильно, чтобы за него не бороться.

5

Работа и смысл

Пусть даже всё предыдущее удастся. Остаётся вопрос: если ИИ делает всё, в чём люди найдут смысл? И как они вообще выживут экономически? Этот вопрос Амодеи считает труднее прочих — не обязательно безнадёжнее, а именно более расплывчатым, ведь он о том, как устроено общество в целом, а это решается лишь со временем и децентрализованно. Общества охотников-собирателей могли бы счесть нашу сытую жизнь без охоты бессмысленной и не понять, как наша экономика всех кормит.

О смысле. Ошибочно думать, будто твоё дело бессмысленно только потому, что ИИ сделал бы его лучше. Большинство людей ни в чём не лучшие в мире, и это их не особо гнетёт. Люди вовсю наслаждаются занятиями без всякой экономической ценности. Сам Амодеи играет в видеоигры, плавает, гуляет, общается с друзьями — и ему неважно, что кто-то делает это лучше. Смысл, считает он, идёт в основном от человеческих связей, а не от оплачиваемого труда. А чувство достижения и даже соревнования вполне можно получать, годами берясь за очень трудную задачу, — как сегодня люди затевают исследования, рвутся в актёры или основывают компании.

Экономическая часть кажется ему труднее части про смысл. Речь о том, что большинство людей, возможно, не смогут осмысленно вкладываться в достаточно развитую экономику с ИИ. В краткий срок, соглашается он, сравнительное преимущество удержит людей в деле и даже повысит их производительность: пока ИИ лучше в 90 процентах работы, оставшиеся 10 делают людей очень востребованными, и эти «10 процентов» разрастаются, давая занятость почти всем. Дольше всего относительное (а то и абсолютное) преимущество люди, вероятно, сохранят в физическом мире.

Ключевая мысльНо в долгий срок, думает Амодеи, ИИ станет так широко эффективен и так дёшев, что это правило перестанет работать. Тогда нынешнее устройство экономики потеряет смысл, и понадобится широкий общественный разговор о том, как её устроить.

Звучит дико, но цивилизация уже проходила крупные хозяйственные сдвиги: от собирательства к земледелию, от земледелия к феодализму, от феодализма к индустрии. Нужно, подозревает он, что-то новое и более странное, чего никто пока толком не представил. Это может быть и большой безусловный доход для всех (но, думает он, лишь как малая часть решения), и «капиталистическая экономика ИИ-систем», раздающих людям ресурсы (пирог-то будет огромным) по какому-то вторичному счёту того, что по человеческим ценностям стоит поощрять. Все такие решения полны возможных бед, и понять, какое осмысленно, нельзя без долгих проб; за хороший исход тоже придётся бороться, ведь возможны и эксплуататорские, антиутопические повороты.

Подводя итог

Мир, за который стоит бороться

Амодеи признаёт: он не знает, реалистичен ли этот мир, и даже если да — он не возникнет без огромных усилий и борьбы множества смелых людей. Каждому (включая и ИИ-компании) придётся сделать свою часть, чтобы и предотвратить риски, и полностью раскрыть пользу. Но это мир, за который стоит бороться. Если всё это и вправду случится за пять-десять лет — победа над болезнями, рост биологической и умственной свободы, выход миллиардов из бедности, возрождение либеральной демократии, — он подозревает, что наблюдать это будет потрясением для всех. Не столько от личной выгоды, сколько от зрелища того, как давние идеалы разом воплощаются на глазах. Многих, думает он, это буквально тронет до слёз.

В этом видении есть странное напряжение. С одной стороны, оно крайне радикально: почти никто не ждёт такого в ближайшее десятилетие, многим оно покажется нелепой фантазией. С другой — в нём есть что-то до очевидности предопределённое, будто самые разные попытки вообразить хороший мир неизбежно ведут примерно сюда.

Примечание. Амодеи нарушает собственное правило не поминать фантастику и ссылается на роман Иэна Бэнкса «Игрок в игры». Герой из общества под названием Культура (с ценностями, близкими к описанным) приезжает в жестокую милитаристскую империю, где власть определяется победой в сложной игре. Игра так глубока, что стратегия игрока отражает его взгляды на жизнь, — и герой побеждает императора, показывая, что ценности Культуры оказываются выигрышной стратегией даже в игре, придуманной обществом беспощадной конкуренции. Схожую мысль — что конкуренция самоподрывна и ведёт к обществу сострадания и сотрудничества — высказывал в известном эссе Скотт Александер.

Почему ценности Культуры — выигрышная стратегия? Потому, думает Амодеи, что они складываются из миллиона маленьких решений, у каждого из которых ясная моральная сила и которые тянут людей на одну сторону. Простые человеческие интуиции — честность, сотрудничество, любопытство, самостоятельность — трудно оспорить, и они накапливаются так, как не умеют наши разрушительные порывы. Легко согласиться, что детям не следует умирать от болезней, если можно их спасти; отсюда недалеко до мысли, что это право у всех детей равное, а оттуда — до призыва объединиться и приложить ум ради этого. Эти простые интуиции, доведённые до конца, ведут к верховенству права, демократии и ценностям Просвещения. Туда человечество, пусть лишь как статистическая тенденция, и так уже двигалось; ИИ лишь даёт шанс добраться быстрее — сделать логику резче, а цель — яснее.

И всё же это нечто запредельно прекрасное. У нас есть возможность сыграть пусть малую, но роль в том, чтобы сделать это явью.

Дарио Амодеи, заключительные строки

Итоги

Главные выводы

  1. Амодеи сознательно рисует светлую сторону ИИ, не из наивности, а потому что считает: вдохновляющая цель нужна не меньше, чем защита от рисков. Нужна не только пожарная команда — нужно то, за что мы боремся.
  2. «Мощный ИИ» он представляет как «страну гениев в дата-центре»: миллионы копий, каждая умнее нобелевского лауреата, работающих в 10–100 раз быстрее человека и порознь, и сообща.
  3. Интеллект — не всесилен. Его сдерживают пять факторов: скорость физического мира, нехватка данных, внутренняя сложность явлений, человеческие правила и законы физики. Со временем он их обходит, но некоторые непреодолимы.
  4. В биологии мощный ИИ — не анализатор данных, а «виртуальный биолог». Ускорив немногие ключевые открытия в десять с лишним раз, он способен дать «сжатый XXI век»: пятьдесят-сто лет прогресса за пять-десять лет — от победы над инфекциями и большей частью рака до удвоения продолжительности жизни.
  5. Та же рамка работает в нейронауке: вероятны лечение большинства психических болезней, их генетическая профилактика и подъём самого базового уровня человеческих переживаний.
  6. В экономическом развитии Амодеи уверен меньше: тут мешают человеческие ограничения и коррупция. Но он оптимистичен насчёт переноса медицинских выигрышей в бедный мир и мечтает о росте до 20 процентов в год, подчёркивая, что это требует общих усилий, а не выйдет само.
  7. В вопросах мира и управления структурной гарантии нет: ИИ помогает и демократиям, и автократиям, усиливая пропаганду и слежку. Поэтому Амодеи предлагает «стратегию антанты» коалиции демократий и видит шанс, что ИИ поможет выиграть информационную войну и даже сделать правосудие беспристрастнее.
  8. Про работу и смысл: смысл идёт от связей, а не от оплачиваемого труда; в краткий срок людей удержит сравнительное преимущество, а в долгий устройство экономики придётся пересобрать. Общая мысль эссе: простые человеческие интуиции ведут к ценностям Просвещения, и ИИ лишь даёт шанс добраться туда быстрее — за это и стоит бороться.