Машини люблячої благодаті Даріо Амодей Про що ця стаття Цей довгий есей у жовтні 2024 року написав Даріо Амодей — керівник компанії Anthropic, яка створює ШІ й багато займається його ризиками. Саме тому Амодея часто вважають «песимістом». Він заперечує: він думає про ризики якраз тому, що вони — єдине, що стоїть між нами й майбутнім, яке він вважає по суті прекрасним. На його думку, більшість людей недооцінюють, наскільки радикально добрими можуть бути наслідки сильного ШІ, — так само, як недооцінюють, наскільки поганими можуть бути ризики. Есей — спроба намалювати цей світлий бік: яким може бути світ, якщо з ШІ все піде добре. Амодей свідомо уникає слова «AGI» і говорить про «потужний ШІ». Він уявляє його як «країну геніїв у дата-центрі»: мільйони копій системи, кожна розумніша за нобелівського лауреата, що працюють і нарізно, і разом. І ставить запитання: що така сила зробить із п’ятьма сферами, які найсильніше впливають на життя людей, — з біологією і здоров’ям, нейронаукою і психічним здоров’ям, економічним розвитком, миром і урядуванням, роботою і сенсом. Головна думка щодо біології: потужний ШІ здатен «стиснути» прогрес, який людство пройшло б за п’ятдесят-сто років, до п’яти-десяти років. Але Амодей чесно обумовлює межі: інтелект — не всесильний, його стримують швидкість фізичного світу, брак даних, внутрішня складність явищ, людські правила й закони фізики. Для того, хто будує ринок ШІ-агентів, есей корисний саме цим розбором: що інтелект робить швидко, а де впирається в «інші чинники виробництва», які стають вузькими місцями, коли інтелекту раптом дуже багато. Потужний ШІ. Термін Амодея замість «AGI». Система (можливо, схожа на нинішні мовні моделі), яка розумніша за нобелівського лауреата в більшості галузей, уміє діяти у світі через будь-які інтерфейси й самостійно виконувати завдання, що тривають години, дні й тижні. Країна геніїв у дата-центрі. Образ потужного ШІ: ресурсів, якими навчали одну модель, вистачає, щоб запустити мільйони її копій; кожна працює у 10–100 разів швидше за людину; копії діють і поодинці, і спільно. Гранична віддача інтелекту. Наскільки більший розум допомагає в даному завданні й за який строк. Економісти говорять про граничну віддачу праці, землі, капіталу; Амодей пропонує в епоху ШІ думати про віддачу інтелекту — і про те, що стає вузьким місцем, коли інтелекту дуже багато. Обмежувальні чинники. Те, що стримує інтелект і доповнює його: швидкість фізичного світу, брак даних, внутрішня складність, людські правила й закони фізики. З часом інтелект дедалі краще їх обходить, хоча деякі (закони фізики) — нездоланні. «Стиснуте XXI століття». Ідея, що після появи потужного ШІ ми за п’ять-десять років пройдемо в біології та медицині весь шлях, який інакше зайняв би п’ятдесят-сто років. Біологічна свобода. Думка, що кожен зможе обирати, яким йому бути: вага, зовнішність, народження дітей та інші біологічні процеси стануть справою власного вибору. Стратегія «антанти». Пропозиція Амодея щодо зовнішньої політики: коаліція демократій здобуває тимчасову перевагу в потужному ШІ, забезпечивши ланцюг постачання й випередивши суперників, а потім «батогом і пряником» схиляє решту світу на свій бік. Вступ Навіщо взагалі говорити про світлий бік ШІ Амодей починає з пояснення, чому він і Anthropic зазвичай говорять про ризики, а не про користь, — і чому так, імовірно, буде й далі. Причин чотири. Перша — важіль. Розвиток ШІ й більша частина його користі здаються майже неминучими: їх рухають потужні ринкові сили. А от ризики не визначені наперед, і наші дії сильно змінюють їхню ймовірність, — тому на ризики й варто витрачати сили. Друга — щоб не скидатися на пропаганду. Коли ШІ-компанія розписує дива ШІ, це відгонить рекламою власного товару, та й для душі шкідливо надто багато «нахвалювати свої акції». Третя — щоб не впасти в грандіозність. Амодею неприємна манера багатьох говорити про світ після ШІ так, ніби їхня місія — одноосібно привести до нього людство, немов пророк. Небезпечно вважати, що компанії самотужки ліплять світ, і небезпечно бачити в технічних цілях щось майже релігійне. Четверта — щоб позбутися «науково-фантастичного» нальоту. Радикальні картини майбутнього часто описують у дусі фантастики — із завантаженням свідомості, космосом, кіберпанком, — і це змушує ставитися до них несерйозно й протягує купу чужих культурних припущень. І все ж, каже Амодей, важливо описати, яким може бути добрий світ із потужним ШІ. Потрібна не лише пожежна команда, а й мета, яка надихає. Багато що в наслідках ШІ — вороже й небезпечне, але наприкінці має бути щось, за що ми боремося, якийсь результат, де всім краще. Страх — теж рушій, але його замало: потрібна й надія. Перелік корисних застосувань ШІ дуже довгий — тут і робототехніка, і енергетика, і виробництво, — але Амодей обирає п’ять сфер, де користь для якості життя найпряміша: біологія і здоров’я; нейронаука і психічне здоров’я; економічний розвиток і бідність; мир і урядування; робота і сенс. Примітка. Амодей попереджає: його прогнози здадуться радикальними за звичайними мірками. Але «нудно» — це добре: суспільство може перетравити лише стільки змін за раз, і описаний темп близький до межі того, що можна витримати без сильної трясанини. Він має досвід у біології та нейронауці, але впевнений, що багато в чому помилиться, і його есей краще вважати «заготовкою» для групи фахівців, які написали б кращу версію. Основа Що таке «потужний ШІ» і що його стримує Країна геніїв у дата-центрі Щоб розмова була точнішою, Амодей визначає, що він розуміє під «потужним ШІ» (самого терміна «AGI» він не любить, вважаючи його розпливчастим і перевантаженим хайпом; йому ближче «потужний ШІ» або «експертний рівень у науці й техніці»). Таку систему він уявляє з кількома властивостями. За чистим розумом вона розумніша за нобелівського лауреата в більшості важливих галузей — біології, програмуванні, математиці, інженерії, письменництві: може доводити нерозв’язані теореми, писати прекрасні романи, створювати складні програми з нуля. Крім того, що це «розумна штука, з якою говориш», у неї є всі інтерфейси людини, яка працює віддалено: текст, аудіо, відео, керування мишею і клавіатурою, доступ до інтернету. Вона може діяти в мережі, давати й отримувати вказівки, замовляти матеріали, ставити експерименти, дивитися й робити відео — і все це на рівні найкращих людей. Вона не просто відповідає на запитання: їй можна дати завдання на години, дні чи тижні, і вона виконає його самостійно, як тямущий співробітник, уточнюючи по ходу. Власного тіла в неї немає, але вона керує інструментами, роботами, лабораторним обладнанням через комп’ютер — і в принципі може сама спроєктувати собі роботів. Ресурсів, якими навчали модель, вистачить, щоб запустити мільйони її копій (це відповідає очікуваним розмірам кластерів приблизно до 2027 року), і працює кожна копія у 10–100 разів швидше за людину. Кожна з мільйона копій може трудитися над своїм завданням або всі разом — як співпрацювали б люди, і частину копій можна донавчити під конкретні справи. Це можна звести до образу «країни геніїв у дата-центрі». Дві крайності, обидві хибні Зрозуміло, що така «країна геніїв» розв’язувала б дуже важкі задачі дуже швидко. Але наскільки швидко — питання непросте, і дві крайні позиції Амодей вважає хибними. Перша крайність:. світ перетвориться миттєво, за секунди чи дні («сингулярність»), адже вищий розум будує сам себе й одразу розв’язує будь-яку задачу. Біда в тому, що є реальні фізичні й практичні межі — наприклад, на створення обладнання чи на біологічні досліди. Навіть країна геніїв у них упреться. Інтелект може бути дуже сильним, але це не чарівний пилок фей. Друга крайність:. прогрес і так уперся в стелю — обмежений даними чи суспільними чинниками, — і розум, вищий за людський, майже нічого не додасть. Це Амодей теж вважає неправдоподібним: він легко назве сотні наукових і навіть суспільних задач, де велика група справді розумних людей різко прискорила б справу, особливо якщо вони можуть не лише міркувати, а й діяти в реальному світі. Істина, найімовірніше, — заплутана суміш цих двох картин, своя для кожної задачі й галузі. Потрібні нові рамки, щоб думати про це по суті. Примітка. Друга позиція здається «солом’яним опудалом», але, зауважує Амодей, вдумливі автори (він називає Тайлера Коуена й Метта Іглесіаса) всерйоз порушували цю тривогу, і він не вважає її божевільною. Гранична віддача інтелекту і п’ять обмежувачів Економісти говорять про «чинники виробництва» — працю, землю, капітал — і про те, що в кожній ситуації якийсь із чинників може бути вузьким місцем: військовій авіації потрібні і літаки, і пілоти, і зайві пілоти не допоможуть, якщо скінчилися літаки. Амодей пропонує в епоху ШІ говорити про граничну віддачу інтелекту й шукати, які чинники доповнюють інтелект і стають вузькими місцями, коли інтелекту дуже багато. Ми не звикли запитувати «наскільки бути розумнішим допомагає в цій задачі й за який строк?», але для світу з дуже потужним ШІ це і є правильне запитання. Його перелік чинників, які обмежують і доповнюють інтелект, такий: Швидкість зовнішнього світу. Щоб щось робити й чогось учитися, агентам треба взаємодіяти зі світом, а світ рухається не швидше за свій темп. Клітини й тварини живуть із фіксованою швидкістю, і дослід над ними займе свій час, який не стиснути. Те саме з обладнанням, матеріалами, спілкуванням із людьми. А в науці досліди часто йдуть ланцюжком, де кожен наступний спирається на попередній. Тому у великого проєкту — скажімо, ліків від раку — може бути неусувний мінімальний строк. Брак даних. Іноді сирих даних просто немає, і розум не допомагає. Фізики, що вивчають частинки, дуже винахідливі й набудували безліч теорій, але їм бракує даних, щоб вибрати між ними, адже даних із прискорювачів мало. Надрозум тут мало що змінить — хіба що швидше збудує прискорювач побільше. Внутрішня складність. Деякі речі за своєю природою непередбачувані або хаотичні, і навіть найсильніший ШІ передбачить їх ненабагато краще за людину чи сьогоднішній комп’ютер. У хаотичній системі (наприклад, задача трьох тіл) навіть величезне зростання обчислювальної потужності дає лише крихітний виграш у тому, наскільки далеко вперед можна зазирнути, бо малі похибки наростають за експонентою. Обмеження з боку людей. Багато чого не можна зробити, не порушуючи законів, не шкодячи людям і не ламаючи суспільство. Вирівняний ШІ й не захотів би цього (а невирівняний — це знову розмова про ризики). Багато суспільних устроїв неефективні чи навіть шкідливі, але змінювати їх важко: клінічні випробування за законом, звички людей, поведінка урядів. Приклади добрих по суті технологій, яким завадили правила чи страхи, — атомна енергетика, надзвукові польоти й навіть ліфти. Закони фізики. Це жорсткіша версія першого пункту. Не можна рухатися швидше за світло. Розмішаний пудинг не збереться назад. У чипа є межа кількості транзисторів на квадратний сантиметр. Обчислення потребує мінімуму енергії на стирання біта. Ці межі, схоже, нездоланні. Ключова думка. З часом інтелект дедалі краще обходить ці чинники, навіть якщо вони не зникають до кінця, а деякі (закони фізики) абсолютні. Те, що в короткий строк — жорстке обмеження, у довгий може стати піддатливим: можна придумати дослід у пробірці замість досліду на тваринах, збудувати інструмент для збору нових даних, у рамках етики спростити систему клінічних випробувань. Головне питання — як швидко все це відбувається і в якому порядку. Примітка. Ще один чинник: потужний ШІ може створювати ще потужніший ШІ. Амодей вважає, що так, імовірно, і буде, але ефект виявиться меншим, ніж здається, — саме через спадну граничну віддачу інтелекту. ШІ й далі швидко розумнішатиме, але його вплив зрештою впреться в неінтелектуальні чинники, і саме їх найважливіше аналізувати. 1 Біологія і здоров’я Біологія — та галузь, де науковий прогрес найпряміше й без застережень поліпшує життя. У минулому столітті перемогли найдавніші хвороби на кшталт віспи, але багато чого лишилося. А поза лікуванням хвороб біологія може підняти й сам рівень здоров’я: подовжити здорове життя, дати більше свободи над власними біологічними процесами. Головні перешкоди на шляху розуму в біологію — дані, швидкість фізичного світу й внутрішня складність (усі три пов’язані), а пізніше, на клінічних випробуваннях, додаються й людські обмеження. Досліди над клітинами й тваринами йдуть зі швидкістю світу: виростити культуру чи дочекатися реакції часом треба днями й тижнями, досліди на тваринах — місяцями, на людях — роками. З даними біда не стільки в кількості, скільки в якості: важко отримати ясні дані, які вичленовують потрібний ефект із тисяч сторонніх і напряму втручаються в процес. А внутрішня складність — це, наприклад, біохімія обміну речовин: у такій заплутаній системі майже неможливо виділити внесок однієї частини й точно на неї подіяти. Через усе це біологи давно скептичні до «великих даних» у біології: математики й фізики, які прийшли в неї за тридцять років, досягли успіхів, але не тієї переворотної сили, на яку сподівалися. Звична формула: «ШІ краще проаналізує ваші дані, але не створить нових і не поліпшить їхньої якості — сміття на вході, сміття на виході». Ключова думка. Це, вважає Амодей, хибний погляд. Правильно думати про ШІ не як про спосіб аналізу даних, а як про «віртуального біолога», який робить усе, що роблять біологи: придумує і ставить досліди в реальному світі (керуючи лабораторними роботами або спрямовуючи людей, як науковий керівник — аспірантів), винаходить нові методи й способи вимірювання. Прискорюючи весь дослідницький процес, ШІ прискорює і біологію. Звідки візьметься прискорення? Напрочуд велика частка прогресу в біології йде від крихітного числа відкриттів — зазвичай це широкі інструменти вимірювання або точного, програмованого втручання. Таких великих відкриттів приблизно по одному на рік, і разом вони дають, мабуть, більше половини всього прогресу. Приклади: CRISPR (редагування будь-якого гена в живому організмі); різні види мікроскопії; здешевлене на порядки читання й синтез геному; оптогенетика (нейрон змушують спрацювати, посвітивши на нього); мРНК-вакцини (у принципі — вакцина від чого завгодно); клітинна терапія на кшталт CAR-T (імунні клітини «перепрограмовують» на атаку); ідейні прориви на кшталт мікробної теорії хвороб чи зв’язку імунної системи й раку. «Прогрес у науці залежить від нових методів, нових відкриттів і нових ідей — імовірно, саме в такому порядку». Головне твердження Амодея: темп таких відкриттів можна підняти в десять і більше разів, якби дослідників було більше і якби вони були талановитіші. Тобто віддача інтелекту для цих відкриттів висока, а все інше в біології та медицині здебільшого випливає з них. Чому він так думає? По-перше, відкриття робить крихітне число людей, часто одні й ті самі, — отже, річ в умінні, а не у випадковому переборі. По-друге, їх часто «можна було зробити» на роки раніше: CRISPR як частину імунітету бактерій знали ще з 1980-х, але лише через двадцять п’ять років здогадалися пристосувати його для редагування генів. По-третє, успішні проєкти часто були скромними або й зовсім побічними, а не щедро профінансованими, — отже, вирішує винахідливість, а не концентрація ресурсів. І нарешті, багато відкриттів незалежні, а отже, над ними можна працювати разом, паралельно. Ключова думка. Звідси здогад Амодея: потужний ШІ здатен прискорити темп цих відкриттів щонайменше в десять разів — і дати нам наступні п’ятдесят-сто років біологічного прогресу за п’ять-десять років. Він називає це «стиснутим XXI століттям». Примітка. Чому не в сто разів? Тут починають заважати ланцюгова залежність дослідів і їхня тривалість: отримати сто років прогресу за один рік означає зробити надто багато правильно з першого разу, включно з дослідами на тваринах і створенням обладнання. Амодей навіть припускає (хай і звучить дико) тисячу років прогресу за п’ять-десять років, але дуже сумнівається в ста роках за один: у дослідів є неусувна «затримка», яку доводиться повторювати певну неминучу кількість разів. Зате поверх цієї затримки можлива величезна паралельність. А клінічні випробування? Так, у них багато бюрократії, але чимала частина повільності йде від того, що доводиться суворо перевіряти ліки, які ледве працюють: середній препарат від раку подовжує життя на лічені місяці з помітними побічними ефектами, а це потребує величезних досліджень заради статистичної переконливості. Коли засіб працює по-справжньому добре, все йде значно швидше: мРНК-вакцини від ковіду схвалили за дев’ять місяців. Такі строки (приблизно рік на препарат) разом із масовою паралельністю цілком сумісні з радикальним перетворенням за п’ять-десять років. Ба більше, ШІ може зменшити потребу в повторних випробуваннях, створивши точніші тваринні й клітинні моделі, — що особливо важливо для боротьби зі старінням, яка тягнеться десятиліттями. Варто відзначити й рідкісну удачу біомедицини: розробити ліки громіздко, але раз створені, вони зазвичай доходять до людей — на відміну від багатьох технологій, задушених суспільними чинниками. Далі Амодей, обумовлюючи, що це не строга методика, а прикидка рівня радикальності, перелічує, чого можна чекати від «стиснутого XXI століття»: Надійна профілактика й лікування майже всіх природних інфекцій. Після величезних успіхів XX століття «доробити роботу» не здається радикальним; мРНК-вакцини вже натякають на «вакцину від чого завгодно». Чи повністю інфекції зникнуть зі світу, залежить уже від бідності й нерівності. Усунення більшої частини раку. Смертність від раку падає приблизно на 2 відсотки на рік, тож ми й так на шляху до перемоги над більшою його частиною в цьому столітті. Зниження смертності й захворюваності на 95 відсотків і більше здається можливим. Але рак дуже різноманітний і пристосовний — імовірно, це найважче; якісь рідкісні злі форми, найпевніше, вціліють. Дуже ефективна профілактика й лікування генетичних хвороб. Поліпшений відбір ембріонів, імовірно, дасть змогу запобігти більшості з них, а безпечний нащадок CRISPR — вилікувати в уже живих людей. Найважчими будуть хвороби, що зачіпають велику частку клітин тіла. Запобігання хворобі Альцгеймера. Її причину зрозуміти дуже важко (якось пов’язана з бета-амілоїдом, але деталі складні). Це якраз задача для кращих інструментів вимірювання, і Амодей налаштований оптимістично. Хоча вже завдану хворобою шкоду обернути може бути дуже важко. Краще лікування й інших недуг. — діабету, ожиріння, хвороб серця, автоімунних хвороб. Багато з них «простіші» за рак і вже швидко відступають: смертність від хвороб серця впала більш ніж удвічі, а прості засоби вже сильно допомогли проти ожиріння й діабету. Біологічна свобода. За останні сімдесят років з’явилися контрацепція, керування вагою й багато іншого; ШІ різко розширить це — вага, зовнішність, народження дітей стануть справою власного вибору. Подвоєння тривалості життя. Звучить радикально, але у XX столітті очікувана тривалість життя зросла майже вдвічі (з приблизно сорока до приблизно сімдесяти п’яти років), тож подвоєння «за трендом» дало б сто п’ятдесят. Уже є препарати, що подовжують життя щурам на 25–50 відсотків, а деякі черепахи живуть і по двісті років — отже, у людей межі не досягнуто. За життя у сто п’ятдесят років ми, можливо, досягнемо «швидкості втечі»: виграємо досить часу, щоб більшість тих, хто живе сьогодні, прожили стільки, скільки захочуть. Примітка. Амодей підкреслює, як зміниться світ, якщо все це збудеться років через сім-дванадцять. Він нагадує: тисячі економістів сперечаються, як утримати на плаву пенсійну систему й медицину для літніх. Якщо описане збудеться, їхнє становище різко поліпшиться — адже зміниться співвідношення тих, хто працює, і пенсіонерів. Йому казали, що надбавка річного зростання продуктивності навіть на пів відсотка була б для цих програм перетворювальною, — а тут виграш може бути значно більшим. 2 Нейронаука і розум У першій сфері йшлося про тілесні хвороби. Але нейронаука — теж частина біології, а психічне здоров’я важливе не менше за тілесне, якщо не більше: сотні мільйонів людей живуть із низькою якістю життя через залежності, депресію, шизофренію, посттравматичний розлад та інше, а мільярди — з легшими версіями тих самих бід. І тут, окрім лікування хвороб, можна підняти сам базовий рівень людського самопочуття. Та сама рамка, що в біології, діє й тут: поле рухають нечисленні відкриття, пов’язані з вимірюванням або точним втручанням (оптогенетика — з них). Тому й тут доречна формула «сто років прогресу за п’ять-десять років». Але є додаток: те, що ми нещодавно дізналися про сам ШІ, допоможе нейронауці. Приклад — інтерпретовність: хоча біологічні нейрони влаштовані інакше, ніж штучні, загальне питання «як навчені мережі простих одиниць спільно виконують важливі обчислення» — одне й те саме. Так, механізм, знайдений дослідниками всередині ШІ-систем, нещодавно було заново виявлено в мозку мишей. Ставити досліди над штучними мережами значно легше, ніж над живим мозком, і самі потужні ШІ, імовірно, застосують цей інструмент краще за людей. Ба більше: засвоєне в ШІ про навчання має, на думку Амодея, перевернути нейронауку. Коли він працював у ній, багато хто вивчав, як він тепер вважає, не ті питання, бо ще не було ідеї масштабування, «гіркого уроку» — думки, що проста цільова функція плюс багато даних породжують неймовірно складну поведінку. Це зміщує інтерес до цільових функцій і будови мережі й від деталей окремих нейронів. Він підозрює, що обчислювальні нейробіологи цей урок ще не цілком засвоїли, і що ШІ-нейробіологи використовують цей кут зору ефективніше. Амодей очікує прискорення нейронауки за чотирма напрямами одразу: звичайна молекулярна біологія, хімія і генетика (нові препарати, що змінюють роботу мозку); тонке вимірювання і втручання на рівні окремих нейронів і ланцюгів; просунута обчислювальна нейронаука; і поведінкові втручання — методи психіатрії та психології, плюс ідея «ШІ-наставника», який завжди допомагає стати кращою версією себе. Його конкретні здогади про те, що станеться: Більшу частину психічних хвороб, імовірно, вдасться вилікувати. — депресію, шизофренію, залежності, посттравматичний розлад, — поєднанням цих чотирьох напрямів. Відповідь, найімовірніше, буде і біохімічною («щось пішло не так у хімії»), і системною («щось не так на рівні нейронної мережі»). «Структурні» стани важчі, але не безнадійні. У психопатії є явні анатомічні відмінності мозку, і, схоже, вони були завжди; те саме може бути з частиною розумових порушень. Перебудувати мозок звучить важко, але це задача з високою віддачею інтелекту: можливо, знайдеться спосіб повернути дорослий мозок у «пластичніший» стан. Генетична профілактика психічних хвороб здається можливою. — через відбір ембріонів, як і з тілесними. Тут складніше, бо психічні хвороби частіше залежать від багатьох генів одразу, і є ризик ненавмисно відібрати проти корисних рис; утім, останні дані натякають, що такі зв’язки, можливо, перебільшували. Буде розв’язано й повсякденні проблеми. , які ми не вважаємо хворобою: запальність, труднощі із зосередженням, тривожність. Ліки для бадьорості й уваги є й зараз (кофеїн та інші), але можливо значно більше, зокрема зовсім нові способи — спрямована світлова чи магнітна стимуляція. Базовий рівень переживань може стати набагато кращим. Багато хто знає рідкісні миті прозріння, натхнення, співчуття, любові, краси, спокою. Якщо їхня частота так різниться в різних людей і в однієї людини в різний час, отже, «простір можливих переживань» широкий, і такі миті могли б займати більшу частку життя. Це наче нейронаукова версія «біологічної свободи». Примітка. Тему «завантаження свідомості» — перенесення будови мозку в програму — Амодей навмисно лишає осторонь. Він вважає її в принципі можливою, але на практиці такою, що впирається в такі технічні й суспільні труднощі, що у вікно п’яти-десяти років вона, найімовірніше, не потрапляє. 3 Економічний розвиток і бідність Перші дві сфери — про створення технологій, що лікують хвороби. Але з гуманітарного погляду постає очевидне запитання: а чи буде до всього цього доступ у всіх? Одна річ — винайти ліки, інша — викорінити хворобу по всьому світу. Рівень життя в багатьох краях ще відчайдушно низький: валовий продукт на людину в Тропічній Африці — близько двох тисяч доларів, у США — близько сімдесяти п’яти тисяч. Якщо ШІ підніме багатий світ, а бідному майже не допоможе, це буде моральним провалом. В ідеалі потужний ШІ має допомогти бідному світу наздогнати багатий. Тут Амодей упевнений менше, ніж у винайденні технологій. Техніка дає явно високу віддачу інтелекту, а от економіка повна людських обмежень і внутрішньої складності. Він сумнівається, що ШІ розв’язав би знамениту «задачу планового розрахунку», і не думає, що уряди віддадуть (або мають віддавати) йому економічну політику. Справу ускладнює й повсюдна корупція, яка годує бідність, а бідність — корупцію. І все ж є серйозні причини для оптимізму: хвороби викорінювали, країни переходили з бідних у багаті, а отже, віддача інтелекту в цих справах висока — ШІ, імовірно, зробить їх краще, ніж робиться зараз. А головне, пробувати ми зобов’язані: моральний обов’язок надто великий. Примітка. Амодей підозрює, що плановий розрахунок — як хаотична система, з неусувною складністю, якою доводиться керувати здебільшого децентралізовано. Але економіст Ерік Бріньолфссон заперечив йому: великі компанії на кшталт Walmart чи Uber накопичують стільки централізованого знання про споживачів, що це може змусити переглянути давню думку Гаєка про те, у кого найкраще місцеве знання. Його здогади про бідний світ на п’ять-десять років після потужного ШІ: Поширення медичних втручань. Тут Амодей найоптимістичніший. Хвороби викорінювали згори: віспу перемогли в 1970-х, поліомієліт і ришту майже добили — менше ста випадків на рік. Розумне епідеміологічне моделювання тут уже працює, і надлюдський ШІ здатен робити це краще, а логістику — оптимізувати. Деякі біологічні новинки спрощують доставку: вакцина від малярії, яку вводять один раз, знімає потребу лікувати кожен випадок окремо; а переносників хвороби можна придушувати однією централізованою дією — наприклад, генними драйвами проти комарів. Розумний строк, щоб добра частка (може, половина) вигод дійшла навіть до найбідніших країн, — п’ять-десять років. Добра мета: щоб бідний світ через п’ять-десять років був помітно здоровішим, ніж багатий світ сьогодні. Економічне зростання. Чи може бідний світ швидко наздогнати багатий? Прецедент є: наприкінці XX століття кілька східноазійських економік тримали зростання близько 10 відсотків на рік і наздогнали розвинений світ — не керуючи всією економікою, а смикаючи кілька ключових важелів (ставка на експорт, відмова покладатися на сировину). Правдоподібно, що «ШІ-міністри фінансів і центробанкіри» повторять або перевершать це. Питання — як переконати уряди їх прийняти, поважаючи право на самовизначення. Багато медичних виграшів самі піднімуть зростання: перемога над малярією і паразитами перетворила б продуктивність. Мрія (саме мета, а не те, що вийде само собою) — 20 відсотків зростання на рік у бідному світі: по 10 від ШІ-рішень і від природного поширення технологій. Тоді Тропічна Африка за п’ять-десять років вийшла б на нинішній рівень Китаю. Продовольча безпека. Добрива, автоматизація, ефективне землекористування й генна інженерія культур різко підняли врожаї у XX столітті; ШІ може дати «другу зелену революцію» і скоротити розрив між бідним і багатим світом. Пом’якшення зміни клімату. Клімат сильніше вдарить по бідному світу. ШІ, імовірно, поліпшить технології — від видалення вуглецю з атмосфери й чистої енергії до м’яса з лабораторії, — зробивши боротьбу з кліматом набагато менш дорогою й болісною, хоча самими технологіями справа не вирішується. Нерівність усередині країн. Будуть побоювання, що радикальні новинки — «лише для багатих». Амодей обережно оптимістичний, особливо щодо багатих країн: ринки зазвичай із часом здешевлюють цінні технології (як сталося з мобільними телефонами), а інституції розвинених демократій чутливіші до громадян і здатні на програми загального доступу. Проблема відмови. Частина людей відмовиться від вигод ШІ — як антивакцинатори чи луддити, — і можливі погані кола, де ті, хто найгірше ухвалює рішення, відмовляються від технологій, які якраз поліпшують рішення. Примушувати не можна, але можна підвищувати наукову грамотність. Обнадіює, що антитехнологічні рухи історично були «більше гавкоту, ніж укусу»: зрештою більшість техніку приймає. Загалом Амодей оптимістичний щодо швидкого перенесення медичних виграшів у бідний світ і сподівається, хоч не впевнений, що ШІ дасть йому змогу небачено зростати. Світ не стане ідеальним, і ті, хто відстав, не наздоженуть повністю. Але за сильних зусиль ми можемо зрушити все в правильний бік — і швидко. 4 Мир і урядування Нехай навіть усе з перших трьох розділів вдасться — хвороби, бідність і нерівність відступлять. З цього не випливає, що всі головні джерела людського страждання розв’язано: люди, як і раніше, небезпечні одне для одного. Так, є слабкий тренд, що розвиток веде до демократії й миру, але тренд саме слабкий, із частими відкатами. На початку XX століття думали, що з війною покінчено, — а потім гримнули дві світові. Тридцять років тому писали про «кінець історії» і тріумф ліберальної демократії — не сталося. Двадцять років тому вірили, що вільна торгівля зробить Китай ліберальнішим, — вийшло навпаки. Амодей чесний: він не бачить сильної причини, з якої ШІ структурно підтримав би демократію й мир, — на відміну від здоров’я і боротьби з бідністю. Конфлікт людей ворожий по суті, і ШІ в принципі допомагає і «добрим», і «поганим». Гірше того, деякі структурні чинники тривожні: ШІ, схоже, посилить пропаганду й стеження — головні інструменти автократа. Отже, схиляти шальку терезів доведеться нам самим: якщо ми хочемо, щоб ШІ служив демократії й правам людини, за це треба боротися. Він ділить питання на дві частини. Зовнішня — міжнародний розклад. Дуже важливо, щоб на момент створення потужного ШІ перевага на світовій сцені була в демократій: ШІ-автократія надто страшна, щоб її допустити. Його нинішній здогад про найкращий шлях — «стратегія антанти»: коаліція демократій здобуває явну (хай і тимчасову) перевагу в потужному ШІ, забезпечивши ланцюг постачання, швидко нарощуючи потужності й затримуючи доступ суперників до чипів і обладнання. Ця коаліція однією рукою домагається військової переваги («батіг»), а другою — пропонує ділитися вигодами потужного ШІ з дедалі ширшим колом країн в обмін на підтримку («пряник»), на кшталт давньої програми «Атом заради миру». Так коло прихильників росте, а найгірші противники опиняються перед вибором: краще прийняти ту саму угоду, ніж битися із завідомо сильнішим. Якщо все вдасться, вийде світ, де демократії ведуть, — оптимістично кажучи, «вічний 1991 рік». Внутрішня частина — боротьба демократії й автократії всередині країн. Тут Амодей навіть із певним оптимізмом: якщо найпотужніший ШІ в демократій, ШІ може структурно допомогти демократії всюди. Демократичні уряди зможуть виграти інформаційну війну — відбивати пропаганду автократій і створювати вільне інформаційне середовище, яке автократам технічно не перекрити. Причин кілька. По-перше, зростання якості життя з перших розділів саме по собі сприяє демократії: психічне здоров’я, добробут і освіта негативно пов’язані з підтримкою авторитарних вождів, а люди із задоволеними потребами хочуть більше самовираження. По-друге, вільна інформація справді підриває авторитаризм, якщо її не вдається цензурувати. Репресивні режими тримаються на тому, що позбавляють людей спільного знання — не дають зрозуміти, що «король-то голий». Надефективний ШІ-помічник у кишені в кожного, якого диктатори не можуть заблокувати, міг би стати вітром у спину незгодним по всьому світу. Примітка. Амодей посилається на Срджу Поповича, який допомагав повалити режим Мілошевича в Сербії й описав прийоми, як психологічно позбавляти авторитарну владу сили, «зруйнувати чари» і згуртувати людей проти диктатора. ШІ-версія такого майстра, яку не можна заблокувати, була б грізним інструментом у руках реформаторів. Як і в біології, можна запитати не лише «як уникнути автократії», а й «як зробити демократії кращими, ніж вони є». Навіть у демократіях постійно трапляються несправедливості. Чи може ШІ допомогти? Наприклад, зробити правосуддя безстороннішим. Сьогодні в суді бояться, що ШІ стане джерелом дискримінації, — і з цим треба боротися. Але століттями у права дилема: воно прагне безсторонності, а тлумачать його упереджені люди. Зробити право суто механічним не вдалося, бо світ надто складний для формул; тому використовують розпливчасті критерії на кшталт «жорстокого й незвичайного покарання», які люди тлумачать з ухилом і свавіллям. ШІ може виявитися досить розумним, щоб виносити широкі, «розмиті» судження повторювано й однаково, — він перша технологія, на це здатна. Амодей не пропонує замінити суддів ШІ, але поєднання безсторонності з розумінням заплутаних реальних ситуацій має дати щось корисне для права — хоча б як допомогу людині в рішеннях. Тут важлива прозорість, і зріла наука про ШІ могла б її дати: процес навчання можна вивчати, а методами інтерпретовності — зазирати всередину моделі на приховані ухили так, як із людьми просто неможливо. Подібно ШІ міг би збирати думки громадян і шукати згоди, розв’язуючи конфлікти (перші кроки в цей бік робить «проєкт обчислювальної демократії», зокрема разом з Anthropic). І ШІ міг би допомагати отримувати державні послуги, які за законом належать усім, а насправді працюють погано: вдумливий ШІ, чия робота — дати вам усе, на що ви маєте право, і допомогти розібратися в заплутаних правилах, став би великою справою й зміцнив довіру до держави. Усі ці думки — доволі розпливчасті, і в їхній здійсненності Амодей упевнений значно менше, ніж в успіхах біології й боротьби з бідністю. Вони можуть виявитися наївно утопічними. Але важливо мати сміливу, честолюбну мету — бачення ШІ як захисника свободи, прав особи й рівності перед законом надто сильне, щоб за нього не боротися. 5 Робота і сенс Нехай навіть усе попереднє вдасться. Лишається питання: якщо ШІ робить усе, у чому люди знайдуть сенс? І як вони взагалі виживуть економічно? Це питання Амодей вважає важчим за інші — не обов’язково безнадійнішим, а саме розпливчастішим, адже воно про те, як влаштоване суспільство загалом, а це вирішується лише з часом і децентралізовано. Суспільства мисливців-збирачів могли б вважати наше сите життя без полювання безглуздим і не зрозуміти, як наша економіка всіх годує. Про сенс. Помилково думати, ніби твоя справа безглузда лише тому, що ШІ зробив би її краще. Більшість людей ні в чому не найкращі у світі, і це їх не надто гнітить. Люди вповні насолоджуються заняттями без жодної економічної цінності. Сам Амодей грає у відеоігри, плаває, гуляє, спілкується з друзями — і йому байдуже, що хтось робить це краще. Сенс, вважає він, іде здебільшого від людських зв’язків, а не від оплачуваної праці. А відчуття досягнення й навіть змагання цілком можна отримувати, роками беручись за дуже важке завдання, — як сьогодні люди затівають дослідження, рвуться в актори чи засновують компанії. Економічна частина здається йому важчою за частину про сенс. Ідеться про те, що більшість людей, можливо, не зможуть осмислено вкладатися в досить розвинену економіку з ШІ. У короткий строк, погоджується він, порівняльна перевага втримає людей у справі й навіть підвищить їхню продуктивність: поки ШІ кращий у 90 відсотках роботи, решта 10 роблять людей дуже затребуваними, і ці «10 відсотків» розростаються, даючи зайнятість майже всім. Найдовше відносну (а то й абсолютну) перевагу люди, імовірно, збережуть у фізичному світі. Ключова думка. Але в довгий строк, думає Амодей, ШІ стане так широко ефективним і таким дешевим, що це правило перестане працювати. Тоді нинішній устрій економіки втратить сенс, і знадобиться широка суспільна розмова про те, як її влаштувати. Звучить дико, але цивілізація вже проходила великі господарські зсуви: від збиральництва до землеробства, від землеробства до феодалізму, від феодалізму до індустрії. Потрібно, підозрює він, щось нове й дивніше, чого ніхто поки до пуття не уявив. Це може бути і великий безумовний дохід для всіх (але, думає він, лише як мала частина рішення), і «капіталістична економіка ШІ-систем», що роздають людям ресурси (пиріг-бо буде величезним) за якимсь вторинним рахунком того, що за людськими цінностями варто заохочувати. Усі такі рішення повні можливих бід, і зрозуміти, яке з них осмислене, не можна без довгих спроб; за добрий результат теж доведеться боротися, адже можливі й експлуататорські, антиутопічні повороти. Підбиваючи підсумок Світ, за який варто боротися Амодей визнає: він не знає, чи реалістичний цей світ, і навіть якщо так — він не виникне без величезних зусиль і боротьби безлічі сміливих людей. Кожному (включно з ШІ-компаніями) доведеться зробити свою частину, щоб і запобігти ризикам, і повністю розкрити користь. Але це світ, за який варто боротися. Якщо все це справді станеться за п’ять-десять років — перемога над хворобами, зростання біологічної й розумової свободи, вихід мільярдів із бідності, відродження ліберальної демократії, — він підозрює, що спостерігати це буде потрясінням для всіх. Не стільки від особистої вигоди, скільки від видовища того, як давні ідеали разом утілюються на очах. Багатьох, думає він, це буквально зворушить до сліз. У цьому баченні є дивна напруга. З одного боку, воно вкрай радикальне: майже ніхто не чекає такого в найближче десятиліття, багатьом воно здасться безглуздою фантазією. З другого — у ньому є щось до очевидності визначене наперед, ніби найрізноманітніші спроби уявити добрий світ неминуче ведуть приблизно сюди. Примітка. Амодей порушує власне правило не згадувати фантастику й посилається на роман Ієна Бенкса «Гравець в ігри». Герой із суспільства під назвою Культура (з цінностями, близькими до описаних) приїжджає в жорстоку мілітаристську імперію, де владу визначає перемога у складній грі. Гра така глибока, що стратегія гравця відбиває його погляди на життя, — і герой перемагає імператора, показуючи, що цінності Культури виявляються виграшною стратегією навіть у грі, вигаданій суспільством безжальної конкуренції. Схожу думку — що конкуренція самопідривна й веде до суспільства співчуття і співпраці — висловлював у відомому есеї Скотт Александер. Чому цінності Культури — виграшна стратегія? Тому, думає Амодей, що вони складаються з мільйона маленьких рішень, у кожного з яких ясна моральна сила і які тягнуть людей на один бік. Прості людські інтуїції — чесність, співпраця, допитливість, самостійність — важко оскаржити, і вони накопичуються так, як не вміють наші руйнівні пориви. Легко погодитися, що дітям не слід помирати від хвороб, якщо можна їх урятувати; звідси недалеко до думки, що це право в усіх дітей рівне, а звідти — до заклику об’єднатися й докласти розуму заради цього. Ці прості інтуїції, доведені до кінця, ведуть до верховенства права, демократії й цінностей Просвітництва. Туди людство, хай лише як статистична тенденція, і так уже рухалося; ШІ лише дає шанс дістатися швидше — зробити логіку різкішою, а мету — яснішою. І все ж це щось позамежно прекрасне. Ми маємо можливість зіграти хай малу, але роль у тому, щоб зробити це дійсністю. Підсумки Головні висновки Амодей свідомо малює світлий бік ШІ, не з наївності, а тому що вважає: мета, яка надихає, потрібна не менше, ніж захист від ризиків. Потрібна не лише пожежна команда — потрібно те, за що ми боремося. «Потужний ШІ» він уявляє як «країну геніїв у дата-центрі»: мільйони копій, кожна розумніша за нобелівського лауреата, що працюють у 10–100 разів швидше за людину і нарізно, і спільно. Інтелект — не всесильний. Його стримують п’ять чинників: швидкість фізичного світу, брак даних, внутрішня складність явищ, людські правила й закони фізики. З часом він їх обходить, але деякі нездоланні. У біології потужний ШІ — не аналізатор даних, а «віртуальний біолог». Прискоривши нечисленні ключові відкриття в десять із лишком разів, він здатен дати «стиснуте XXI століття»: п’ятдесят-сто років прогресу за п’ять-десять років — від перемоги над інфекціями й більшою частиною раку до подвоєння тривалості життя. Та сама рамка працює в нейронауці: імовірні лікування більшості психічних хвороб, їх генетична профілактика й підйом самого базового рівня людських переживань. В економічному розвитку Амодей упевнений менше: тут заважають людські обмеження й корупція. Але він оптимістичний щодо перенесення медичних виграшів у бідний світ і мріє про зростання до 20 відсотків на рік, підкреслюючи, що це потребує спільних зусиль, а не вийде само собою. У питаннях миру й урядування структурної гарантії немає: ШІ допомагає і демократіям, і автократіям, посилюючи пропаганду й стеження. Тому Амодей пропонує «стратегію антанти» коаліції демократій і бачить шанс, що ШІ допоможе виграти інформаційну війну й навіть зробити правосуддя безстороннішим. Про роботу й сенс: сенс іде від зв’язків, а не від оплачуваної праці; у короткий строк людей утримає порівняльна перевага, а в довгий устрій економіки доведеться перезібрати. Загальна думка есею: прості людські інтуїції ведуть до цінностей Просвітництва, і ШІ лише дає шанс дістатися туди швидше — за це й варто боротися.