Аудіовидання · переказ простою українською

Машини люблячої благодаті

Даріо Амодей
Dario Amodei, «Machines of Loving Grace: How AI Could Transform the World for the Better». darioamodei.com, жовтень 2024. Оригінал: darioamodei.com. © Dario Amodei.
Це не дослівний переклад, а повний переказ есею для прослуховування: збережено всі аргументи, висновки, цифри й застереження, суттєві виноски вплетено в текст як примітки, список посилань опущено. Орієнтовний час прослуховування: 45 хвилин.

Про що ця стаття

Цей довгий есей у жовтні 2024 року написав Даріо Амодей — керівник компанії Anthropic, яка створює ШІ й багато займається його ризиками. Саме тому Амодея часто вважають «песимістом». Він заперечує: він думає про ризики якраз тому, що вони — єдине, що стоїть між нами й майбутнім, яке він вважає по суті прекрасним. На його думку, більшість людей недооцінюють, наскільки радикально добрими можуть бути наслідки сильного ШІ, — так само, як недооцінюють, наскільки поганими можуть бути ризики.

Есей — спроба намалювати цей світлий бік: яким може бути світ, якщо з ШІ все піде добре. Амодей свідомо уникає слова «AGI» і говорить про «потужний ШІ». Він уявляє його як «країну геніїв у дата-центрі»: мільйони копій системи, кожна розумніша за нобелівського лауреата, що працюють і нарізно, і разом. І ставить запитання: що така сила зробить із п’ятьма сферами, які найсильніше впливають на життя людей, — з біологією і здоров’ям, нейронаукою і психічним здоров’ям, економічним розвитком, миром і урядуванням, роботою і сенсом.

Головна думка щодо біології: потужний ШІ здатен «стиснути» прогрес, який людство пройшло б за п’ятдесят-сто років, до п’яти-десяти років. Але Амодей чесно обумовлює межі: інтелект — не всесильний, його стримують швидкість фізичного світу, брак даних, внутрішня складність явищ, людські правила й закони фізики. Для того, хто будує ринок ШІ-агентів, есей корисний саме цим розбором: що інтелект робить швидко, а де впирається в «інші чинники виробництва», які стають вузькими місцями, коли інтелекту раптом дуже багато.

Потужний ШІТермін Амодея замість «AGI». Система (можливо, схожа на нинішні мовні моделі), яка розумніша за нобелівського лауреата в більшості галузей, уміє діяти у світі через будь-які інтерфейси й самостійно виконувати завдання, що тривають години, дні й тижні.
Країна геніїв у дата-центріОбраз потужного ШІ: ресурсів, якими навчали одну модель, вистачає, щоб запустити мільйони її копій; кожна працює у 10–100 разів швидше за людину; копії діють і поодинці, і спільно.
Гранична віддача інтелектуНаскільки більший розум допомагає в даному завданні й за який строк. Економісти говорять про граничну віддачу праці, землі, капіталу; Амодей пропонує в епоху ШІ думати про віддачу інтелекту — і про те, що стає вузьким місцем, коли інтелекту дуже багато.
Обмежувальні чинникиТе, що стримує інтелект і доповнює його: швидкість фізичного світу, брак даних, внутрішня складність, людські правила й закони фізики. З часом інтелект дедалі краще їх обходить, хоча деякі (закони фізики) — нездоланні.
«Стиснуте XXI століття»Ідея, що після появи потужного ШІ ми за п’ять-десять років пройдемо в біології та медицині весь шлях, який інакше зайняв би п’ятдесят-сто років.
Біологічна свободаДумка, що кожен зможе обирати, яким йому бути: вага, зовнішність, народження дітей та інші біологічні процеси стануть справою власного вибору.
Стратегія «антанти»Пропозиція Амодея щодо зовнішньої політики: коаліція демократій здобуває тимчасову перевагу в потужному ШІ, забезпечивши ланцюг постачання й випередивши суперників, а потім «батогом і пряником» схиляє решту світу на свій бік.

Вступ

Навіщо взагалі говорити про світлий бік ШІ

Амодей починає з пояснення, чому він і Anthropic зазвичай говорять про ризики, а не про користь, — і чому так, імовірно, буде й далі. Причин чотири. Перша — важіль. Розвиток ШІ й більша частина його користі здаються майже неминучими: їх рухають потужні ринкові сили. А от ризики не визначені наперед, і наші дії сильно змінюють їхню ймовірність, — тому на ризики й варто витрачати сили. Друга — щоб не скидатися на пропаганду. Коли ШІ-компанія розписує дива ШІ, це відгонить рекламою власного товару, та й для душі шкідливо надто багато «нахвалювати свої акції». Третя — щоб не впасти в грандіозність. Амодею неприємна манера багатьох говорити про світ після ШІ так, ніби їхня місія — одноосібно привести до нього людство, немов пророк. Небезпечно вважати, що компанії самотужки ліплять світ, і небезпечно бачити в технічних цілях щось майже релігійне. Четверта — щоб позбутися «науково-фантастичного» нальоту. Радикальні картини майбутнього часто описують у дусі фантастики — із завантаженням свідомості, космосом, кіберпанком, — і це змушує ставитися до них несерйозно й протягує купу чужих культурних припущень.

І все ж, каже Амодей, важливо описати, яким може бути добрий світ із потужним ШІ. Потрібна не лише пожежна команда, а й мета, яка надихає. Багато що в наслідках ШІ — вороже й небезпечне, але наприкінці має бути щось, за що ми боремося, якийсь результат, де всім краще. Страх — теж рушій, але його замало: потрібна й надія. Перелік корисних застосувань ШІ дуже довгий — тут і робототехніка, і енергетика, і виробництво, — але Амодей обирає п’ять сфер, де користь для якості життя найпряміша: біологія і здоров’я; нейронаука і психічне здоров’я; економічний розвиток і бідність; мир і урядування; робота і сенс.

Примітка. Амодей попереджає: його прогнози здадуться радикальними за звичайними мірками. Але «нудно» — це добре: суспільство може перетравити лише стільки змін за раз, і описаний темп близький до межі того, що можна витримати без сильної трясанини. Він має досвід у біології та нейронауці, але впевнений, що багато в чому помилиться, і його есей краще вважати «заготовкою» для групи фахівців, які написали б кращу версію.

Основа

Що таке «потужний ШІ» і що його стримує

Країна геніїв у дата-центрі

Щоб розмова була точнішою, Амодей визначає, що він розуміє під «потужним ШІ» (самого терміна «AGI» він не любить, вважаючи його розпливчастим і перевантаженим хайпом; йому ближче «потужний ШІ» або «експертний рівень у науці й техніці»). Таку систему він уявляє з кількома властивостями. За чистим розумом вона розумніша за нобелівського лауреата в більшості важливих галузей — біології, програмуванні, математиці, інженерії, письменництві: може доводити нерозв’язані теореми, писати прекрасні романи, створювати складні програми з нуля. Крім того, що це «розумна штука, з якою говориш», у неї є всі інтерфейси людини, яка працює віддалено: текст, аудіо, відео, керування мишею і клавіатурою, доступ до інтернету. Вона може діяти в мережі, давати й отримувати вказівки, замовляти матеріали, ставити експерименти, дивитися й робити відео — і все це на рівні найкращих людей.

Вона не просто відповідає на запитання: їй можна дати завдання на години, дні чи тижні, і вона виконає його самостійно, як тямущий співробітник, уточнюючи по ходу. Власного тіла в неї немає, але вона керує інструментами, роботами, лабораторним обладнанням через комп’ютер — і в принципі може сама спроєктувати собі роботів. Ресурсів, якими навчали модель, вистачить, щоб запустити мільйони її копій (це відповідає очікуваним розмірам кластерів приблизно до 2027 року), і працює кожна копія у 10–100 разів швидше за людину. Кожна з мільйона копій може трудитися над своїм завданням або всі разом — як співпрацювали б люди, і частину копій можна донавчити під конкретні справи.

Це можна звести до образу «країни геніїв у дата-центрі».

Даріо Амодей

Дві крайності, обидві хибні

Зрозуміло, що така «країна геніїв» розв’язувала б дуже важкі задачі дуже швидко. Але наскільки швидко — питання непросте, і дві крайні позиції Амодей вважає хибними. Перша крайність: світ перетвориться миттєво, за секунди чи дні («сингулярність»), адже вищий розум будує сам себе й одразу розв’язує будь-яку задачу. Біда в тому, що є реальні фізичні й практичні межі — наприклад, на створення обладнання чи на біологічні досліди. Навіть країна геніїв у них упреться.

Інтелект може бути дуже сильним, але це не чарівний пилок фей.

Даріо Амодей

Друга крайність: прогрес і так уперся в стелю — обмежений даними чи суспільними чинниками, — і розум, вищий за людський, майже нічого не додасть. Це Амодей теж вважає неправдоподібним: він легко назве сотні наукових і навіть суспільних задач, де велика група справді розумних людей різко прискорила б справу, особливо якщо вони можуть не лише міркувати, а й діяти в реальному світі. Істина, найімовірніше, — заплутана суміш цих двох картин, своя для кожної задачі й галузі. Потрібні нові рамки, щоб думати про це по суті.

Примітка. Друга позиція здається «солом’яним опудалом», але, зауважує Амодей, вдумливі автори (він називає Тайлера Коуена й Метта Іглесіаса) всерйоз порушували цю тривогу, і він не вважає її божевільною.

Гранична віддача інтелекту і п’ять обмежувачів

Економісти говорять про «чинники виробництва» — працю, землю, капітал — і про те, що в кожній ситуації якийсь із чинників може бути вузьким місцем: військовій авіації потрібні і літаки, і пілоти, і зайві пілоти не допоможуть, якщо скінчилися літаки. Амодей пропонує в епоху ШІ говорити про граничну віддачу інтелекту й шукати, які чинники доповнюють інтелект і стають вузькими місцями, коли інтелекту дуже багато. Ми не звикли запитувати «наскільки бути розумнішим допомагає в цій задачі й за який строк?», але для світу з дуже потужним ШІ це і є правильне запитання.

Його перелік чинників, які обмежують і доповнюють інтелект, такий:

Ключова думкаЗ часом інтелект дедалі краще обходить ці чинники, навіть якщо вони не зникають до кінця, а деякі (закони фізики) абсолютні. Те, що в короткий строк — жорстке обмеження, у довгий може стати піддатливим: можна придумати дослід у пробірці замість досліду на тваринах, збудувати інструмент для збору нових даних, у рамках етики спростити систему клінічних випробувань. Головне питання — як швидко все це відбувається і в якому порядку.
Примітка. Ще один чинник: потужний ШІ може створювати ще потужніший ШІ. Амодей вважає, що так, імовірно, і буде, але ефект виявиться меншим, ніж здається, — саме через спадну граничну віддачу інтелекту. ШІ й далі швидко розумнішатиме, але його вплив зрештою впреться в неінтелектуальні чинники, і саме їх найважливіше аналізувати.

1

Біологія і здоров’я

Біологія — та галузь, де науковий прогрес найпряміше й без застережень поліпшує життя. У минулому столітті перемогли найдавніші хвороби на кшталт віспи, але багато чого лишилося. А поза лікуванням хвороб біологія може підняти й сам рівень здоров’я: подовжити здорове життя, дати більше свободи над власними біологічними процесами.

Головні перешкоди на шляху розуму в біологію — дані, швидкість фізичного світу й внутрішня складність (усі три пов’язані), а пізніше, на клінічних випробуваннях, додаються й людські обмеження. Досліди над клітинами й тваринами йдуть зі швидкістю світу: виростити культуру чи дочекатися реакції часом треба днями й тижнями, досліди на тваринах — місяцями, на людях — роками. З даними біда не стільки в кількості, скільки в якості: важко отримати ясні дані, які вичленовують потрібний ефект із тисяч сторонніх і напряму втручаються в процес. А внутрішня складність — це, наприклад, біохімія обміну речовин: у такій заплутаній системі майже неможливо виділити внесок однієї частини й точно на неї подіяти.

Через усе це біологи давно скептичні до «великих даних» у біології: математики й фізики, які прийшли в неї за тридцять років, досягли успіхів, але не тієї переворотної сили, на яку сподівалися. Звична формула: «ШІ краще проаналізує ваші дані, але не створить нових і не поліпшить їхньої якості — сміття на вході, сміття на виході».

Ключова думкаЦе, вважає Амодей, хибний погляд. Правильно думати про ШІ не як про спосіб аналізу даних, а як про «віртуального біолога», який робить усе, що роблять біологи: придумує і ставить досліди в реальному світі (керуючи лабораторними роботами або спрямовуючи людей, як науковий керівник — аспірантів), винаходить нові методи й способи вимірювання. Прискорюючи весь дослідницький процес, ШІ прискорює і біологію.

Звідки візьметься прискорення? Напрочуд велика частка прогресу в біології йде від крихітного числа відкриттів — зазвичай це широкі інструменти вимірювання або точного, програмованого втручання. Таких великих відкриттів приблизно по одному на рік, і разом вони дають, мабуть, більше половини всього прогресу. Приклади: CRISPR (редагування будь-якого гена в живому організмі); різні види мікроскопії; здешевлене на порядки читання й синтез геному; оптогенетика (нейрон змушують спрацювати, посвітивши на нього); мРНК-вакцини (у принципі — вакцина від чого завгодно); клітинна терапія на кшталт CAR-T (імунні клітини «перепрограмовують» на атаку); ідейні прориви на кшталт мікробної теорії хвороб чи зв’язку імунної системи й раку.

«Прогрес у науці залежить від нових методів, нових відкриттів і нових ідей — імовірно, саме в такому порядку».

Сідні Бреннер, якого цитує Амодей

Головне твердження Амодея: темп таких відкриттів можна підняти в десять і більше разів, якби дослідників було більше і якби вони були талановитіші. Тобто віддача інтелекту для цих відкриттів висока, а все інше в біології та медицині здебільшого випливає з них. Чому він так думає? По-перше, відкриття робить крихітне число людей, часто одні й ті самі, — отже, річ в умінні, а не у випадковому переборі. По-друге, їх часто «можна було зробити» на роки раніше: CRISPR як частину імунітету бактерій знали ще з 1980-х, але лише через двадцять п’ять років здогадалися пристосувати його для редагування генів. По-третє, успішні проєкти часто були скромними або й зовсім побічними, а не щедро профінансованими, — отже, вирішує винахідливість, а не концентрація ресурсів. І нарешті, багато відкриттів незалежні, а отже, над ними можна працювати разом, паралельно.

Ключова думкаЗвідси здогад Амодея: потужний ШІ здатен прискорити темп цих відкриттів щонайменше в десять разів — і дати нам наступні п’ятдесят-сто років біологічного прогресу за п’ять-десять років. Він називає це «стиснутим XXI століттям».
Примітка. Чому не в сто разів? Тут починають заважати ланцюгова залежність дослідів і їхня тривалість: отримати сто років прогресу за один рік означає зробити надто багато правильно з першого разу, включно з дослідами на тваринах і створенням обладнання. Амодей навіть припускає (хай і звучить дико) тисячу років прогресу за п’ять-десять років, але дуже сумнівається в ста роках за один: у дослідів є неусувна «затримка», яку доводиться повторювати певну неминучу кількість разів. Зате поверх цієї затримки можлива величезна паралельність.

А клінічні випробування? Так, у них багато бюрократії, але чимала частина повільності йде від того, що доводиться суворо перевіряти ліки, які ледве працюють: середній препарат від раку подовжує життя на лічені місяці з помітними побічними ефектами, а це потребує величезних досліджень заради статистичної переконливості. Коли засіб працює по-справжньому добре, все йде значно швидше: мРНК-вакцини від ковіду схвалили за дев’ять місяців. Такі строки (приблизно рік на препарат) разом із масовою паралельністю цілком сумісні з радикальним перетворенням за п’ять-десять років. Ба більше, ШІ може зменшити потребу в повторних випробуваннях, створивши точніші тваринні й клітинні моделі, — що особливо важливо для боротьби зі старінням, яка тягнеться десятиліттями. Варто відзначити й рідкісну удачу біомедицини: розробити ліки громіздко, але раз створені, вони зазвичай доходять до людей — на відміну від багатьох технологій, задушених суспільними чинниками.

Далі Амодей, обумовлюючи, що це не строга методика, а прикидка рівня радикальності, перелічує, чого можна чекати від «стиснутого XXI століття»:

Примітка. Амодей підкреслює, як зміниться світ, якщо все це збудеться років через сім-дванадцять. Він нагадує: тисячі економістів сперечаються, як утримати на плаву пенсійну систему й медицину для літніх. Якщо описане збудеться, їхнє становище різко поліпшиться — адже зміниться співвідношення тих, хто працює, і пенсіонерів. Йому казали, що надбавка річного зростання продуктивності навіть на пів відсотка була б для цих програм перетворювальною, — а тут виграш може бути значно більшим.

2

Нейронаука і розум

У першій сфері йшлося про тілесні хвороби. Але нейронаука — теж частина біології, а психічне здоров’я важливе не менше за тілесне, якщо не більше: сотні мільйонів людей живуть із низькою якістю життя через залежності, депресію, шизофренію, посттравматичний розлад та інше, а мільярди — з легшими версіями тих самих бід. І тут, окрім лікування хвороб, можна підняти сам базовий рівень людського самопочуття.

Та сама рамка, що в біології, діє й тут: поле рухають нечисленні відкриття, пов’язані з вимірюванням або точним втручанням (оптогенетика — з них). Тому й тут доречна формула «сто років прогресу за п’ять-десять років». Але є додаток: те, що ми нещодавно дізналися про сам ШІ, допоможе нейронауці. Приклад — інтерпретовність: хоча біологічні нейрони влаштовані інакше, ніж штучні, загальне питання «як навчені мережі простих одиниць спільно виконують важливі обчислення» — одне й те саме. Так, механізм, знайдений дослідниками всередині ШІ-систем, нещодавно було заново виявлено в мозку мишей. Ставити досліди над штучними мережами значно легше, ніж над живим мозком, і самі потужні ШІ, імовірно, застосують цей інструмент краще за людей.

Ба більше: засвоєне в ШІ про навчання має, на думку Амодея, перевернути нейронауку. Коли він працював у ній, багато хто вивчав, як він тепер вважає, не ті питання, бо ще не було ідеї масштабування, «гіркого уроку» — думки, що проста цільова функція плюс багато даних породжують неймовірно складну поведінку. Це зміщує інтерес до цільових функцій і будови мережі й від деталей окремих нейронів. Він підозрює, що обчислювальні нейробіологи цей урок ще не цілком засвоїли, і що ШІ-нейробіологи використовують цей кут зору ефективніше.

Амодей очікує прискорення нейронауки за чотирма напрямами одразу: звичайна молекулярна біологія, хімія і генетика (нові препарати, що змінюють роботу мозку); тонке вимірювання і втручання на рівні окремих нейронів і ланцюгів; просунута обчислювальна нейронаука; і поведінкові втручання — методи психіатрії та психології, плюс ідея «ШІ-наставника», який завжди допомагає стати кращою версією себе.

Його конкретні здогади про те, що станеться:

Примітка. Тему «завантаження свідомості» — перенесення будови мозку в програму — Амодей навмисно лишає осторонь. Він вважає її в принципі можливою, але на практиці такою, що впирається в такі технічні й суспільні труднощі, що у вікно п’яти-десяти років вона, найімовірніше, не потрапляє.

3

Економічний розвиток і бідність

Перші дві сфери — про створення технологій, що лікують хвороби. Але з гуманітарного погляду постає очевидне запитання: а чи буде до всього цього доступ у всіх? Одна річ — винайти ліки, інша — викорінити хворобу по всьому світу. Рівень життя в багатьох краях ще відчайдушно низький: валовий продукт на людину в Тропічній Африці — близько двох тисяч доларів, у США — близько сімдесяти п’яти тисяч. Якщо ШІ підніме багатий світ, а бідному майже не допоможе, це буде моральним провалом. В ідеалі потужний ШІ має допомогти бідному світу наздогнати багатий.

Тут Амодей упевнений менше, ніж у винайденні технологій. Техніка дає явно високу віддачу інтелекту, а от економіка повна людських обмежень і внутрішньої складності. Він сумнівається, що ШІ розв’язав би знамениту «задачу планового розрахунку», і не думає, що уряди віддадуть (або мають віддавати) йому економічну політику. Справу ускладнює й повсюдна корупція, яка годує бідність, а бідність — корупцію. І все ж є серйозні причини для оптимізму: хвороби викорінювали, країни переходили з бідних у багаті, а отже, віддача інтелекту в цих справах висока — ШІ, імовірно, зробить їх краще, ніж робиться зараз. А головне, пробувати ми зобов’язані: моральний обов’язок надто великий.

Примітка. Амодей підозрює, що плановий розрахунок — як хаотична система, з неусувною складністю, якою доводиться керувати здебільшого децентралізовано. Але економіст Ерік Бріньолфссон заперечив йому: великі компанії на кшталт Walmart чи Uber накопичують стільки централізованого знання про споживачів, що це може змусити переглянути давню думку Гаєка про те, у кого найкраще місцеве знання.

Його здогади про бідний світ на п’ять-десять років після потужного ШІ:

Загалом Амодей оптимістичний щодо швидкого перенесення медичних виграшів у бідний світ і сподівається, хоч не впевнений, що ШІ дасть йому змогу небачено зростати. Світ не стане ідеальним, і ті, хто відстав, не наздоженуть повністю. Але за сильних зусиль ми можемо зрушити все в правильний бік — і швидко.

4

Мир і урядування

Нехай навіть усе з перших трьох розділів вдасться — хвороби, бідність і нерівність відступлять. З цього не випливає, що всі головні джерела людського страждання розв’язано: люди, як і раніше, небезпечні одне для одного. Так, є слабкий тренд, що розвиток веде до демократії й миру, але тренд саме слабкий, із частими відкатами. На початку XX століття думали, що з війною покінчено, — а потім гримнули дві світові. Тридцять років тому писали про «кінець історії» і тріумф ліберальної демократії — не сталося. Двадцять років тому вірили, що вільна торгівля зробить Китай ліберальнішим, — вийшло навпаки.

Амодей чесний: він не бачить сильної причини, з якої ШІ структурно підтримав би демократію й мир, — на відміну від здоров’я і боротьби з бідністю. Конфлікт людей ворожий по суті, і ШІ в принципі допомагає і «добрим», і «поганим». Гірше того, деякі структурні чинники тривожні: ШІ, схоже, посилить пропаганду й стеження — головні інструменти автократа. Отже, схиляти шальку терезів доведеться нам самим: якщо ми хочемо, щоб ШІ служив демократії й правам людини, за це треба боротися.

Він ділить питання на дві частини. Зовнішня — міжнародний розклад. Дуже важливо, щоб на момент створення потужного ШІ перевага на світовій сцені була в демократій: ШІ-автократія надто страшна, щоб її допустити. Його нинішній здогад про найкращий шлях — «стратегія антанти»: коаліція демократій здобуває явну (хай і тимчасову) перевагу в потужному ШІ, забезпечивши ланцюг постачання, швидко нарощуючи потужності й затримуючи доступ суперників до чипів і обладнання. Ця коаліція однією рукою домагається військової переваги («батіг»), а другою — пропонує ділитися вигодами потужного ШІ з дедалі ширшим колом країн в обмін на підтримку («пряник»), на кшталт давньої програми «Атом заради миру». Так коло прихильників росте, а найгірші противники опиняються перед вибором: краще прийняти ту саму угоду, ніж битися із завідомо сильнішим. Якщо все вдасться, вийде світ, де демократії ведуть, — оптимістично кажучи, «вічний 1991 рік».

Внутрішня частина — боротьба демократії й автократії всередині країн. Тут Амодей навіть із певним оптимізмом: якщо найпотужніший ШІ в демократій, ШІ може структурно допомогти демократії всюди. Демократичні уряди зможуть виграти інформаційну війну — відбивати пропаганду автократій і створювати вільне інформаційне середовище, яке автократам технічно не перекрити. Причин кілька. По-перше, зростання якості життя з перших розділів саме по собі сприяє демократії: психічне здоров’я, добробут і освіта негативно пов’язані з підтримкою авторитарних вождів, а люди із задоволеними потребами хочуть більше самовираження. По-друге, вільна інформація справді підриває авторитаризм, якщо її не вдається цензурувати. Репресивні режими тримаються на тому, що позбавляють людей спільного знання — не дають зрозуміти, що «король-то голий». Надефективний ШІ-помічник у кишені в кожного, якого диктатори не можуть заблокувати, міг би стати вітром у спину незгодним по всьому світу.

Примітка. Амодей посилається на Срджу Поповича, який допомагав повалити режим Мілошевича в Сербії й описав прийоми, як психологічно позбавляти авторитарну владу сили, «зруйнувати чари» і згуртувати людей проти диктатора. ШІ-версія такого майстра, яку не можна заблокувати, була б грізним інструментом у руках реформаторів.

Як і в біології, можна запитати не лише «як уникнути автократії», а й «як зробити демократії кращими, ніж вони є». Навіть у демократіях постійно трапляються несправедливості. Чи може ШІ допомогти? Наприклад, зробити правосуддя безстороннішим. Сьогодні в суді бояться, що ШІ стане джерелом дискримінації, — і з цим треба боротися. Але століттями у права дилема: воно прагне безсторонності, а тлумачать його упереджені люди. Зробити право суто механічним не вдалося, бо світ надто складний для формул; тому використовують розпливчасті критерії на кшталт «жорстокого й незвичайного покарання», які люди тлумачать з ухилом і свавіллям. ШІ може виявитися досить розумним, щоб виносити широкі, «розмиті» судження повторювано й однаково, — він перша технологія, на це здатна.

Амодей не пропонує замінити суддів ШІ, але поєднання безсторонності з розумінням заплутаних реальних ситуацій має дати щось корисне для права — хоча б як допомогу людині в рішеннях. Тут важлива прозорість, і зріла наука про ШІ могла б її дати: процес навчання можна вивчати, а методами інтерпретовності — зазирати всередину моделі на приховані ухили так, як із людьми просто неможливо. Подібно ШІ міг би збирати думки громадян і шукати згоди, розв’язуючи конфлікти (перші кроки в цей бік робить «проєкт обчислювальної демократії», зокрема разом з Anthropic). І ШІ міг би допомагати отримувати державні послуги, які за законом належать усім, а насправді працюють погано: вдумливий ШІ, чия робота — дати вам усе, на що ви маєте право, і допомогти розібратися в заплутаних правилах, став би великою справою й зміцнив довіру до держави.

Усі ці думки — доволі розпливчасті, і в їхній здійсненності Амодей упевнений значно менше, ніж в успіхах біології й боротьби з бідністю. Вони можуть виявитися наївно утопічними. Але важливо мати сміливу, честолюбну мету — бачення ШІ як захисника свободи, прав особи й рівності перед законом надто сильне, щоб за нього не боротися.

5

Робота і сенс

Нехай навіть усе попереднє вдасться. Лишається питання: якщо ШІ робить усе, у чому люди знайдуть сенс? І як вони взагалі виживуть економічно? Це питання Амодей вважає важчим за інші — не обов’язково безнадійнішим, а саме розпливчастішим, адже воно про те, як влаштоване суспільство загалом, а це вирішується лише з часом і децентралізовано. Суспільства мисливців-збирачів могли б вважати наше сите життя без полювання безглуздим і не зрозуміти, як наша економіка всіх годує.

Про сенс. Помилково думати, ніби твоя справа безглузда лише тому, що ШІ зробив би її краще. Більшість людей ні в чому не найкращі у світі, і це їх не надто гнітить. Люди вповні насолоджуються заняттями без жодної економічної цінності. Сам Амодей грає у відеоігри, плаває, гуляє, спілкується з друзями — і йому байдуже, що хтось робить це краще. Сенс, вважає він, іде здебільшого від людських зв’язків, а не від оплачуваної праці. А відчуття досягнення й навіть змагання цілком можна отримувати, роками беручись за дуже важке завдання, — як сьогодні люди затівають дослідження, рвуться в актори чи засновують компанії.

Економічна частина здається йому важчою за частину про сенс. Ідеться про те, що більшість людей, можливо, не зможуть осмислено вкладатися в досить розвинену економіку з ШІ. У короткий строк, погоджується він, порівняльна перевага втримає людей у справі й навіть підвищить їхню продуктивність: поки ШІ кращий у 90 відсотках роботи, решта 10 роблять людей дуже затребуваними, і ці «10 відсотків» розростаються, даючи зайнятість майже всім. Найдовше відносну (а то й абсолютну) перевагу люди, імовірно, збережуть у фізичному світі.

Ключова думкаАле в довгий строк, думає Амодей, ШІ стане так широко ефективним і таким дешевим, що це правило перестане працювати. Тоді нинішній устрій економіки втратить сенс, і знадобиться широка суспільна розмова про те, як її влаштувати.

Звучить дико, але цивілізація вже проходила великі господарські зсуви: від збиральництва до землеробства, від землеробства до феодалізму, від феодалізму до індустрії. Потрібно, підозрює він, щось нове й дивніше, чого ніхто поки до пуття не уявив. Це може бути і великий безумовний дохід для всіх (але, думає він, лише як мала частина рішення), і «капіталістична економіка ШІ-систем», що роздають людям ресурси (пиріг-бо буде величезним) за якимсь вторинним рахунком того, що за людськими цінностями варто заохочувати. Усі такі рішення повні можливих бід, і зрозуміти, яке з них осмислене, не можна без довгих спроб; за добрий результат теж доведеться боротися, адже можливі й експлуататорські, антиутопічні повороти.

Підбиваючи підсумок

Світ, за який варто боротися

Амодей визнає: він не знає, чи реалістичний цей світ, і навіть якщо так — він не виникне без величезних зусиль і боротьби безлічі сміливих людей. Кожному (включно з ШІ-компаніями) доведеться зробити свою частину, щоб і запобігти ризикам, і повністю розкрити користь. Але це світ, за який варто боротися. Якщо все це справді станеться за п’ять-десять років — перемога над хворобами, зростання біологічної й розумової свободи, вихід мільярдів із бідності, відродження ліберальної демократії, — він підозрює, що спостерігати це буде потрясінням для всіх. Не стільки від особистої вигоди, скільки від видовища того, як давні ідеали разом утілюються на очах. Багатьох, думає він, це буквально зворушить до сліз.

У цьому баченні є дивна напруга. З одного боку, воно вкрай радикальне: майже ніхто не чекає такого в найближче десятиліття, багатьом воно здасться безглуздою фантазією. З другого — у ньому є щось до очевидності визначене наперед, ніби найрізноманітніші спроби уявити добрий світ неминуче ведуть приблизно сюди.

Примітка. Амодей порушує власне правило не згадувати фантастику й посилається на роман Ієна Бенкса «Гравець в ігри». Герой із суспільства під назвою Культура (з цінностями, близькими до описаних) приїжджає в жорстоку мілітаристську імперію, де владу визначає перемога у складній грі. Гра така глибока, що стратегія гравця відбиває його погляди на життя, — і герой перемагає імператора, показуючи, що цінності Культури виявляються виграшною стратегією навіть у грі, вигаданій суспільством безжальної конкуренції. Схожу думку — що конкуренція самопідривна й веде до суспільства співчуття і співпраці — висловлював у відомому есеї Скотт Александер.

Чому цінності Культури — виграшна стратегія? Тому, думає Амодей, що вони складаються з мільйона маленьких рішень, у кожного з яких ясна моральна сила і які тягнуть людей на один бік. Прості людські інтуїції — чесність, співпраця, допитливість, самостійність — важко оскаржити, і вони накопичуються так, як не вміють наші руйнівні пориви. Легко погодитися, що дітям не слід помирати від хвороб, якщо можна їх урятувати; звідси недалеко до думки, що це право в усіх дітей рівне, а звідти — до заклику об’єднатися й докласти розуму заради цього. Ці прості інтуїції, доведені до кінця, ведуть до верховенства права, демократії й цінностей Просвітництва. Туди людство, хай лише як статистична тенденція, і так уже рухалося; ШІ лише дає шанс дістатися швидше — зробити логіку різкішою, а мету — яснішою.

І все ж це щось позамежно прекрасне. Ми маємо можливість зіграти хай малу, але роль у тому, щоб зробити це дійсністю.

Даріо Амодей, завершальні рядки

Підсумки

Головні висновки

  1. Амодей свідомо малює світлий бік ШІ, не з наївності, а тому що вважає: мета, яка надихає, потрібна не менше, ніж захист від ризиків. Потрібна не лише пожежна команда — потрібно те, за що ми боремося.
  2. «Потужний ШІ» він уявляє як «країну геніїв у дата-центрі»: мільйони копій, кожна розумніша за нобелівського лауреата, що працюють у 10–100 разів швидше за людину і нарізно, і спільно.
  3. Інтелект — не всесильний. Його стримують п’ять чинників: швидкість фізичного світу, брак даних, внутрішня складність явищ, людські правила й закони фізики. З часом він їх обходить, але деякі нездоланні.
  4. У біології потужний ШІ — не аналізатор даних, а «віртуальний біолог». Прискоривши нечисленні ключові відкриття в десять із лишком разів, він здатен дати «стиснуте XXI століття»: п’ятдесят-сто років прогресу за п’ять-десять років — від перемоги над інфекціями й більшою частиною раку до подвоєння тривалості життя.
  5. Та сама рамка працює в нейронауці: імовірні лікування більшості психічних хвороб, їх генетична профілактика й підйом самого базового рівня людських переживань.
  6. В економічному розвитку Амодей упевнений менше: тут заважають людські обмеження й корупція. Але він оптимістичний щодо перенесення медичних виграшів у бідний світ і мріє про зростання до 20 відсотків на рік, підкреслюючи, що це потребує спільних зусиль, а не вийде само собою.
  7. У питаннях миру й урядування структурної гарантії немає: ШІ допомагає і демократіям, і автократіям, посилюючи пропаганду й стеження. Тому Амодей пропонує «стратегію антанти» коаліції демократій і бачить шанс, що ШІ допоможе виграти інформаційну війну й навіть зробити правосуддя безстороннішим.
  8. Про роботу й сенс: сенс іде від зв’язків, а не від оплачуваної праці; у короткий строк людей утримає порівняльна перевага, а в довгий устрій економіки доведеться перезібрати. Загальна думка есею: прості людські інтуїції ведуть до цінностей Просвітництва, і ШІ лише дає шанс дістатися туди швидше — за це й варто боротися.