Цей довгий есей у жовтні 2024 року написав Даріо Амодей — керівник компанії Anthropic, яка створює ШІ й багато займається його ризиками. Саме тому Амодея часто вважають «песимістом». Він заперечує: він думає про ризики якраз тому, що вони — єдине, що стоїть між нами й майбутнім, яке він вважає по суті прекрасним. На його думку, більшість людей недооцінюють, наскільки радикально добрими можуть бути наслідки сильного ШІ, — так само, як недооцінюють, наскільки поганими можуть бути ризики.
Есей — спроба намалювати цей світлий бік: яким може бути світ, якщо з ШІ все піде добре. Амодей свідомо уникає слова «AGI» і говорить про «потужний ШІ». Він уявляє його як «країну геніїв у дата-центрі»: мільйони копій системи, кожна розумніша за нобелівського лауреата, що працюють і нарізно, і разом. І ставить запитання: що така сила зробить із п’ятьма сферами, які найсильніше впливають на життя людей, — з біологією і здоров’ям, нейронаукою і психічним здоров’ям, економічним розвитком, миром і урядуванням, роботою і сенсом.
Головна думка щодо біології: потужний ШІ здатен «стиснути» прогрес, який людство пройшло б за п’ятдесят-сто років, до п’яти-десяти років. Але Амодей чесно обумовлює межі: інтелект — не всесильний, його стримують швидкість фізичного світу, брак даних, внутрішня складність явищ, людські правила й закони фізики. Для того, хто будує ринок ШІ-агентів, есей корисний саме цим розбором: що інтелект робить швидко, а де впирається в «інші чинники виробництва», які стають вузькими місцями, коли інтелекту раптом дуже багато.
Амодей починає з пояснення, чому він і Anthropic зазвичай говорять про ризики, а не про користь, — і чому так, імовірно, буде й далі. Причин чотири. Перша — важіль. Розвиток ШІ й більша частина його користі здаються майже неминучими: їх рухають потужні ринкові сили. А от ризики не визначені наперед, і наші дії сильно змінюють їхню ймовірність, — тому на ризики й варто витрачати сили. Друга — щоб не скидатися на пропаганду. Коли ШІ-компанія розписує дива ШІ, це відгонить рекламою власного товару, та й для душі шкідливо надто багато «нахвалювати свої акції». Третя — щоб не впасти в грандіозність. Амодею неприємна манера багатьох говорити про світ після ШІ так, ніби їхня місія — одноосібно привести до нього людство, немов пророк. Небезпечно вважати, що компанії самотужки ліплять світ, і небезпечно бачити в технічних цілях щось майже релігійне. Четверта — щоб позбутися «науково-фантастичного» нальоту. Радикальні картини майбутнього часто описують у дусі фантастики — із завантаженням свідомості, космосом, кіберпанком, — і це змушує ставитися до них несерйозно й протягує купу чужих культурних припущень.
І все ж, каже Амодей, важливо описати, яким може бути добрий світ із потужним ШІ. Потрібна не лише пожежна команда, а й мета, яка надихає. Багато що в наслідках ШІ — вороже й небезпечне, але наприкінці має бути щось, за що ми боремося, якийсь результат, де всім краще. Страх — теж рушій, але його замало: потрібна й надія. Перелік корисних застосувань ШІ дуже довгий — тут і робототехніка, і енергетика, і виробництво, — але Амодей обирає п’ять сфер, де користь для якості життя найпряміша: біологія і здоров’я; нейронаука і психічне здоров’я; економічний розвиток і бідність; мир і урядування; робота і сенс.
Щоб розмова була точнішою, Амодей визначає, що він розуміє під «потужним ШІ» (самого терміна «AGI» він не любить, вважаючи його розпливчастим і перевантаженим хайпом; йому ближче «потужний ШІ» або «експертний рівень у науці й техніці»). Таку систему він уявляє з кількома властивостями. За чистим розумом вона розумніша за нобелівського лауреата в більшості важливих галузей — біології, програмуванні, математиці, інженерії, письменництві: може доводити нерозв’язані теореми, писати прекрасні романи, створювати складні програми з нуля. Крім того, що це «розумна штука, з якою говориш», у неї є всі інтерфейси людини, яка працює віддалено: текст, аудіо, відео, керування мишею і клавіатурою, доступ до інтернету. Вона може діяти в мережі, давати й отримувати вказівки, замовляти матеріали, ставити експерименти, дивитися й робити відео — і все це на рівні найкращих людей.
Вона не просто відповідає на запитання: їй можна дати завдання на години, дні чи тижні, і вона виконає його самостійно, як тямущий співробітник, уточнюючи по ходу. Власного тіла в неї немає, але вона керує інструментами, роботами, лабораторним обладнанням через комп’ютер — і в принципі може сама спроєктувати собі роботів. Ресурсів, якими навчали модель, вистачить, щоб запустити мільйони її копій (це відповідає очікуваним розмірам кластерів приблизно до 2027 року), і працює кожна копія у 10–100 разів швидше за людину. Кожна з мільйона копій може трудитися над своїм завданням або всі разом — як співпрацювали б люди, і частину копій можна донавчити під конкретні справи.
Це можна звести до образу «країни геніїв у дата-центрі».
Даріо Амодей
Зрозуміло, що така «країна геніїв» розв’язувала б дуже важкі задачі дуже швидко. Але наскільки швидко — питання непросте, і дві крайні позиції Амодей вважає хибними. Перша крайність: світ перетвориться миттєво, за секунди чи дні («сингулярність»), адже вищий розум будує сам себе й одразу розв’язує будь-яку задачу. Біда в тому, що є реальні фізичні й практичні межі — наприклад, на створення обладнання чи на біологічні досліди. Навіть країна геніїв у них упреться.
Інтелект може бути дуже сильним, але це не чарівний пилок фей.
Даріо Амодей
Друга крайність: прогрес і так уперся в стелю — обмежений даними чи суспільними чинниками, — і розум, вищий за людський, майже нічого не додасть. Це Амодей теж вважає неправдоподібним: він легко назве сотні наукових і навіть суспільних задач, де велика група справді розумних людей різко прискорила б справу, особливо якщо вони можуть не лише міркувати, а й діяти в реальному світі. Істина, найімовірніше, — заплутана суміш цих двох картин, своя для кожної задачі й галузі. Потрібні нові рамки, щоб думати про це по суті.
Економісти говорять про «чинники виробництва» — працю, землю, капітал — і про те, що в кожній ситуації якийсь із чинників може бути вузьким місцем: військовій авіації потрібні і літаки, і пілоти, і зайві пілоти не допоможуть, якщо скінчилися літаки. Амодей пропонує в епоху ШІ говорити про граничну віддачу інтелекту й шукати, які чинники доповнюють інтелект і стають вузькими місцями, коли інтелекту дуже багато. Ми не звикли запитувати «наскільки бути розумнішим допомагає в цій задачі й за який строк?», але для світу з дуже потужним ШІ це і є правильне запитання.
Його перелік чинників, які обмежують і доповнюють інтелект, такий:
Біологія — та галузь, де науковий прогрес найпряміше й без застережень поліпшує життя. У минулому столітті перемогли найдавніші хвороби на кшталт віспи, але багато чого лишилося. А поза лікуванням хвороб біологія може підняти й сам рівень здоров’я: подовжити здорове життя, дати більше свободи над власними біологічними процесами.
Головні перешкоди на шляху розуму в біологію — дані, швидкість фізичного світу й внутрішня складність (усі три пов’язані), а пізніше, на клінічних випробуваннях, додаються й людські обмеження. Досліди над клітинами й тваринами йдуть зі швидкістю світу: виростити культуру чи дочекатися реакції часом треба днями й тижнями, досліди на тваринах — місяцями, на людях — роками. З даними біда не стільки в кількості, скільки в якості: важко отримати ясні дані, які вичленовують потрібний ефект із тисяч сторонніх і напряму втручаються в процес. А внутрішня складність — це, наприклад, біохімія обміну речовин: у такій заплутаній системі майже неможливо виділити внесок однієї частини й точно на неї подіяти.
Через усе це біологи давно скептичні до «великих даних» у біології: математики й фізики, які прийшли в неї за тридцять років, досягли успіхів, але не тієї переворотної сили, на яку сподівалися. Звична формула: «ШІ краще проаналізує ваші дані, але не створить нових і не поліпшить їхньої якості — сміття на вході, сміття на виході».
Звідки візьметься прискорення? Напрочуд велика частка прогресу в біології йде від крихітного числа відкриттів — зазвичай це широкі інструменти вимірювання або точного, програмованого втручання. Таких великих відкриттів приблизно по одному на рік, і разом вони дають, мабуть, більше половини всього прогресу. Приклади: CRISPR (редагування будь-якого гена в живому організмі); різні види мікроскопії; здешевлене на порядки читання й синтез геному; оптогенетика (нейрон змушують спрацювати, посвітивши на нього); мРНК-вакцини (у принципі — вакцина від чого завгодно); клітинна терапія на кшталт CAR-T (імунні клітини «перепрограмовують» на атаку); ідейні прориви на кшталт мікробної теорії хвороб чи зв’язку імунної системи й раку.
«Прогрес у науці залежить від нових методів, нових відкриттів і нових ідей — імовірно, саме в такому порядку».
Сідні Бреннер, якого цитує Амодей
Головне твердження Амодея: темп таких відкриттів можна підняти в десять і більше разів, якби дослідників було більше і якби вони були талановитіші. Тобто віддача інтелекту для цих відкриттів висока, а все інше в біології та медицині здебільшого випливає з них. Чому він так думає? По-перше, відкриття робить крихітне число людей, часто одні й ті самі, — отже, річ в умінні, а не у випадковому переборі. По-друге, їх часто «можна було зробити» на роки раніше: CRISPR як частину імунітету бактерій знали ще з 1980-х, але лише через двадцять п’ять років здогадалися пристосувати його для редагування генів. По-третє, успішні проєкти часто були скромними або й зовсім побічними, а не щедро профінансованими, — отже, вирішує винахідливість, а не концентрація ресурсів. І нарешті, багато відкриттів незалежні, а отже, над ними можна працювати разом, паралельно.
А клінічні випробування? Так, у них багато бюрократії, але чимала частина повільності йде від того, що доводиться суворо перевіряти ліки, які ледве працюють: середній препарат від раку подовжує життя на лічені місяці з помітними побічними ефектами, а це потребує величезних досліджень заради статистичної переконливості. Коли засіб працює по-справжньому добре, все йде значно швидше: мРНК-вакцини від ковіду схвалили за дев’ять місяців. Такі строки (приблизно рік на препарат) разом із масовою паралельністю цілком сумісні з радикальним перетворенням за п’ять-десять років. Ба більше, ШІ може зменшити потребу в повторних випробуваннях, створивши точніші тваринні й клітинні моделі, — що особливо важливо для боротьби зі старінням, яка тягнеться десятиліттями. Варто відзначити й рідкісну удачу біомедицини: розробити ліки громіздко, але раз створені, вони зазвичай доходять до людей — на відміну від багатьох технологій, задушених суспільними чинниками.
Далі Амодей, обумовлюючи, що це не строга методика, а прикидка рівня радикальності, перелічує, чого можна чекати від «стиснутого XXI століття»:
У першій сфері йшлося про тілесні хвороби. Але нейронаука — теж частина біології, а психічне здоров’я важливе не менше за тілесне, якщо не більше: сотні мільйонів людей живуть із низькою якістю життя через залежності, депресію, шизофренію, посттравматичний розлад та інше, а мільярди — з легшими версіями тих самих бід. І тут, окрім лікування хвороб, можна підняти сам базовий рівень людського самопочуття.
Та сама рамка, що в біології, діє й тут: поле рухають нечисленні відкриття, пов’язані з вимірюванням або точним втручанням (оптогенетика — з них). Тому й тут доречна формула «сто років прогресу за п’ять-десять років». Але є додаток: те, що ми нещодавно дізналися про сам ШІ, допоможе нейронауці. Приклад — інтерпретовність: хоча біологічні нейрони влаштовані інакше, ніж штучні, загальне питання «як навчені мережі простих одиниць спільно виконують важливі обчислення» — одне й те саме. Так, механізм, знайдений дослідниками всередині ШІ-систем, нещодавно було заново виявлено в мозку мишей. Ставити досліди над штучними мережами значно легше, ніж над живим мозком, і самі потужні ШІ, імовірно, застосують цей інструмент краще за людей.
Ба більше: засвоєне в ШІ про навчання має, на думку Амодея, перевернути нейронауку. Коли він працював у ній, багато хто вивчав, як він тепер вважає, не ті питання, бо ще не було ідеї масштабування, «гіркого уроку» — думки, що проста цільова функція плюс багато даних породжують неймовірно складну поведінку. Це зміщує інтерес до цільових функцій і будови мережі й від деталей окремих нейронів. Він підозрює, що обчислювальні нейробіологи цей урок ще не цілком засвоїли, і що ШІ-нейробіологи використовують цей кут зору ефективніше.
Амодей очікує прискорення нейронауки за чотирма напрямами одразу: звичайна молекулярна біологія, хімія і генетика (нові препарати, що змінюють роботу мозку); тонке вимірювання і втручання на рівні окремих нейронів і ланцюгів; просунута обчислювальна нейронаука; і поведінкові втручання — методи психіатрії та психології, плюс ідея «ШІ-наставника», який завжди допомагає стати кращою версією себе.
Його конкретні здогади про те, що станеться:
Перші дві сфери — про створення технологій, що лікують хвороби. Але з гуманітарного погляду постає очевидне запитання: а чи буде до всього цього доступ у всіх? Одна річ — винайти ліки, інша — викорінити хворобу по всьому світу. Рівень життя в багатьох краях ще відчайдушно низький: валовий продукт на людину в Тропічній Африці — близько двох тисяч доларів, у США — близько сімдесяти п’яти тисяч. Якщо ШІ підніме багатий світ, а бідному майже не допоможе, це буде моральним провалом. В ідеалі потужний ШІ має допомогти бідному світу наздогнати багатий.
Тут Амодей упевнений менше, ніж у винайденні технологій. Техніка дає явно високу віддачу інтелекту, а от економіка повна людських обмежень і внутрішньої складності. Він сумнівається, що ШІ розв’язав би знамениту «задачу планового розрахунку», і не думає, що уряди віддадуть (або мають віддавати) йому економічну політику. Справу ускладнює й повсюдна корупція, яка годує бідність, а бідність — корупцію. І все ж є серйозні причини для оптимізму: хвороби викорінювали, країни переходили з бідних у багаті, а отже, віддача інтелекту в цих справах висока — ШІ, імовірно, зробить їх краще, ніж робиться зараз. А головне, пробувати ми зобов’язані: моральний обов’язок надто великий.
Його здогади про бідний світ на п’ять-десять років після потужного ШІ:
Загалом Амодей оптимістичний щодо швидкого перенесення медичних виграшів у бідний світ і сподівається, хоч не впевнений, що ШІ дасть йому змогу небачено зростати. Світ не стане ідеальним, і ті, хто відстав, не наздоженуть повністю. Але за сильних зусиль ми можемо зрушити все в правильний бік — і швидко.
Нехай навіть усе з перших трьох розділів вдасться — хвороби, бідність і нерівність відступлять. З цього не випливає, що всі головні джерела людського страждання розв’язано: люди, як і раніше, небезпечні одне для одного. Так, є слабкий тренд, що розвиток веде до демократії й миру, але тренд саме слабкий, із частими відкатами. На початку XX століття думали, що з війною покінчено, — а потім гримнули дві світові. Тридцять років тому писали про «кінець історії» і тріумф ліберальної демократії — не сталося. Двадцять років тому вірили, що вільна торгівля зробить Китай ліберальнішим, — вийшло навпаки.
Амодей чесний: він не бачить сильної причини, з якої ШІ структурно підтримав би демократію й мир, — на відміну від здоров’я і боротьби з бідністю. Конфлікт людей ворожий по суті, і ШІ в принципі допомагає і «добрим», і «поганим». Гірше того, деякі структурні чинники тривожні: ШІ, схоже, посилить пропаганду й стеження — головні інструменти автократа. Отже, схиляти шальку терезів доведеться нам самим: якщо ми хочемо, щоб ШІ служив демократії й правам людини, за це треба боротися.
Він ділить питання на дві частини. Зовнішня — міжнародний розклад. Дуже важливо, щоб на момент створення потужного ШІ перевага на світовій сцені була в демократій: ШІ-автократія надто страшна, щоб її допустити. Його нинішній здогад про найкращий шлях — «стратегія антанти»: коаліція демократій здобуває явну (хай і тимчасову) перевагу в потужному ШІ, забезпечивши ланцюг постачання, швидко нарощуючи потужності й затримуючи доступ суперників до чипів і обладнання. Ця коаліція однією рукою домагається військової переваги («батіг»), а другою — пропонує ділитися вигодами потужного ШІ з дедалі ширшим колом країн в обмін на підтримку («пряник»), на кшталт давньої програми «Атом заради миру». Так коло прихильників росте, а найгірші противники опиняються перед вибором: краще прийняти ту саму угоду, ніж битися із завідомо сильнішим. Якщо все вдасться, вийде світ, де демократії ведуть, — оптимістично кажучи, «вічний 1991 рік».
Внутрішня частина — боротьба демократії й автократії всередині країн. Тут Амодей навіть із певним оптимізмом: якщо найпотужніший ШІ в демократій, ШІ може структурно допомогти демократії всюди. Демократичні уряди зможуть виграти інформаційну війну — відбивати пропаганду автократій і створювати вільне інформаційне середовище, яке автократам технічно не перекрити. Причин кілька. По-перше, зростання якості життя з перших розділів саме по собі сприяє демократії: психічне здоров’я, добробут і освіта негативно пов’язані з підтримкою авторитарних вождів, а люди із задоволеними потребами хочуть більше самовираження. По-друге, вільна інформація справді підриває авторитаризм, якщо її не вдається цензурувати. Репресивні режими тримаються на тому, що позбавляють людей спільного знання — не дають зрозуміти, що «король-то голий». Надефективний ШІ-помічник у кишені в кожного, якого диктатори не можуть заблокувати, міг би стати вітром у спину незгодним по всьому світу.
Як і в біології, можна запитати не лише «як уникнути автократії», а й «як зробити демократії кращими, ніж вони є». Навіть у демократіях постійно трапляються несправедливості. Чи може ШІ допомогти? Наприклад, зробити правосуддя безстороннішим. Сьогодні в суді бояться, що ШІ стане джерелом дискримінації, — і з цим треба боротися. Але століттями у права дилема: воно прагне безсторонності, а тлумачать його упереджені люди. Зробити право суто механічним не вдалося, бо світ надто складний для формул; тому використовують розпливчасті критерії на кшталт «жорстокого й незвичайного покарання», які люди тлумачать з ухилом і свавіллям. ШІ може виявитися досить розумним, щоб виносити широкі, «розмиті» судження повторювано й однаково, — він перша технологія, на це здатна.
Амодей не пропонує замінити суддів ШІ, але поєднання безсторонності з розумінням заплутаних реальних ситуацій має дати щось корисне для права — хоча б як допомогу людині в рішеннях. Тут важлива прозорість, і зріла наука про ШІ могла б її дати: процес навчання можна вивчати, а методами інтерпретовності — зазирати всередину моделі на приховані ухили так, як із людьми просто неможливо. Подібно ШІ міг би збирати думки громадян і шукати згоди, розв’язуючи конфлікти (перші кроки в цей бік робить «проєкт обчислювальної демократії», зокрема разом з Anthropic). І ШІ міг би допомагати отримувати державні послуги, які за законом належать усім, а насправді працюють погано: вдумливий ШІ, чия робота — дати вам усе, на що ви маєте право, і допомогти розібратися в заплутаних правилах, став би великою справою й зміцнив довіру до держави.
Усі ці думки — доволі розпливчасті, і в їхній здійсненності Амодей упевнений значно менше, ніж в успіхах біології й боротьби з бідністю. Вони можуть виявитися наївно утопічними. Але важливо мати сміливу, честолюбну мету — бачення ШІ як захисника свободи, прав особи й рівності перед законом надто сильне, щоб за нього не боротися.
Нехай навіть усе попереднє вдасться. Лишається питання: якщо ШІ робить усе, у чому люди знайдуть сенс? І як вони взагалі виживуть економічно? Це питання Амодей вважає важчим за інші — не обов’язково безнадійнішим, а саме розпливчастішим, адже воно про те, як влаштоване суспільство загалом, а це вирішується лише з часом і децентралізовано. Суспільства мисливців-збирачів могли б вважати наше сите життя без полювання безглуздим і не зрозуміти, як наша економіка всіх годує.
Про сенс. Помилково думати, ніби твоя справа безглузда лише тому, що ШІ зробив би її краще. Більшість людей ні в чому не найкращі у світі, і це їх не надто гнітить. Люди вповні насолоджуються заняттями без жодної економічної цінності. Сам Амодей грає у відеоігри, плаває, гуляє, спілкується з друзями — і йому байдуже, що хтось робить це краще. Сенс, вважає він, іде здебільшого від людських зв’язків, а не від оплачуваної праці. А відчуття досягнення й навіть змагання цілком можна отримувати, роками беручись за дуже важке завдання, — як сьогодні люди затівають дослідження, рвуться в актори чи засновують компанії.
Економічна частина здається йому важчою за частину про сенс. Ідеться про те, що більшість людей, можливо, не зможуть осмислено вкладатися в досить розвинену економіку з ШІ. У короткий строк, погоджується він, порівняльна перевага втримає людей у справі й навіть підвищить їхню продуктивність: поки ШІ кращий у 90 відсотках роботи, решта 10 роблять людей дуже затребуваними, і ці «10 відсотків» розростаються, даючи зайнятість майже всім. Найдовше відносну (а то й абсолютну) перевагу люди, імовірно, збережуть у фізичному світі.
Звучить дико, але цивілізація вже проходила великі господарські зсуви: від збиральництва до землеробства, від землеробства до феодалізму, від феодалізму до індустрії. Потрібно, підозрює він, щось нове й дивніше, чого ніхто поки до пуття не уявив. Це може бути і великий безумовний дохід для всіх (але, думає він, лише як мала частина рішення), і «капіталістична економіка ШІ-систем», що роздають людям ресурси (пиріг-бо буде величезним) за якимсь вторинним рахунком того, що за людськими цінностями варто заохочувати. Усі такі рішення повні можливих бід, і зрозуміти, яке з них осмислене, не можна без довгих спроб; за добрий результат теж доведеться боротися, адже можливі й експлуататорські, антиутопічні повороти.
Амодей визнає: він не знає, чи реалістичний цей світ, і навіть якщо так — він не виникне без величезних зусиль і боротьби безлічі сміливих людей. Кожному (включно з ШІ-компаніями) доведеться зробити свою частину, щоб і запобігти ризикам, і повністю розкрити користь. Але це світ, за який варто боротися. Якщо все це справді станеться за п’ять-десять років — перемога над хворобами, зростання біологічної й розумової свободи, вихід мільярдів із бідності, відродження ліберальної демократії, — він підозрює, що спостерігати це буде потрясінням для всіх. Не стільки від особистої вигоди, скільки від видовища того, як давні ідеали разом утілюються на очах. Багатьох, думає він, це буквально зворушить до сліз.
У цьому баченні є дивна напруга. З одного боку, воно вкрай радикальне: майже ніхто не чекає такого в найближче десятиліття, багатьом воно здасться безглуздою фантазією. З другого — у ньому є щось до очевидності визначене наперед, ніби найрізноманітніші спроби уявити добрий світ неминуче ведуть приблизно сюди.
Чому цінності Культури — виграшна стратегія? Тому, думає Амодей, що вони складаються з мільйона маленьких рішень, у кожного з яких ясна моральна сила і які тягнуть людей на один бік. Прості людські інтуїції — чесність, співпраця, допитливість, самостійність — важко оскаржити, і вони накопичуються так, як не вміють наші руйнівні пориви. Легко погодитися, що дітям не слід помирати від хвороб, якщо можна їх урятувати; звідси недалеко до думки, що це право в усіх дітей рівне, а звідти — до заклику об’єднатися й докласти розуму заради цього. Ці прості інтуїції, доведені до кінця, ведуть до верховенства права, демократії й цінностей Просвітництва. Туди людство, хай лише як статистична тенденція, і так уже рухалося; ШІ лише дає шанс дістатися швидше — зробити логіку різкішою, а мету — яснішою.
І все ж це щось позамежно прекрасне. Ми маємо можливість зіграти хай малу, але роль у тому, щоб зробити це дійсністю.
Даріо Амодей, завершальні рядки