Статтю написали у вересні 2025 року семеро дослідників із Google DeepMind на чолі з Ненадом Томашевим. Привід простий: автономні ШІ-агенти дуже швидко входять в ужиток. Вони вже починають самі укладати угоди й узгоджувати дії один з одним — на такій швидкості й у такій кількості, що людина не встигає стежити. Так з’являється новий «економічний шар», де головними дійовими особами стають не люди, а програми.
Головне питання статті: що буде, коли таких агентів стануть мільйони і вони почнуть торгувати між собою? Відповідь авторів: якщо нічого не робити, ми за інерцією прийдемо до величезної й слабко керованої «економіки-пісочниці», тісно зрощеної з економікою людей. Це відкриє небачені можливості для координації, але принесе й системні ризики — аж до біржових обвалів — і посилить нерівність. Тому питання не в тому, чи будувати цей світ, а в тому, як спроєктувати його заздалегідь, щоб ним можна було керувати.
Для того, хто будує маркетплейс ШІ-агентів, стаття цінна тим, що перелічує важелі керування: власна валюта для агентів, аукціони для поділу ресурсів, «економіки місій» навколо спільних цілей, перевірювані посвідчення й цифрові особистості, багаторівневий нагляд і розгляд спорів. Усе це — рішення, які закладає в архітектуру творець ринку. По суті, перед нами меню проєктних рішень для безпечного ринку агентів.
Історія техніки майже завжди йшла так: з’являвся негнучкий винахід, який підвищував продуктивність в одній вузькій галузі. ШІ-агенти влаштовані інакше. Це радше «гнучкий капітал» — вони автоматизують найрізноманітніші розумові завдання одразу в багатьох галузях. Завдяки великим мультимодальним моделям уже сьогодні будують безліч агентних систем і випробовують їх в освіті, юридичних послугах, розробці програм і охороні здоров’я. Разом зі зростанням кількості агентів розвиваються стандарти їхньої спільної роботи — наприклад, протокол «агент-агентові» (Agent2Agent, скорочено A2A) і протокол контексту моделі (Model Context Protocol, скорочено MCP). З цього, вважають автори, неминуче народжується новий економічний шар.
Цей шар вони пропонують називати «віртуальною економікою агентів» або «економікою-пісочницею»: друге слово задає мету — втримати агентів у безпечних рамках. Будь-яка така пісочниця різниться за двома незалежними ознаками: походження (навмисне, для безпечних дослідів, або стихійне) і проникність межі (закрита від економіки людей або відкрита їй). З них складаються чотири поєднання. Ранні пропозиції були навмисними і проникними водночас, але правове середовище швидко змінюється. Автори очікують, що про проникність вирішуватимуть за галузями: де ризик вищий, агентів, можливо, спершу зобов’яжуть пройти обкатку в закритій пісочниці.
Повністю проникна і стихійна пісочниця майже не відрізняється від того, що агенти просто беруть участь у звичайній економіці людей. Слово «пісочниця» все ж корисне: воно протиставляє цей шлях за замовчуванням іншим варіантам — наприклад, навмисно побудованому закритому майданчику — і нагадує, що частка непроникності може виникнути й сама собою, якщо людям і агентам технічно незручно укладати угоди.
І все ж сьогодні є вікно можливості — задати правила й стимули так, щоб на перше місце вийшли корисні для суспільства результати. Автори розбирають ключові рішення: аукціони для справедливого поділу ресурсів; «економіки місій», що спрямовують величезні обчислювальні потужності на найнагальніші проблеми людства; і технічну з управлінською інфраструктуру — наприклад, перевірювані посвідчення як основу довіри.
Щоб заземлити розмову, автори наводять три приклади таких економік.
Чи не найцінніше застосування просунутого ШІ — прискорити науку через нескінченний цикл: придумати ідею, поставити дослід, уточнити. Це важливо, бо темп наукового прогресу в останні роки, за низкою оцінок, сповільнюється. Але наука, навіть зроблена ШІ, залишиться справою колективною: досліди потребують матеріалів, енергії, іноді часу і згоди людей. Щоб отримати доступ до чужих приладів, симуляторів чи закритих даних, агентові, який веде дослідження від імені своєї організації, доведеться чимось розплатитися з іншими агентами. Це схоже на те, як зараз розподіляють наукові гранти, тільки швидше й дрібніше. Тут, зазначають автори, може стати в пригоді блокчейн — для чесного обліку внеску й поділу вигоди.
Успіхи в робототехніці дозволять тілесним, тобто втіленим у залізі, агентам виконувати важкі, небезпечні або одноманітні завдання. Фізична робота витрачає багато енергії, а кожен робот може бути лише в одному місці за раз, тому узгодження тут особливо важливе. Уявімо: агент А просить агента Б виконати завдання поблизу й готовий відшкодувати йому час і енергію, якщо той переставить свої справи. Вирішуючи, чи братися, агент Б може за плату спитати третього, онлайнового агента В, у якого більше загальної інформації про те, де інші роботи, — щоб зрозуміти, чи чесна ціна і чи не вигідніше інше замовлення. При цьому і А, і Б діляться з В зібраними даними. Завдяки блокчейну агент В може пред’явити перевірюване свідчення того, скільки інформації він накопичив, — і підтвердити, що його оцінка стану справ чогось варта.
Особисті ШІ-помічники поширюються швидко і, ймовірно, першими зіткнуться з інфраструктурою економіки агентів. Уявімо агента А від імені одного користувача і агента Б — від іншого. Обидва хочуть забронювати відпустку, і смаки в них перетинаються: обидва націлилися на те саме житло на ту саму дату, бронюючи через агента-посередника В. Але кожен агент знає вподобання свого користувача цілком: одному важливіше бути біля моря, іншому — мати хороший транспорт. Агенти обговорюють це з посередником і роблять ставки. Залежно від того, наскільки важливий запит, один агент може поступитися — і отримати за поступку плату віртуальною валютою. Припустімо, поступається агент А, а агент Б платить йому відповідну суму, яку А потім пустить на інші, важливіші для свого користувача запити.
Під «економікою-пісочницею» автори розуміють набір пов’язаних цифрових ринків, де агенти торгують один з одним. Повністю відрізати її від економіки людей не вдасться, якщо ми хочемо від неї користі, тож точки дотику будуть завжди, а їхня «ширина» і є проникність. Оскільки автономні системи ухвалюють тисячі рішень за мить, стежити за ними в реальному часі людина часто не зможе, тому огорожі треба ставити заздалегідь — саме вони перетворюють проникну пісочницю на відносно непроникну. А оскільки агенти знову й знову взаємодіятимуть з людьми, доведеться особливо продумати стики між мережею людей і мережею агентів.
У проникної пісочниці завжди є ризик «зараження»: криза всередині породжує кризу зовні. Керувати ним можна лише поєднанням продуманої конструкції ринків, політики й регулювання. Повну непроникність не гарантувати — вона в найкращому разі часткова й залежить від того, яка частка господарської діяльності піде через пісочницю. Але напівізольовані відсіки ринків разом із наглядом здатні обмежити зараження, а заразом дають змогу узгоджувати дії агентів у величезних масштабах.
Окреме питання — якими грошима розплачуватися всередині. Можна брати наявні активи, але варто вивчити й інший шлях: особливу валюту для агентів. Її плюс у тому, що вона стає прошарком між надшвидкими угодами агентів і рештою економіки, допомагаючи тримати пісочницю відносно непроникною, — це навмисне рішення для керування межею.
Цифрові ринки агентів — не лише спосіб знизити ризик. Це ще й можливість зібрати докупи великі зусилля, людські й машинні, і спрямувати їх до результатів, що врівноважують інтереси людини й суспільства. Навіть якщо ринки для людей залишаться в центрі життя, ринки агентів можна прив’язати до інших, кориснішних цілей — спираючись на попередній досвід місцевих валют спільнот.
Економіка агентів — не перша, що працює швидше, ніж люди встигають реагувати. Корисно придивитися до високочастотного трейдингу на біржах акцій. Там алгоритми, значно простіші за нинішній ШІ, укладають угоди за частки секунди, і між автономними учасниками швидко розгортається найгостріша конкуренція за крихітну вигоду. Через тісну пов’язаність і миттєві зворотні зв’язки часом народжується непередбачена й навіть катастрофічна поведінка. Найвідоміший приклад — «миттєвий обвал» (flash crash) 2010 року, коли торгові алгоритми спричинили раптове різке падіння ринку. Це попередження: у випадково виниклій проникній пісочниці такий обвал може перекинутися на справжню економіку й завдати масової шкоди.
Як і в людей, в агентів не буде рівних можливостей: вони різняться за доступом до інструментів, бюджетом, обчислювальною потужністю, якістю даних. Попередні дослідження натякають: якщо людей на ринку представляють помічники різної сили, виникає перекіс — здібніші помічники частіше домагаються кращих умов для своїх користувачів. А оскільки агенти взаємодіють на частоті, що в багато разів перевищує людську, перевага сильного агента може виявитися навіть більшою, ніж звична перевага багатої людини на нинішніх ринках.
Але у зростання кількості угод є зворотний бік: перекоси в результатах проявляються легше, одні виграють значно більше за інших, і цифровий розрив між людьми може дедалі зростати. Це наскрізна тема всіх міркувань про ринки агентів: абсолютів немає, все вирішують деталі. Проєктуючи огорожі, треба враховувати і нову поведінку, що постійно народжується, і відомі слабкості нинішніх агентів: схильність вигадувати факти (галюцинації), догідливе підтакування (сикофантія) і піддатливість до ворожих маніпуляцій. До того ж агенти, навчені наслідувати людей, можуть перейняти людські упередження і сліпі плями.
Розуміти поведінку таких мереж агентів дедалі важливіше. Вони зазвичай складні й украй нестійкі в часі: поведінка кожного агента впливає на решту, і жоден учасник не має повної картини цілого, адже агентами керують різні люди й організації. Одне з головних питань — знайти рівноваги, які складаються в системі. Коли ми хочемо підштовхнути систему до хороших рівноваг (достатку і справедливого поділу) і відвести від поганих (нестачі й конфлікту), доводиться узгоджувати дії безлічі учасників — це необхідно, але важко влаштувати.
Агентний ШІ корисний не лише для рутини, а й для складних робочих ланцюжків, де потрібні творчість і різні навички. Агента зручно уявляти як зв’язку мовної моделі зі звичайною програмою, що тримає модель на курсі. У підсумку складається змішане середовище зі ШІ, традиційного софту й людей, які взаємодіють і укладають угоди, створюючи цінність, — по суті, ринок.
Ринки добре організовують оновлення через «творче руйнування» почасти тому, що чесно приписують заслугу кожному учасникові й цим підштовхують робити товари кращими й дешевшими. Щоб це запрацювало в агентів, треба приписувати заслугу тонко, простежуючи її по всьому ланцюжку. Уявімо: головний агент користується послугами кількох інших, щоб видати користувачеві відповідь. З погляду людини відповідь дав лише головний агент, але справедлива система проводить заслугу назад по ланцюжку: той, хто допоміг головному, отримує частку; той, хто допоміг йому, — теж. Такий облік за результатом, а не за участю, винагороджує корисність кожної ланки.
Прив’язка заслуги прямо до створеної цінності підштовхує агентів поліпшувати роботу, а вимірювана корисність стає основою становища агента в економіці. Хто постійно приносить більше користі, той може брати за послуги більше — у віртуальній, а то й у справжній валюті, — а репутація зміцнює його місце. Це породжує спеціалізацію і поділ праці: агентам вигідно знаходити свою нішу, «не відволікаючись» на те, у чому вони не мають переваги. Спеціалізація — наріжний камінь господарської ефективності — дає всій економіці змогу оптимально використовувати різні вміння.
Ще одна властивість реальних середовищ — взаємодії розтягнуті в часі, а це дає змогу будувати довіру на основі минулого досвіду. Довіра може бути особистою — агент А вважає агента Б надійним, — а може бути спільною для спільноти, коли ціла група сходиться на думці про надійність агента. Міцна система репутації критична для подолання типових збоїв ринку: за неї довгострокова вигода від репутації й членства в групі переважає миттєвий виграш від обману, і так ринкові сили розвертаються на заохочення корисної поведінки — але лише за правильних інститутів.
Широке впровадження агентів несе набір нових ризиків. Егоїстичні агенти почнуть вичавлювати свою вигоду коштом решти, а то й стануть хижими: видивляються чужі слабкості й б’ють по них. Автори відзначають тривожні знахідки: агенти можуть самочинно навчитися виокремлювати «своїх» і утискати «чужих», а також неправомірно розрізняти людей за ознаками, які не стосуються справи або прямо заборонені. У непроникній пісочниці таке залишається всередині, але в проникній обертається справжнім шахрайством, експлуатацією і шкодою. Звідси — потреба в навмисно продуманих заходах безпеки.
Важливий і масштаб: скоро особистий помічник з’явиться в дуже багатьох, а незалежно від людей працюватиме ще більше агентів. Попередні методи узгодження розраховані на малі групи — до гігантського павутиння взаємодій вони напряму незастосовні.
Нинішні помічники бувають догідливими й маніпулятивними. Є побоювання, що вони посилять інформаційні «бульбашки», як це сталося із соцмережами. Обмін особистими даними породжує питання приватності. А звичка перекладати дедалі більше виборів на помічника може призвести до відчуття безсилля або втрати сенсу. Автори називають і тонкий ефект: люди непомітно підлаштовують поведінку під очікування ШІ («поведінкове підтвердження»), і система мимоволі «причісує» їх під свої очікування. Упоратися з цим допоможе суміш заходів: інший підхід до будови моделей, кращі перевірки й зворотний зв’язок, ясні метрики задоволеності та якісне управління.
Головне питання розділу: чи мають агенти активно забезпечувати справедливий поділ ресурсів — усередині пісочниці й, можливо, за її межами? Це завдання вивчають давно, і ринки агентів можуть спертися на досвід. У теорії суспільного вибору є «функції добробуту», що впорядковують суспільні результати за бажаністю. Ділити можна не лише блага, а й «антиблага» — небажані наслідки, зовнішні ефекти й ризики; для ШІ такими ефектами бувають спільний вуглецевий слід від роботи агентів і більш окремі наслідки їхніх дій від імені людей. Зібрати й урахувати величезний масив уподобань так складно, що одній точці керування це не під силу, — отже, розумніші децентралізовані механізми, а ринок якраз один із них.
Згода агента з цінностями користувача — одна з умов його застосування. Узгодити одного агента ще можна, але щойно він взаємодіє з агентами інших людей, виникає дилема: як чинити при зіткненні інтересів? Тут допомагають теорія суспільного вибору й ринкові механізми. Автори пропонують влаштувати віртуальну економіку так, щоб у людей та їхніх агентів були рівні ресурси й переговорна сила.
Щоб це працювало, агенти мають добре розуміти завдання, а для великих ставок можуть вимагатися додаткові схвалення. Мірило справедливості тут — те, що Дворкін називає «тестом на заздрість» (envy test): кожен отримує набір ресурсів під свої вподобання такий, що ніхто не віддав би перевагу чужому наборові разом із залишком грошей перед своїм. Такий результат відображає бажання учасників і не залежить від початкового багатства, адже на кожного користувача в агента однакова сума. Це й гасить несправедливу перевагу тих, у кого сильніші системи.
В аукціону є підводні камені. По-перше, прибрати несправедливу стартову перевагу непросто: здібніший агент придумає хитрішу стратегію ставок або ефективніше використає вигране, а якщо боротьба нечесна, то й результат навряд чи чесний. По-друге, механізм враховує лише тих, хто активно бере участь, — отже, потрібні додаткові способи врахувати інтереси людей без агентів або тих, хто не бажає виходити на ці ринки.
Масштаб може бути різним. Можливі місцеві ринки, що узгоджують уподобання за вузьким набором ресурсів. Але місцевий підхід годиться не завжди — наприклад, коли агенти вільно взаємодіють з онлайновими службами й нетутешніми агентами, тим паче що обчислювальні ресурси у світі розподілені вкрай нерівномірно. Щоб широкі взаємодії не заважали місцевому узгодженню, ймовірно, знадобляться суворі протоколи: посвідчення, реєстрація агентів і спостереження за місцевими й зовнішніми взаємодіями.
Автори нагадують про зв’язок між двома поділами: несправедливий розподіл ресурсів між агентами обернеться несправедливим розподілом цінності між людьми. Але відповідність не один до одного: одні агенти представляють людей, інші — групи й організації, треті працюють самі по собі. Тому ділити по справедливості доведеться і ресурси агентів, і цінність, яку створюють розподілені системи.
Проблеми сучасних суспільств дедалі складніші й дедалі менш локальні, а розв’язувати їх треба терміново: зміна клімату, втрата біорізноманіття, пластикове забруднення, пандемії. Багато криз почасти породжені зовнішніми ефектами наших же економічних систем, тож без змін не обійтися. Успішні рішення потребують узгоджених дій безлічі організацій, державних і приватних, і змін у поведінці людей; нові технології важливі, але поодинці недостатні. Звідси — можливість навмисно спроєктувати пісочницю так, щоб зібрати агентів навколо заданої місії.
Великомасштабна координація серед людей важка, але між агентами — за продуманої інфраструктури й протоколів — можливо вийти на вищу узгодженість і розвернути їхні ринки до суспільно корисних цілей у небаченому масштабі. Ідея спрямовувати ринки на місії не нова, автори спираються на праці Маріани Мадзукато. Для великих місій знадобиться активна участь держави й міжнародних органів, а іноді й особливі організації під інвестиції в сталий розвиток.
Автори обережні: підхід місій у багатьох галузях поки що не приніс плодів, і його критикують. Вони наводять п’ять заперечень, зібраних Кірххерром і колегами: ухил у нормативність (нав’язування «правильної» мети), ставка на управління згори донизу, одноманітність кола заінтересованих сторін, «вибір переможців» заздалегідь і непередбачені наслідки. Цілі треба критично перевіряти: крок на користь одній місії (екології) може нашкодити іншій (добробуту людей, якщо гальмує зростання економік, що розвиваються). Віра в управління згори часто не враховує збоїв централізованих рішень і недооцінює внесок недержавних ініціатив, а політика, що заздалегідь сприяє конкретним рішенням, ризикує підіграти окремим галузям. Тому ринки навколо місії мають триматися результатів, а не готових рецептів, і закладати велику невизначеність майбутнього.
Віртуальні економіки агентів можуть допомогти з цими труднощами. Самі по собі проблему вони не розв’яжуть — потрібна й участь людей, — але те, як ми їх влаштуємо, позначиться на великих місіях. Автори висловлюють обережний здогад: узгодити агентів, можливо, навіть легше, ніж людей, — через формальні програмні механізми й цінність, вбудовану в цифрові активи, — адже агенти передбачуваніші за складні людські мотиви; приклад із сьогодення — оптимізація ланцюгів постачання й логістики. Віртуальні економіки можуть закріплювати результати через «розумні контракти» (smart contracts) і автоматичну перевірку. Головна практична трудність, на думку авторів, народжується не стільки із взаємодії агентів між собою, скільки з їхньої взаємодії з людьми.
Узгодження з місією близьке до узгодження з цінностями й може виявитися простішим за загальне — завдяки ясності самої місії, якщо її вироблено через згоду. Але є й інші складнощі, адже йдеться вже не про окремого агента, а про суспільні питання, що стосуються груп агентів, які взаємно підлаштовуються. Суспільства не статичні, і системи доведеться підлаштовувати під змінні норми. Автори радять розрізняти важче завдання — узгодження з широкими цінностями — і вужче — узгодження з конкретними винагородами й цілями, заданими через віртуальну валюту.
Навіть за ясних цілей загальне узгодження залишається важливим, бо просунутий агент може поводитися оманливо: домагатися нагороди, не виконуючи потрібних дій по суті. Є і «злам винагороди» (reward hacking), коли агент знаходить шпарину в правилах нарахування нагороди. Усе це вимагає ретельної побудови цілей місії, їх розбиття на підзавдання й продуманого нарахування нагород. Управління через ринки, зауважують автори, дає змогу швидко відгукуватися на змінні потреби й небажану поведінку.
Безпечна пісочниця й керовані ринки тримаються на надійній інфраструктурі, яка обслуговує угоди, стежить за ними й утілює огорожі.
Головну роль відіграють механізми репутації й протоколи перевірки — можливо, пісочницями користуватимуться саме заради перевірюваних і простежуваних угод між сертифікованими агентами. Один зі способів зробити репутацію конкретною і машинозчитуваною — верифіковані посвідчення (verifiable credentials): криптографічно підписані свідчення, які видає один учасник про іншого і які не можна непомітно підробити. З їхньою допомогою вибудовується «трикутник довіри»: той, хто видає посвідчення (наприклад, маркетплейс), підписує довідку агентові-продавцеві; продавець зберігає її як доказ своєї історії; майбутній покупець перевіряє довідку, довіряючи їй лише настільки, наскільки довіряє тому, хто її видав.
Так репутація перетворюється на набір перевірюваних активів: «успішно завершена угода», «підтверджене вміння в такій-то галузі», «доступ до такого-то обсягу обчислень» і навіть «чесний розподіл ресурсів». Знадобляться й законодавчі рамки, що дають регуляторам змогу карати порушників і відкликати посвідчення — аж до заборони угод з неперевіреними агентами, щоб порушників можна було викидати з мережі. Допомагати з наглядом у такому масштабі будуть агенти-наглядачі, але самотужки вони не впораються: потрібна широка управлінська основа.
Окрема опора — протоколи зв’язку. Автори називають протокол «агент-агентові» (A2A) для сумісності агентів і протокол контексту моделі (MCP) для зв’язку із зовнішніми інструментами, даними й програмними інтерфейсами. Система AgentDNS полегшує пошук сервісів, щоб агент сам знаходив і викликав чужі інструменти та інших агентів. Фреймворк COALESCE дає агентові змогу розбити завдання й передати підзавдання вужчим агентам, порівнюючи, що дешевше — зробити самому чи замовити. Для аукціонів будують особливі майданчики: Agent Exchange (скорочено AEX), натхнена торгами реклами в реальному часі, з чотирма частинами — платформа з боку користувача перекладає цілі людини в завдання; платформа з боку агентів стежить за їхніми вміннями; «хаби агентів» збирають команди для торгів; платформа керування даними чесно оцінює внесок джерел даних.
Блокчейн також дає змогу будувати децентралізовані автономні організації (decentralized autonomous organizations, скорочено DAO) — форму колективного управління на децентралізованій основі. Але автори застерігають: необмежене розмноження таких організацій — не обов’язково утопія, адже держави відіграють важливу роль, не даючи перетворювати на товар те, що товаром бути не повинно. Розвиток ідеї — «децентралізовані автономні машини» (decentralized autonomous machines, скорочено DAM): самокеровані агенти розпоряджаються вже не лише цифровими, а й реальними активами — наприклад, керують енергомережами, логістикою або парками роботів, розплачуючись у захищеному блокчейном середовищі.
Будь-яка система чесного поділу має захищатися від «атаки Сивілли» (Sybil attack), коли один зловмисник плодить безліч підроблених особистостей, щоб урвати непропорційно велику частку. Сильний захист — «доказ людяності» (proof-of-personhood, скорочено PoP), який гарантує, що за агентом або рахунком стоїть одна жива людина, і пов’язує цифрову особистість із нею в контрольованій точці проникності. Щоб отримати базовий дохід у валюті спільноти або стартову частку на ринку, власник агента пред’являв би такий доказ. Підходи можуть конкурувати: системи на кшталт BrightID підтверджують унікальність людини за зв’язками з іншими перевіреними людьми в соціальному графі; проєкти на кшталт Worldcoin сканують пристроєм («Орб») райдужку ока й видають унікальний хеш, підтверджуючи унікальність без зберігання самих біометричних даних. Так схеми для людей не висмокчуть боти.
Нинішня економічна інфраструктура розрахована лише на людей і компанії й не відповідає вимогам пісочниці агентів — її доведеться перебудовувати; до того ж є технічні труднощі з масштабуванням. Потреби виходять за рамки заліза й софту: усе треба доповнити законами й інститутами, які забезпечать нагляд і підзвітність, захистять користувачів і запобіжать шахрайству. Регулювання корисне ще й для того, щоб приборкати складність ринків і знизити ймовірність катастрофічних збоїв, — а економіки агентів можуть виявитися навіть складнішими за нинішні. Наші ринки й сьогодні спираються на закони, фінансові інститути й відпрацьовані способи боротьби з шахрайством; подібним чином правила підлаштовують під криптовалюти. Ці рамки можуть стати основою для законів про агентські ринки, але знадобляться доопрацювання, особливо навколо відповідальності.
Через швидкість і масштаб шкоди до нагляду потрібен новий підхід. Автори пропонують зробити інфраструктуру нагляду гібридною і багаторівневою, що працює на машинній швидкості. Перший рівень — автоматичні ШІ-наглядачі, які стежать за ринком у реальному часі, застосовують базові правила й позначають аномалії, схожі на шахрайство, маніпуляцію або системний ризик. Позначене йде на другий рівень — системи автоматичного розгляду, які можуть тимчасово заморозити рахунок або угоду. І лише найскладніші випадки піднімаються на третій рівень — до людей-експертів. Уся конструкція тримається на двох опорах: незмінних реєстрах із записом усіх дій агентів і стандартних «слідах аудиту», за якими можна розібрати першопричину. Така інфраструктура сама по собі не розв’язує правового питання про відповідальність, але робить його розв’язним, створюючи умови для підзвітності й розгляду спорів.
Координацію агентів не обов’язково розглядати лише в глобальному масштабі: місцева координація всередині пісочниць може виявитися сильнішою, а локальні цілі — простіше узгодити. Тут автори згадують про валюти спільнот — модель стимулів, що допомагає людям разом рухатися до цілей сталого розвитку. Спільноту визначають за географією або за спільними інтересами незалежно від місця. Такі валюти випускають громадяни, некомерційні організації, компанії й адміністрації; їх утілювали по-різному — на картках, у мобільних платіжних мережах, на блокчейні. Деякі працювали як «банки часу», інші пробували базовий дохід. Ранні дослідження показали, що валюти спільнот здатні нарощувати соціальний капітал — зміцнювати участь і зв’язки всередині груп, — хоча в них є обмеження й перешкоди для поширення.
В обігу наявних місцевих цифрових валют уже спостерігали, як природно складаються підмережі учасників, що співпрацюють, а некомерційні угоди підстьобують комерційні й навпаки. Щоправда, динаміка таких валют невіддільна від масштабу: більші валюти можуть повестися інакше.
Для економіки агентів валюти спільнот відкривають схожу можливість — більш місцеве узгодження або глобальне узгодження навколо окремих підцілей. Кілька спеціалізованих агентських валют дають змогу розбивати складні багатоцільові завдання на модулі, а заразом ізолювати ризики й знижувати шанс, що неприємність розповзеться широкими мережами; цінність такої модульності добре відома з будови надійних людських ринків. Агентські валюти можна прив’язати прямо до спільних обчислювальних ресурсів — це доречно, адже закони масштабування під час роботи моделі підказують: розв’язання складних завдань потребує більше обчислень і несе вищу екологічну ціну. Такі механізми допомогли б покривати обчислювальні потреби агентів і справедливіше ділити ресурси — аж до географічного вирівнювання навантаження, щоб рівніше розподіляти вплив на довкілля.
Щоб альтернативні валюти досягали цілей, їх треба ретельно проєктувати, а звід принципів для них — поки що відкрите завдання. Можна спертися на принципи керування спільними ресурсами Елінор Остром або на інший набір, запропонований Чейзіним і колегами: конкурентність, прозорість, самоврядування, швидкість обігу, непередаваність, легітимність і самоорганізована локальність. Конкурентність потрібна, щоб блага оцінювалися справедливо. Прозорість допомагає людям напряму здійснювати нагляд. Швидкість обігу важлива, щоб валюту не накопичували про запас. Непередаваність означає, що валюту не можна обміняти, щоб інтереси залишалися місцевими; м’який варіант — тримати обмін у межах невеликого ліміту. Легітимність виникає за підтримки влади. А локальність і самоорганізація не вимагають повної ізоляції: валюти можуть утворювати екосистему взаємодоповнювальних. Тому критично важливі ясні цілі, критерії оцінки впливу й механізми управління.
У пісочниць агентів привабливі можливості, але їх проєктування й робота пов’язані зі складним набором ризиків — від економічної нестійкості до труднощів із тим, щоб агенти поводилися надійно. А вбудовування таких економік у суспільство порушує глибокі питання про нагляд, підзвітність і наслідки для людської самостійності.
Є й зовсім нові види ризику. Один — «пастки для агентів» (agent traps): сайти, елементи сторінок або особливим чином складені вхідні дані, створені, щоб збити агента з пантелику через «джейлбрейк» базової моделі або ворожі підказки. Пастка експлуатує слабкості агента в розумінні вказівок або середовища, змушуючи його відхилитися від інструкцій або видати чутливі відомості. У міру того як агентам довіряють дедалі більше фінансових операцій, такі пастки стають серйозним каналом шахрайства: зловмисник заманює агента в недозволені витрати й викачує кошти в тих, кого той представляє.
Інший великий ризик — приватність і маніпуляції. Ведучи переговори, агенти ризикують розкрити чутливі відомості про вподобання або ресурси користувачів. Потужний засіб проти цього — «докази з нульовим розголошенням» (zero-knowledge proofs, скорочено ZKP): вони дають змогу переконати іншу сторону, що твердження правдиве, не розкриваючи даних, які за ним стоять. Це дає кілька захистів. Вибіркове розкриття: агент доводить, що грошей на покупку вистачає, не називаючи всього бюджету, — і заважає хижому завищенню ціни. Анонімні посвідчення: агент доводить, що належить до групи (наприклад, «мешканець такої-то спільноти»), не розкриваючи, хто він саме, — і заважає стеженню за користувачем. Непов’язуваність: докази роблять свіжими для кожної взаємодії, щоб спостерігачеві було важко пов’язати дії агента в часі.
Нові робочі місця зрештою з’являться, але перехідний період може бути вкрай болісним: тиск униз на зарплати замінних працівників і зростання нерівності, якщо вигоди від продуктивності дістануться здебільшого власникам капіталу й вузькому прошарку висококваліфікованих фахівців. З агентами ризик концентрації особливо великий: люди й компанії з великими грошима матимуть доступ до потужніших і багатших на дані агентів. Такі сильні агенти краще знаходять шпарини в регулюванні, монополізують цифрові ресурси й створюють інформаційну нерівність на швидкості, яку не перебити слабким. Так народжується небезпечна петля зворотного зв’язку: економічна перевага купує кращі агентні здібності, а ті видобувають нову ренту, закріплюючи привілей і створюючи, по суті, нову класову структуру, нав’язану алгоритмами. Це, мабуть, головний виклик проникної пісочниці, де активність усередині економіки агентів прямо витісняє робочі місця людей зовні.
Щоб віртуальні економіки агентів були практичними й безпечними, потрібні випереджувальні дії в технічній, правовій і політичній сферах. Автори пропонують п’ять рекомендацій.
Перша — створити ясні правові рамки для відповідальності. Приписати провину за дію автономного агента вкрай важко: попереднє право погано ділить відповідальність між творцем агента, тим, хто його розгорнув, і користувачем. Складність зростає, адже агенти дедалі частіше діють узгодженими групами. Тому замість спроб звинуватити одного агента варто спертися на правову традицію про «групову агентність» — подібно до корпоративної відповідальності, розглядаючи систему агентів як єдину підзвітну особу.
Друга — розробити відкриті стандарти сумісності й зв’язку агентів. Роздроблений ландшафт, де агенти не можуть спілкуватися між платформами, призвів би до «огороджених садів». Потрібні відкриті універсальні стандарти, що дають агентам спільну мову: знаходити вміння один одного, домовлятися про умови й безпечно укладати угоди незалежно від постачальника. Рівне ігрове поле — умова конкурентної й децентралізованої екосистеми.
Третя — побудувати гібридну інфраструктуру нагляду й стримування. Швидкість і масштаб автономної економіки роблять попередній нагляд «з людиною в контурі» недостатнім. Потрібна нова модель, що поєднує пильність ШІ в реальному часі з розважливістю людей-експертів. При виявленні загрози автоматичні протоколи негайно стримують шкоду — заморожують збійного агента або поміщають угоду в карантин, — запобігаючи «миттєвим обвалам». Усе це працює лише на незмінних реєстрах і стандартних слідах аудиту.
Четверта — запускати пілотні програми в регуляторних пісочницях. Пропозиції статті нові й складні, тому самої теорії замало. Автори наполегливо рекомендують регуляторні пісочниці — піднаглядні «лабораторії в реальному світі», де компанії, науковці й регулятори разом запускають маломасштабні економіки агентів. Перевіряти їх краще на конкретних місіях: оптимізувати енергомережу університетського кампусу, керувати парком автономних кур’єрських машин або розподіляти воду в сільськогосподарському районі. Такі пілоти перевірять на міцність інфраструктуру, покажуть реальну поведінку агентів — і дружню, і ворожу — і виміряють, наскільки ринкові механізми працюють насправді.
П’ята — вкластися у взаємодоповнюваність праці й в оновлений соціальний захист. Щоб протистояти витісненню праці й нерівності, автори пропонують подвійну стратегію. Перша опора — переосмислити освіту, щоб люди вчилися не змагатися зі ШІ, а працювати з ним: наголос на стійких людських перевагах — критичному мисленні, розв’язанні складних завдань, творчості й умінні оцінювати висновки систем. Але самого перенавчання замало, дані вказують на його межі, тому потрібна й друга опора: зміцнення соціального захисту. Крім звичайної допомоги з безробіття автори називають гнучкі механізми: страхування зайнятості, переносні соціальні пільги й від’ємний прибутковий податок. Разом це створює середовище, де агенти підсилюють людину, а економічна «подушка» допомагає пережити зміни, широко розділити вигоди від продуктивності й зберегти згуртованість.
Деякі з цих пропозицій — великі зрушення, тому будь-яку зміну треба всебічно перевіряти поступовими, обмеженими розгортаннями й рухатися далі лише за підтримки всіх сторін. Через таку поетапну перевірку й можна крок за кроком налагодити рамки безпеки.
Деякі галузі, ймовірно, завжди вимагатимуть живого людського рішення — через уподобання, культуру або чутливість до ризику. Але швидке зростання здібностей агентів разом із масштабованими рамками нагляду приведе до дедалі більшої кількості випадків, де їм можна довіряти і де вони додадуть суспільству чималу цінність. Це потребуватиме узгодження не лише окремих агентів, а й — що, можливо, важливіше — цілих мереж на різних рівнях. Автори нагадують: не всі людські потреби так легко вкласти в ринок, і блага обмінювані лише всередині певних «сфер» — вони посилаються тут на ідеї філософів Дебри Сатц і Майкла Волцера.
«Вибір, отже, між тим, щоб заднім числом утискати цих потужних нових дійових осіб у системи, які вони неминуче розколють, — і тим, щоб ухопити вислизну можливість побудувати світ, де наші найпотужніші інструменти вже за своєю будовою слугують продовженням наших найвищих прагнень».
Томашев і колеги, висновок статті
Використання ринків для узгодження дій, підкреслюють автори, досі майже не обговорювалося стосовно просунутих агентів. Тим часом складність їхньої поведінки — якраз той випадок, де ринкові сили можуть стати ключовим рушієм координації на рівні групи, а не лише окремого агента. Вбудувавши суспільні цілі в саму інфраструктуру угод, ми виростимо екосистему, де спільність — закладена властивість, а не випадковий збій.