П’ятеро дослідників із Google — Пол Дюттінг, Вахаб Міррокні, Ренато Паес Леме, Хайфен Сюй і Сонг Цзо — у 2023 році поставили незвичне запитання. У вебі рекламу обирають аукціони: рекламодавці торгуються за право показати своє оголошення. А що, як текст оголошення не вибирають із готових, а породжують на ходу мовною моделлю, і кілька рекламодавців хочуть вплинути на той самий текст одночасно?
Їхня відповідь — токенний аукціон. У кожного рекламодавця своя мовна модель і одна-єдина ставка. Аукціон іде не за готовим оголошенням, а за кожним словом: на кожному кроці він змішує «побажання» всіх моделей, зважуючи їх ставками, і так народжується спільний текст. Автори формулюють дві природні вимоги чесності, доводять, що разом вони зводяться до умови монотонності, і будують за зразком класичного аукціону другої ціни правило оплати — платить лише той, хто справді зсунув текст у свій бік.
Для того, хто будує маркетплейс агентів, це ранній і чистий приклад нової задачі: як об’єднати виходи кількох ШІ з різними інтересами в один результат, та ще й так, щоб нікому не було вигідно хитрувати. Автори показують, що це можна зробити поверх звичайних мовних моделей, майже не додаючи обчислень, — і підтверджують роботу на справжній моделі.
Сьогодні аукціони — головний інструмент, що вирішує, яку рекламу показати користувачеві. Рекламодавці торгуються за право поставити своє оголошення поруч зі звичайним вмістом. У різних форматів — текст, банери, відео, застосунки — свої тонкощі, і під кожен вигадували свої аукціонні прийоми. Автори беруться за новий формат, що тільки народжується: вміст, який породжує штучний інтелект. Точніше — за використання аукціонів як інструменту, щоб впливати на вихід великої мовної моделі.
Картина така. Певне місце у вебі — частина сторінки, елемент інтерфейсу чат-бота, репліка персонажа у грі — відведене під комерційний вміст, і за вплив на нього торгуються рекламодавці. У кожного є своя мовна модель, здатна породити текст для цього місця, і готовність заплатити за показ. Найпростіше рішення — зібрати ставки і дати переможцеві опублікувати що завгодно. Воно працює, але не використовує головної переваги мовних моделей — уміння творчо поєднувати різні ідеї.
Автори наводять такий приклад. Спочатку модель пише окреме оголошення для вигаданого курорту Stingray Resort і так само вигаданої авіакомпанії Maui Airlines. Але та сама модель досить гнучка, щоб зробити з них одне спільне оголошення:
«Летіть у рай із Maui Airlines і відчуйте чари Гаваїв у Stingray Resort. Приголомшливі краєвиди, розкішні номери й безмежні розваги чекають на вас. Забронюйте відпустку мрії вже сьогодні».
Приклад спільного оголошення зі статті (у перекладі)
Звідси ідея: аукціон, де і курорт, і авіакомпанія подають свої моделі та ставки, а ці входи визначають їхню помітність у підсумковому тексті.
Мовні моделі — технологія з новими рисами, і багато з них прямо стосуються дизайну аукціону. Автори виокремлюють чотири труднощі.
Перший внесок — сам формалізм, «модель токенного аукціону». Токени — це цеглинки тексту. Ключова риса сучасних моделей: вони не мають стану, тобто не зберігають внутрішньої пам’яті. Модель просто перетворює рядок-префікс на розподіл на наступний токен, а текст будується авторегресійно — токен витягують, дописують, і все повторюється. Токенний аукціон працює по одному токену за раз і об’єднує кілька моделей у спільний вихід. Організатор має доступ до моделей-учасниць (до їхніх функцій породження тексту), а кожен учасник на додачу подає одну скалярну ставку. На виході — агрегований розподіл і правило платежів.
На перший погляд це дивно: рекламодавець думає про готове оголошення, а не про окремі слова. Але наявні моделі й не планують текст цілком наперед — їхні вподобання виражені як бажані розподіли лише на наступний токен. Модель можна вважати стислою вичавкою складних смаків агента над довгими ланцюжками слів у просту покрокову генерацію. Автори шукають баланс: чесно розкривши модель організаторові, агент дає підказку про бажаний розподіл, а ставки потрібні, щоб зважувати агентів між собою.
Щоб міркувати про чесність за мінімуму припущень, автори описують смаки агентів як стійкі вподобання — часткові порядки над розподілами. На цій основі вони формулюють дві вимоги, які вважають мінімальними: монотонність платежу (платіж вищий тоді й лише тоді, коли підсумок ближчий до бажаного) і узгодженість агрегації (відносне вподобання між двома своїми ставками не повинне залежати від ставок інших). Головний результат: будь-який механізм із цими двома властивостями стратегічно еквівалентний механізму з монотонною функцією агрегації. А для таких функцій за стійких вподобань вдається побудувати аналог оплати за другою ціною. Нарешті, автори проєктують конкретні функції агрегації з прийнятих у навчанні моделей функцій втрат і демонструють усе на справжній моделі.
Велику мовну модель автори абстрагують як функцію: вона бере неповне речення і видає розподіл на наступний токен, який його продовжить. Є набір токенів і набір можливих послідовностей обмеженої довжини. Генерація йде так: за початковим запитом модель витягує перший токен зі свого розподілу, дописує його, знову подає весь рядок, витягує наступний — і повторює, доки не випаде службовий токен кінця. Якщо рядок стає надто довгим, у нього беруть хвіст потрібної довжини. Головна властивість — модель без стану: у неї немає пам’яті понад сам породжений ланцюжок, і кожен токен береться незалежно.
Щоб говорити про навчання, корисно згадати його стадії. Модель — це мережа з величезним вектором ваг, які добирають, мінімізуючи функцію втрат. Автори зводять стадії в невелику таблицю, і її сенс простий. Попереднє навчання іде на загальних текстах із мережі та книжок, коштує дуже дорого і дає спільну базу для всіх задач. Тонке налаштування під інструкції — на даних під конкретну задачу, середньої ціни, припасовує поведінку до задачі. Навчання з підкріпленням за оцінками людей — теж середньої ціни, слугує контролю безпеки і зниженню шкідливої поведінки. Навчання в контексті за кількома прикладами — через ретельно складені запити, майже безкоштовно, впливає на поведінку в реальному часі. Деякі прийоми об’єднання моделей, які розберуть далі, за формою нагадують саме кроки підкріплення і налаштування.
Головна трудність — порівнювати «корисності» моделей над різними вихідними розподілами. Пояснімо на прикладі. Нехай бажаний розподіл агента на двох токенах — шість до чотирьох. Порівняймо два результати: п’ять до п’яти і вісім до двох. Який із них агентові миліший, неясно: другий далі від бажаного за відстанню, зате дає більше ймовірності першому токену, якому модель і так віддавала перевагу. А ось результат сім до трьох явно кращий, ніж вісім до двох: він відхиляється в той самий бік за кожною часткою, але за величиною менше. Звідси висновок: повну систему смаків над усіма розподілами задати важко, але природно прийняти частковий порядок. Так народжується поняття стійких вподобань: результат стійко кращий за інший, якщо за кожним токеном він ближчий до бажаного і відхиляється в той самий бік. Частина пар при цьому просто непорівнянна.
Сам механізм — це пара з функції агрегації та функції платежів. Функція агрегації бере вектор ставок і розподіли всіх учасників і видає один розподіл на токен. За фіксованих ставок нею користуються так само, як звичайною генерацією: від запиту раз у раз витягують токен з агрегованого розподілу. Важливо, що це узгоджено з моделями — вони й так видають свої розподіли, і жодних зайвих звернень до них не потрібно. Функція платежів задається за токеном і не залежить від стадії, як і сама генерація; очікуваний платіж отримують усередненням за токенами. Автори наголошують: навряд чи агент може осмислено спотворити вихідні розподіли своєї моделі, щоб домогтися вигіднішого підсумку, тому непрямий механізм тут — розумна золота середина.
Мета цього розділу — чесність за якомога меншої кількості припущень про смаки агентів. Спочатку автори формулюють дві природні властивості, потім показують їхню рівносильність умові монотонності, а далі будують за зразком другої ціни правило оплати.
Перша — монотонність платежу: за двох своїх ставок агент платить більше тоді й лише тоді, коли отримує розподіл, який для нього не гірший. Якби платіж не був монотонним, учасники почали б підкручувати ставки, щоб домогтися кращого результату за менші гроші. Корисний наслідок: якщо дві різні ставки дають той самий підсумок, платіж теж мусить збігтися. Друга — узгодженість агрегації: відносне вподобання між двома своїми ставками не повинне залежати від ставок суперників. Якщо за якихось їхніх ставок перша ставка строго краща за другу, то за будь-яких інших їхніх ставок вона має бути не гіршою. Це знімає тривогу, що та сама ставка дасть то кращий, то гірший результат залежно від чужої поведінки.
Далі йде результат у дусі принципу розкриття. Функція агрегації називається монотонною, якщо вища ставка будь-якого агента дає йому не менш бажаний розподіл. Автори доводять: будь-який механізм з узгодженою агрегацією і монотонним платежем стратегічно еквівалентний механізму з монотонною агрегацією і монотонним платежем. «Стратегічно еквівалентні» означає, що після того, як кожен агент застосує певне перетворення до своєї ставки, підсумковий розподіл і всі платежі збіжаться. Практичний сенс — без втрати загальності можна займатися лише монотонними функціями агрегації.
Доведення спирається на дві допоміжні леми. Перша: монотонний платіж до даної функції агрегації існує тоді й лише тоді, коли вподобання агента задають повний порядок над розподілами, досяжними зміною його ставки за фіксованих чужих ставок. Друга: якщо узгоджена агрегація породжує такий повний порядок, то існує перетворення ставок, яке робить її монотонною. Разом вони й дають потрібне перетворення: ту саму заміну ставок застосовують і до агрегації, і до платежу, і перша стає монотонною, а другий зберігає монотонність.
Автори наводять два приклади з нинішньої практики машинного навчання. Лінійне правило змішує бажані розподіли учасників як зважену за ставками суму; воно монотонне щодо стійких вподобань. Лог-лінійне правило змішує їх у логарифмічному просторі; воно не монотонне — автори показують це невеликим прикладом із двома агентами, де середній результат за будь-яких крайніх ставок не дотягує до того, що дає рівна ставка.
Далі автори перевіряють, чи допускає монотонна агрегація аналог другої ціни. В аукціоні Вікрі переможець платить критичну ставку — ту, за якої він переходить із програшу у виграш. Щоб перенести це на токени, запроваджують стійку вибірку. Реалізацію розподілу описують як функцію від ставки і зовнішнього випадкового джерела: за зафіксованого джерела все стає детермінованим. Токени ділять на «недобрані» (ті, що зараз випадають рідше, ніж хотів би агент) і «перебрані» (що випадають частіше). Вибірка стійка, якщо за кожного значення випадкового джерела є один недобраний токен, один перебраний і порогова ставка: нижче від порога випадає перебраний токен, на порозі й вище — недобраний. Автори доводять, що в будь-якої монотонної агрегації така стійка реалізація існує.
Дивовижно, але очікуваний платіж не залежить від конкретної реалізації вибірки, аби лише вона була стійкою. Він пропорційний тому, наскільки зі зростанням ставки вибірка зсуває підсумок до бажаного розподілу агента, і записується в дусі класичної формули Маєрсона — тільки замість імовірності розподілу туди входить відстань (за повною варіацією) між бажаним розподілом агента і реально породженим. Монотонність агрегації тут рівносильна простій поведінці за токенами: зі зростанням ставки ймовірність недобраних токенів не падає, а перебраних — не росте, і це саме те, що дає змогу визначити критичну ставку. Практична вигода: рекламодавцеві ясно, що він платить, лише якщо здатен поліпшити результат, а за фіксованого випадкового джерела легко оцінювати «що було б, якби», адже в кожного токена лише два можливі результати. Автори застерігають: єдину стійку реалізацію одразу для всіх агентів побудувати вдається не завжди — вони наводять контрприклади.
Досі функцію агрегації вважали даною. Тепер автори її проєктують, дотримуючись двох принципів. Спочатку задають агреговану функцію втрат — загальну міру невдоволення агентів підсумковим розподілом, зважену їхніми ставками: внесок кожного агента — його ставка, помножена на те, наскільки підсумок далекий від його бажаного розподілу. Потім міру розбіжності беруть із типових для навчання моделей функцій втрат, насамперед із KL-дивергенції — стандартної міри відмінності між розподілами.
Щоб говорити про навчання, автори нагадують його будову: ваги добирають так, щоб мінімізувати втрати на даних, і роблять це послідовними уточненнями — попереднє навчання, потім налаштування, потім підкріплення. На першій стадії мінімізують KL-дивергенцію між даними і виходом моделі. На стадії підкріплення задача інша: максимізувати винагороду, залишаючись близько до вже налаштованої моделі (це і є алгоритм, відомий як PPO). Саме ці дві форми надихають два правила агрегації.
Перший мисленнєвий експеримент: вважаємо, що кожну модель отримали, навчивши на своєму наборі даних, і тепер «донавчаємо» спільну модель на об’єднаних даних, зважених ставками. Автори доводять, що розв’язок на об’єднаних даних можна скласти з розв’язків на окремих. Звідси — висновок: функція агрегації, яка мінімізує таку KL-втрату, є лінійною комбінацією бажаних розподілів, зваженою ставками. У цього правила подвійна вигода: воно і монотонне, і узгоджене з тим, як моделі навчають. Ба більше, щоб витягнути кожен токен, достатньо звернутися до однієї моделі: вибрати її пропорційно до ставок і взяти токен із неї. Щоправда, для розрахунку платежів за другою ціною все одно доведеться опитати всі моделі.
Другий мисленнєвий експеримент: усі агенти використовують ту саму налаштовану модель, але в кожного своя функція винагороди, і їх об’єднують, зважуючи ставками, у задачі підкріплення. Аналогічно автори показують, що розв’язок складається з часткових, і функція агрегації, яка мінімізує цю втрату, є лог-лінійною комбінацією бажаних розподілів. Вона розумна, якщо смаки агентів узгоджені з KL-втратою стадії підкріплення, але, як уже зазначалося, не монотонна — і тому не вписується в підхід стійких стимулів.
Щоб підтвердити ідею, автори реалізують обидва правила на практиці. Звичайні моделі видають готовий текст, а тут треба зазирнути всередину — до розподілів на токени на кожному кроці. Тому беруть особливу версію моделі Google Bard зі зміненим способом виведення, що дає доступ до цих розподілів. Різних «агентів» роблять з однієї базової моделі налаштуванням запитом: базова модель плюс свій для кожного агента запит поводиться як модель цього агента. Самому запитові при цьому задають роль експерта з реклами — прийом, який, як показали попередні праці, поліпшує якість генерації. Вигода пряма — досить однієї моделі, до якої звертаються з різними запитами, замість дорогого одночасного обслуговування кількох. Це натякає і на загальнішу можливість: навчити одну універсальну рекламну модель, яка разом із запитом конкретного рекламодавця поводиться як його персональна.
Перший приклад — спільний маркетинг. Два агенти рекламують свої бренди, вигадані «Alpha Airlines» і «Beta Resort», навколо спільної теми «Гаваї». Бренди навмисно вигадані, щоб модель не витягла готової реклами, і названі нейтрально, щоб не плодити вигадок. Співвідношення сторін задають однією величиною — часткою першої ставки в сумі двох ставок. У міру того як ця частка падає від одиниці до нуля, тексти в обох правил ідуть за схемою «лише Alpha Airlines» → «і Alpha Airlines, і Beta Resort» → «лише Beta Resort». Переломи відбуваються на частках близько 75 і 40 відсотків для лінійного правила і близько 50 і 45 відсотків для лог-лінійного. Обидва дають осмислений, читабельний текст, що плавно переходить від одного рекламодавця до іншого, а посередині — спільне оголошення. Ось який вигляд має такий проміжний текст у лінійного правила:
«Alpha Airlines доставить вас на Гаваї, де на вас чекає тижневий відпочинок у Beta Resort».
Спільний текст за близьких ставок (у перекладі)
Другий приклад — конкурентні бренди: «Beta Resort» проти «Gamma Hotel». Тут у міру зсуву частки ставки текст іде просто «лише Gamma Hotel» → «лише Beta Resort», без спільного оголошення посередині: конкуренція відводить модель від того, щоб хвалити обох в одному креативі. Переломи в обох правил — близько 45–50 відсотків. Автори чесно відзначають ґандж: за близьких ставок лінійне правило іноді плутало бренди і породжувало неіснуючі «Gamma Resort» і «Beta Hotel». Вони очікують, що це лікується додатковим навчанням під задачу, яке змусить триматися точних назв.
Автори запропонували погляд на об’єднання виходів кількох мовних моделей як на задачу дизайну механізмів. Їхній формат — токенний аукціон — працює по одному токену за раз і дає моделям змогу впливати на підсумок через одну скалярну ставку. Дивлячись на задачу крізь «робастну лінзу», з мінімумом припущень про смаки агентів, вони показали: природні вимоги чесності означають, що функція агрегації має бути монотонною; а за стійких вподобань будь-яка монотонна агрегація допускає платежі в стилі другої ціни. Конкретні функції агрегації вони вивели зі звичних у навчанні моделей функцій втрат і підтвердили роботу механізму на справжній сучасній моделі налаштуванням запитом.