Аудіовидання · переказ простою українською

Дизайн механізмів для великих мовних моделей

Пол Дюттінг, Вахаб Міррокні, Ренато Паес Леме, Хайфен Сюй, Сонг Цзо
Paul Dütting, Vahab Mirrokni, Renato Paes Leme, Haifeng Xu, Song Zuo (Google), «Mechanism Design for Large Language Models», arXiv:2310.10826, 2023 (перероблено у 2024; WWW 2024). Оригінал: arxiv.org/abs/2310.10826. © автори (невиключна ліцензія arXiv).
Це не дослівний переклад, а повний переказ статті для прослуховування: збережено всі аргументи, висновки, цифри й приклади, формули переказано словами, список літератури й технічні додатки опущено. Орієнтовний час прослуховування: 25 хвилин.

Про що ця стаття

П’ятеро дослідників із Google — Пол Дюттінг, Вахаб Міррокні, Ренато Паес Леме, Хайфен Сюй і Сонг Цзо — у 2023 році поставили незвичне запитання. У вебі рекламу обирають аукціони: рекламодавці торгуються за право показати своє оголошення. А що, як текст оголошення не вибирають із готових, а породжують на ходу мовною моделлю, і кілька рекламодавців хочуть вплинути на той самий текст одночасно?

Їхня відповідь — токенний аукціон. У кожного рекламодавця своя мовна модель і одна-єдина ставка. Аукціон іде не за готовим оголошенням, а за кожним словом: на кожному кроці він змішує «побажання» всіх моделей, зважуючи їх ставками, і так народжується спільний текст. Автори формулюють дві природні вимоги чесності, доводять, що разом вони зводяться до умови монотонності, і будують за зразком класичного аукціону другої ціни правило оплати — платить лише той, хто справді зсунув текст у свій бік.

Для того, хто будує маркетплейс агентів, це ранній і чистий приклад нової задачі: як об’єднати виходи кількох ШІ з різними інтересами в один результат, та ще й так, щоб нікому не було вигідно хитрувати. Автори показують, що це можна зробити поверх звичайних мовних моделей, майже не додаючи обчислень, — і підтверджують роботу на справжній моделі.

Велика мовна модельМодель, яка за початком тексту передбачає, яким буде наступний шматочок. Вона не зберігає внутрішньої пам’яті: щоразу отримує поточний рядок і видає розподіл імовірностей на наступний токен.
ТокенОдиниця тексту, з якої складаються слова і фрази: частина слова, символ, число, службовий знак початку чи кінця. Будь-який текст — це ланцюжок токенів, і навпаки.
Авторегресійна генераціяСпосіб, яким модель пише текст: бере розподіл на наступний токен, витягує з нього один токен, дописує його до рядка і повторює все заново — слово за словом.
Токенний аукціонМеханізм, який об’єднує кілька мовних моделей в один текст. Працює по одному токену за раз: кожна модель дає свій розподіл, аукціон змішує їх з урахуванням ставок і видає спільний результат плюс правило оплати.
Стійкі вподобання (robust preferences)Обережний опис смаків рекламодавця: не повна числова оцінка кожного результату, а частковий порядок. Один результат кращий за інший, якщо за кожним токеном він ближчий до бажаного і відхиляється в той самий бік.
Функція агрегаціїПравило, яке зі ставок і розподілів усіх моделей робить один підсумковий розподіл на наступний токен. Монотонна — означає, що вища ставка дає бажаніший для цього учасника результат.
Аукціон другої ціни (Вікрі)Класичний аукціон, де переможець платить не свою ставку, а найменшу, за якої він іще виграє, — «критичну» ставку. Автори переносять цю ідею на токени.

1

Вступ: аукціон за текст, якого ще немає

Сьогодні аукціони — головний інструмент, що вирішує, яку рекламу показати користувачеві. Рекламодавці торгуються за право поставити своє оголошення поруч зі звичайним вмістом. У різних форматів — текст, банери, відео, застосунки — свої тонкощі, і під кожен вигадували свої аукціонні прийоми. Автори беруться за новий формат, що тільки народжується: вміст, який породжує штучний інтелект. Точніше — за використання аукціонів як інструменту, щоб впливати на вихід великої мовної моделі.

Картина така. Певне місце у вебі — частина сторінки, елемент інтерфейсу чат-бота, репліка персонажа у грі — відведене під комерційний вміст, і за вплив на нього торгуються рекламодавці. У кожного є своя мовна модель, здатна породити текст для цього місця, і готовність заплатити за показ. Найпростіше рішення — зібрати ставки і дати переможцеві опублікувати що завгодно. Воно працює, але не використовує головної переваги мовних моделей — уміння творчо поєднувати різні ідеї.

Автори наводять такий приклад. Спочатку модель пише окреме оголошення для вигаданого курорту Stingray Resort і так само вигаданої авіакомпанії Maui Airlines. Але та сама модель досить гнучка, щоб зробити з них одне спільне оголошення:

«Летіть у рай із Maui Airlines і відчуйте чари Гаваїв у Stingray Resort. Приголомшливі краєвиди, розкішні номери й безмежні розваги чекають на вас. Забронюйте відпустку мрії вже сьогодні».

Приклад спільного оголошення зі статті (у перекладі)

Звідси ідея: аукціон, де і курорт, і авіакомпанія подають свої моделі та ставки, а ці входи визначають їхню помітність у підсумковому тексті.

Чотири незвичні виклики

Мовні моделі — технологія з новими рисами, і багато з них прямо стосуються дизайну аукціону. Автори виокремлюють чотири труднощі.

Що пропонують автори

Перший внесок — сам формалізм, «модель токенного аукціону». Токени — це цеглинки тексту. Ключова риса сучасних моделей: вони не мають стану, тобто не зберігають внутрішньої пам’яті. Модель просто перетворює рядок-префікс на розподіл на наступний токен, а текст будується авторегресійно — токен витягують, дописують, і все повторюється. Токенний аукціон працює по одному токену за раз і об’єднує кілька моделей у спільний вихід. Організатор має доступ до моделей-учасниць (до їхніх функцій породження тексту), а кожен учасник на додачу подає одну скалярну ставку. На виході — агрегований розподіл і правило платежів.

На перший погляд це дивно: рекламодавець думає про готове оголошення, а не про окремі слова. Але наявні моделі й не планують текст цілком наперед — їхні вподобання виражені як бажані розподіли лише на наступний токен. Модель можна вважати стислою вичавкою складних смаків агента над довгими ланцюжками слів у просту покрокову генерацію. Автори шукають баланс: чесно розкривши модель організаторові, агент дає підказку про бажаний розподіл, а ставки потрібні, щоб зважувати агентів між собою.

Ключовий вибірАвтори будують непрямий механізм: агент віддає свою модель і одну ставку, а не описує всі свої вподобання напряму. Прямий механізм тут нереалістичний. Результат — це багатовимірний розподіл, а не один предмет; з’ясувати в агента повну функцію корисності на всіх можливих розподілах токенів неможливо; і це було б завдання складніше, ніж те, що моделі взагалі вміють розв’язувати.

Щоб міркувати про чесність за мінімуму припущень, автори описують смаки агентів як стійкі вподобання — часткові порядки над розподілами. На цій основі вони формулюють дві вимоги, які вважають мінімальними: монотонність платежу (платіж вищий тоді й лише тоді, коли підсумок ближчий до бажаного) і узгодженість агрегації (відносне вподобання між двома своїми ставками не повинне залежати від ставок інших). Головний результат: будь-який механізм із цими двома властивостями стратегічно еквівалентний механізму з монотонною функцією агрегації. А для таких функцій за стійких вподобань вдається побудувати аналог оплати за другою ціною. Нарешті, автори проєктують конкретні функції агрегації з прийнятих у навчанні моделей функцій втрат і демонструють усе на справжній моделі.

Примітка про місце цієї праці. Задача близька до кількох напрямів, але не збігається з жодним. З донавчанням і навчанням із підкріпленням за зворотним зв’язком від людини її ріднить мета узгодити модель із бажаною поведінкою, але тут агрегують розподіли токенів на рівень вище, і головна трудність — розбіжність інтересів під час розкриття вподобань, тоді як розмітників у навчанні з підкріпленням вважають чесними. З навчанням у контексті спільне те, що ваги моделі не змінюються, але там впливають через вдалий префікс, а не через змішування кількох моделей. Є зв’язок і з «комбінаторними суспільними проєктами»: агреговану модель можна вважати спільним благом, яке по-різному вигідне різним агентам, — але тут обирають багатовимірний розподіл за лише часткового знання смаків, а не елемент із дискретної множини із заданими функціями цінності. Від праць про агрегацію бюджетних пропозицій її відрізняє наявність грошей і ваг за ставками. Від класичного робастного дизайну механізмів — відмова від функцій цінності: автори спираються лише на часткові, «очевидні» вподобання. Згодом з’явилися продовження: Дубей з колегами вивчили торги за місце всередині згенерованого моделлю резюме, Сумальяс із колегами побудували правдивий механізм на зразках з еталонної моделі, Мордо з колегами — спонсоровані відповіді на запитання.

2

Підготовка: мова моделей і токенний аукціон

Модель як функція від рядка до розподілу

Велику мовну модель автори абстрагують як функцію: вона бере неповне речення і видає розподіл на наступний токен, який його продовжить. Є набір токенів і набір можливих послідовностей обмеженої довжини. Генерація йде так: за початковим запитом модель витягує перший токен зі свого розподілу, дописує його, знову подає весь рядок, витягує наступний — і повторює, доки не випаде службовий токен кінця. Якщо рядок стає надто довгим, у нього беруть хвіст потрібної довжини. Головна властивість — модель без стану: у неї немає пам’яті понад сам породжений ланцюжок, і кожен токен береться незалежно.

Щоб говорити про навчання, корисно згадати його стадії. Модель — це мережа з величезним вектором ваг, які добирають, мінімізуючи функцію втрат. Автори зводять стадії в невелику таблицю, і її сенс простий. Попереднє навчання іде на загальних текстах із мережі та книжок, коштує дуже дорого і дає спільну базу для всіх задач. Тонке налаштування під інструкції — на даних під конкретну задачу, середньої ціни, припасовує поведінку до задачі. Навчання з підкріпленням за оцінками людей — теж середньої ціни, слугує контролю безпеки і зниженню шкідливої поведінки. Навчання в контексті за кількома прикладами — через ретельно складені запити, майже безкоштовно, впливає на поведінку в реальному часі. Деякі прийоми об’єднання моделей, які розберуть далі, за формою нагадують саме кроки підкріплення і налаштування.

Як влаштовано токенний аукціон

Головна трудність — порівнювати «корисності» моделей над різними вихідними розподілами. Пояснімо на прикладі. Нехай бажаний розподіл агента на двох токенах — шість до чотирьох. Порівняймо два результати: п’ять до п’яти і вісім до двох. Який із них агентові миліший, неясно: другий далі від бажаного за відстанню, зате дає більше ймовірності першому токену, якому модель і так віддавала перевагу. А ось результат сім до трьох явно кращий, ніж вісім до двох: він відхиляється в той самий бік за кожною часткою, але за величиною менше. Звідси висновок: повну систему смаків над усіма розподілами задати важко, але природно прийняти частковий порядок. Так народжується поняття стійких вподобань: результат стійко кращий за інший, якщо за кожним токеном він ближчий до бажаного і відхиляється в той самий бік. Частина пар при цьому просто непорівнянна.

Сам механізм — це пара з функції агрегації та функції платежів. Функція агрегації бере вектор ставок і розподіли всіх учасників і видає один розподіл на токен. За фіксованих ставок нею користуються так само, як звичайною генерацією: від запиту раз у раз витягують токен з агрегованого розподілу. Важливо, що це узгоджено з моделями — вони й так видають свої розподіли, і жодних зайвих звернень до них не потрібно. Функція платежів задається за токеном і не залежить від стадії, як і сама генерація; очікуваний платіж отримують усередненням за токенами. Автори наголошують: навряд чи агент може осмислено спотворити вихідні розподіли своєї моделі, щоб домогтися вигіднішого підсумку, тому непрямий механізм тут — розумна золота середина.

3

Стимули в токенних аукціонах

Мета цього розділу — чесність за якомога меншої кількості припущень про смаки агентів. Спочатку автори формулюють дві природні властивості, потім показують їхню рівносильність умові монотонності, а далі будують за зразком другої ціни правило оплати.

Дві вимоги чесності

Перша — монотонність платежу: за двох своїх ставок агент платить більше тоді й лише тоді, коли отримує розподіл, який для нього не гірший. Якби платіж не був монотонним, учасники почали б підкручувати ставки, щоб домогтися кращого результату за менші гроші. Корисний наслідок: якщо дві різні ставки дають той самий підсумок, платіж теж мусить збігтися. Друга — узгодженість агрегації: відносне вподобання між двома своїми ставками не повинне залежати від ставок суперників. Якщо за якихось їхніх ставок перша ставка строго краща за другу, то за будь-яких інших їхніх ставок вона має бути не гіршою. Це знімає тривогу, що та сама ставка дасть то кращий, то гірший результат залежно від чужої поведінки.

Монотонна агрегація і «принцип розкриття»

Далі йде результат у дусі принципу розкриття. Функція агрегації називається монотонною, якщо вища ставка будь-якого агента дає йому не менш бажаний розподіл. Автори доводять: будь-який механізм з узгодженою агрегацією і монотонним платежем стратегічно еквівалентний механізму з монотонною агрегацією і монотонним платежем. «Стратегічно еквівалентні» означає, що після того, як кожен агент застосує певне перетворення до своєї ставки, підсумковий розподіл і всі платежі збіжаться. Практичний сенс — без втрати загальності можна займатися лише монотонними функціями агрегації.

Ключовий результатЗдавалося б, узгодженість слабша за монотонність: монотонність задає повний порядок результатів за ставкою, а узгодженість нічого не вимагає там, де одна ставка не строго краща за іншу. Але з додаванням природної вимоги монотонності платежу обидві властивості виявляються, по суті, тим самим. Це й дає змогу звести вибір до монотонних правил агрегації.

Доведення спирається на дві допоміжні леми. Перша: монотонний платіж до даної функції агрегації існує тоді й лише тоді, коли вподобання агента задають повний порядок над розподілами, досяжними зміною його ставки за фіксованих чужих ставок. Друга: якщо узгоджена агрегація породжує такий повний порядок, то існує перетворення ставок, яке робить її монотонною. Разом вони й дають потрібне перетворення: ту саму заміну ставок застосовують і до агрегації, і до платежу, і перша стає монотонною, а другий зберігає монотонність.

Автори наводять два приклади з нинішньої практики машинного навчання. Лінійне правило змішує бажані розподіли учасників як зважену за ставками суму; воно монотонне щодо стійких вподобань. Лог-лінійне правило змішує їх у логарифмічному просторі; воно не монотонне — автори показують це невеликим прикладом із двома агентами, де середній результат за будь-яких крайніх ставок не дотягує до того, що дає рівна ставка.

Правило другої ціни через стійку вибірку

Далі автори перевіряють, чи допускає монотонна агрегація аналог другої ціни. В аукціоні Вікрі переможець платить критичну ставку — ту, за якої він переходить із програшу у виграш. Щоб перенести це на токени, запроваджують стійку вибірку. Реалізацію розподілу описують як функцію від ставки і зовнішнього випадкового джерела: за зафіксованого джерела все стає детермінованим. Токени ділять на «недобрані» (ті, що зараз випадають рідше, ніж хотів би агент) і «перебрані» (що випадають частіше). Вибірка стійка, якщо за кожного значення випадкового джерела є один недобраний токен, один перебраний і порогова ставка: нижче від порога випадає перебраний токен, на порозі й вище — недобраний. Автори доводять, що в будь-якої монотонної агрегації така стійка реалізація існує.

Ключовий результатСтійка вибірка природно народжує правило другої ціни. За даного випадкового джерела: якщо випав перебраний токен — той самий, що випав би за нульової ставки, — агент платить нуль. Якщо його ставка була досить велика, щоб зсунутися з перебраного токена на недобраний, він платить критичну ставку цього джерела. Тобто платить лише той, хто справді поліпшив для себе результат.

Дивовижно, але очікуваний платіж не залежить від конкретної реалізації вибірки, аби лише вона була стійкою. Він пропорційний тому, наскільки зі зростанням ставки вибірка зсуває підсумок до бажаного розподілу агента, і записується в дусі класичної формули Маєрсона — тільки замість імовірності розподілу туди входить відстань (за повною варіацією) між бажаним розподілом агента і реально породженим. Монотонність агрегації тут рівносильна простій поведінці за токенами: зі зростанням ставки ймовірність недобраних токенів не падає, а перебраних — не росте, і це саме те, що дає змогу визначити критичну ставку. Практична вигода: рекламодавцеві ясно, що він платить, лише якщо здатен поліпшити результат, а за фіксованого випадкового джерела легко оцінювати «що було б, якби», адже в кожного токена лише два можливі результати. Автори застерігають: єдину стійку реалізацію одразу для всіх агентів побудувати вдається не завжди — вони наводять контрприклади.

4

Як влаштувати функцію агрегації

Досі функцію агрегації вважали даною. Тепер автори її проєктують, дотримуючись двох принципів. Спочатку задають агреговану функцію втрат — загальну міру невдоволення агентів підсумковим розподілом, зважену їхніми ставками: внесок кожного агента — його ставка, помножена на те, наскільки підсумок далекий від його бажаного розподілу. Потім міру розбіжності беруть із типових для навчання моделей функцій втрат, насамперед із KL-дивергенції — стандартної міри відмінності між розподілами.

Щоб говорити про навчання, автори нагадують його будову: ваги добирають так, щоб мінімізувати втрати на даних, і роблять це послідовними уточненнями — попереднє навчання, потім налаштування, потім підкріплення. На першій стадії мінімізують KL-дивергенцію між даними і виходом моделі. На стадії підкріплення задача інша: максимізувати винагороду, залишаючись близько до вже налаштованої моделі (це і є алгоритм, відомий як PPO). Саме ці дві форми надихають два правила агрегації.

Лінійне правило з KL-втрат

Перший мисленнєвий експеримент: вважаємо, що кожну модель отримали, навчивши на своєму наборі даних, і тепер «донавчаємо» спільну модель на об’єднаних даних, зважених ставками. Автори доводять, що розв’язок на об’єднаних даних можна скласти з розв’язків на окремих. Звідси — висновок: функція агрегації, яка мінімізує таку KL-втрату, є лінійною комбінацією бажаних розподілів, зваженою ставками. У цього правила подвійна вигода: воно і монотонне, і узгоджене з тим, як моделі навчають. Ба більше, щоб витягнути кожен токен, достатньо звернутися до однієї моделі: вибрати її пропорційно до ставок і взяти токен із неї. Щоправда, для розрахунку платежів за другою ціною все одно доведеться опитати всі моделі.

Лог-лінійне правило з втрат підкріплення

Другий мисленнєвий експеримент: усі агенти використовують ту саму налаштовану модель, але в кожного своя функція винагороди, і їх об’єднують, зважуючи ставками, у задачі підкріплення. Аналогічно автори показують, що розв’язок складається з часткових, і функція агрегації, яка мінімізує цю втрату, є лог-лінійною комбінацією бажаних розподілів. Вона розумна, якщо смаки агентів узгоджені з KL-втратою стадії підкріплення, але, як уже зазначалося, не монотонна — і тому не вписується в підхід стійких стимулів.

Ключове розгалуженняОбидва правила оптимальні кожне для своєї функції втрат. Але лінійне правило монотонне щодо стійких вподобань і сумісне з чесними стимулами, а лог-лінійне — ні. Так теорія стимулів і теорія навчання сходяться в одній точці: саме лінійне змішування розподілів водночас і добре обґрунтоване навчанням, і безпечне з погляду стимулів.

5

Демонстрація на справжній моделі

Щоб підтвердити ідею, автори реалізують обидва правила на практиці. Звичайні моделі видають готовий текст, а тут треба зазирнути всередину — до розподілів на токени на кожному кроці. Тому беруть особливу версію моделі Google Bard зі зміненим способом виведення, що дає доступ до цих розподілів. Різних «агентів» роблять з однієї базової моделі налаштуванням запитом: базова модель плюс свій для кожного агента запит поводиться як модель цього агента. Самому запитові при цьому задають роль експерта з реклами — прийом, який, як показали попередні праці, поліпшує якість генерації. Вигода пряма — досить однієї моделі, до якої звертаються з різними запитами, замість дорогого одночасного обслуговування кількох. Це натякає і на загальнішу можливість: навчити одну універсальну рекламну модель, яка разом із запитом конкретного рекламодавця поводиться як його персональна.

Перший приклад — спільний маркетинг. Два агенти рекламують свої бренди, вигадані «Alpha Airlines» і «Beta Resort», навколо спільної теми «Гаваї». Бренди навмисно вигадані, щоб модель не витягла готової реклами, і названі нейтрально, щоб не плодити вигадок. Співвідношення сторін задають однією величиною — часткою першої ставки в сумі двох ставок. У міру того як ця частка падає від одиниці до нуля, тексти в обох правил ідуть за схемою «лише Alpha Airlines» → «і Alpha Airlines, і Beta Resort» → «лише Beta Resort». Переломи відбуваються на частках близько 75 і 40 відсотків для лінійного правила і близько 50 і 45 відсотків для лог-лінійного. Обидва дають осмислений, читабельний текст, що плавно переходить від одного рекламодавця до іншого, а посередині — спільне оголошення. Ось який вигляд має такий проміжний текст у лінійного правила:

«Alpha Airlines доставить вас на Гаваї, де на вас чекає тижневий відпочинок у Beta Resort».

Спільний текст за близьких ставок (у перекладі)

Другий приклад — конкурентні бренди: «Beta Resort» проти «Gamma Hotel». Тут у міру зсуву частки ставки текст іде просто «лише Gamma Hotel» → «лише Beta Resort», без спільного оголошення посередині: конкуренція відводить модель від того, щоб хвалити обох в одному креативі. Переломи в обох правил — близько 45–50 відсотків. Автори чесно відзначають ґандж: за близьких ставок лінійне правило іноді плутало бренди і породжувало неіснуючі «Gamma Resort» і «Beta Hotel». Вони очікують, що це лікується додатковим навчанням під задачу, яке змусить триматися точних назв.

Примітка. Увесь показ зроблено на моделі загального призначення, не заточеній під цю задачу. Автори називають це «доказом здійсненності» і наголошують, що за належного тонкого налаштування під конкретну задачу якість можна помітно поліпшити.

6

Висновок

Автори запропонували погляд на об’єднання виходів кількох мовних моделей як на задачу дизайну механізмів. Їхній формат — токенний аукціон — працює по одному токену за раз і дає моделям змогу впливати на підсумок через одну скалярну ставку. Дивлячись на задачу крізь «робастну лінзу», з мінімумом припущень про смаки агентів, вони показали: природні вимоги чесності означають, що функція агрегації має бути монотонною; а за стійких вподобань будь-яка монотонна агрегація допускає платежі в стилі другої ціни. Конкретні функції агрегації вони вивели зі звичних у навчанні моделей функцій втрат і підтвердили роботу механізму на справжній сучасній моделі налаштуванням запитом.

Підсумки

Головні висновки

  1. Нова задача. Коли рекламний текст породжує ШІ на ходу, кілька рекламодавців зі своїми мовними моделями хочуть впливати на той самий текст. Просте «переможець пише все» втрачає здатність моделей творчо поєднувати ідеї.
  2. Токенний аукціон. Рішення йде по одному токену за раз: аукціон змішує розподіли всіх моделей на наступний токен, зважуючи їх однією скалярною ставкою кожного учасника, і видає спільний текст плюс платежі — без зайвих звернень до моделей.
  3. Непрямий механізм. Агент віддає свою модель і одну ставку, а не повну функцію корисності: з’ясовувати смаки над усіма розподілами токенів нереалістично і складніше, ніж те, що моделі вміють.
  4. Дві властивості й монотонність. Монотонність платежу й узгодженість агрегації разом рівносильні монотонності функції агрегації. Тому без втрати загальності досить розглядати монотонні правила.
  5. Оплата за другою ціною. Через стійку вибірку в будь-якої монотонної агрегації будується аналог аукціону Вікрі: учасник платить нуль, якщо не зсунув результат, і критичну ставку, якщо зсунув. Очікуваний платіж не залежить від реалізації і виражається через відстань між бажаним і породженим розподілами.
  6. Лінійне проти лог-лінійного. З KL-втрат попереднього навчання виходить лінійне змішування розподілів — монотонне і сумісне з чесними стимулами. З втрат підкріплення виходить лог-лінійне — обґрунтоване навчанням, але не монотонне.
  7. Підтвердження на практиці. На моделі Google Bard із доступом до розподілів токенів обидва правила дали осмислені тексти, що плавно переходять між рекламодавцями в міру зміни ставок, зі спільним оголошенням за близьких ставок і без нього в конкурентних брендів.