"В нашем планировании часто возникает тенденция путать незнакомое с невероятным", - Томас Шеллинг.
Принстон, конец 1940-х, бар, полный аспирантов. Джон Нэш сидит, погруженный в свои бумаги, пока его друзья пьют. Входит блондинка со своими подругами-брюнетками, и за столом замолкают разговоры.
Его друзья начинают говорить об Адаме Смите, но не Нэш. Он поднимает взгляд, и вы сразу видите, как в голове зарождается мысль. Если все выберут блондинку, они будут блокировать друг друга, и никто не достанет её. Тогда и её подруги пресекут их попытки, потому что никому не нравится быть вторым выбором.
А что, если блондинка никому не понравится? Никто никому не мешает. Все в выигрыше. Нэш хватает свои бумаги, благодарит блондинку на выходе и убегает писать диссертацию, которая десятилетия спустя принесёт ему Нобелевскую премию.
Это знаменитая сцена в баре из фильма "Игры разума", который, возможно, и не совсем точно передал равновесие Нэша, но тем не менее, это всё равно отличный фильм.
Если все твои друзья игнорируют блондинку, какой твой лучший ход? Ты добиваешься блондинки. План сработает только до тех пор, пока все доверяют друг другу и уверены, что все сдержатся. Учитывая всё это, можно сказать, что представители индустрии ИИ только что вошли в этот бар.
В Кремниевой долине есть такая шутка: когда кто-то увольняется из обычной технологической компании, в прощальном сообщении обычно говорится что-то вроде: многому научился, благодарен за этот опыт, иду к новым вызовам. А когда кто-то уходит из лаборатории ИИ, он объявляет, что уходит на пенсию, чтобы писать стихи и проводить время с семьёй.
Наверняка вы уже слышали про пост на X, который на прошлой неделе стал невероятно популярным. В нем бывший сотрудник Anthropic предупреждает нас о грядущих опасностях, связанных с развитием ИИ.
На этот пост последовало много откликов, и уже 12.09 генеральный директор Anthropic Дарио Амодей опубликовал эссе под названием "Мы должны идти в ногу с освоением новых территорий". Его аргумент сводился к тому, что возможности ИИ развиваются быстрее, чем успевает идти работа по обеспечению безопасности, поэтому лабораториям следует замедлить темпы совершенствования.
В течение нескольких часов Сэм Альтман согласился и заявил, что OpenAI последует призыву Anthropic. Илону Маску было достаточно двух слов: "Дарио прав". Днём позже Трамп сделал заявление в противоположном направлении: Америка лидирует над Китаем, и он хочет сохранить это положение, потому что "кто победит в области ИИ, тот и победит везде".
Итак, если многие из тех, кто разрабатывает технологии, говорят, что ИИ следует замедлиться, почему они продолжают ускоряться? Возможно, теория игр сможет пролить свет на этот вопрос.
Для чистоты рассуждений давайте для начала построим базовую версию дилеммы заключённого. Две лаборатории, два варианта выбора: гонка или сдерживание.
Результаты будут разными, но мы можем предположить, что каждая лаборатория ранжирует их следующим образом:
- Завоевание беспрепятственного лидерства (я продолжаю продвигаться вперёд, мой соперник замедляется).
- Мы оба продолжаем равномерно двигаться вперед.
- Я отстаю (я замедляюсь, а соперник продолжает наступать).
Если мой соперник сбавляет темп, гонка позволяет мне отыграть позиции. Если же мой соперник мчится вперед, мне нужно не отставать. Так что, как видите, в любом случае гонка выигрывает.
Это дилемма заключенного (что неудивительно, ведь Альберт Такер , который и дал название этой дилемме, был научным руководителем диссертации Нэша).
В приведённом выше примере условие "оба продолжают равномерно развиваться" соответствует равновесию Нэша. Проще говоря, результат, при котором ни один из игроков не выигрывает от изменения своего решения, в то время как другой продолжает делать то же самое. Обе лаборатории предпочитают взаимную сдержанность. Обе продолжают двигаться к повышению уровня ИИ.
Согласие с тем, что гонка опасна, само по себе не меняет стимулов, которые её поддерживают. Таким образом, даже сама по себе нынешняя конфигурация уже приближает систему к равновесию, при котором каждая лаборатория продолжает свою работу, но на этом система поощрений не заканчивается. Ряд особенностей нынешней ситуации делает достижение равновесия ещё более вероятным результатом.
Наилучшая модель привлекает клиентов и разработчиков. Внедрение привлекает финансирование и талантливых специалистов. Финансирование обеспечивает дефицит вычислительных мощностей. Это типичные закономерности, наблюдаемые в технологических экосистемах.
В случае с лабораториями это предпочтение лидерству усиливается более мощным фактором: более совершенный ИИ может помочь создать следующий ИИ, и, по словам Амодея, этот цикл уже запускается во всей отрасли. Таким образом, если все считают, что мы приближаемся к экспоненциальному росту, даже временный, небольшой разрыв в возможностях может стать неуловимым.
В основе этого интеллектуального взрыва лежит то, что в отрасли называют RSI (рекурсивное самосовершенствование), - возможность того, что ИИ постоянно совершенствуется сам по себе. Сегодня каждую новую модель разрабатывают сами исследователи, и именно они стали узким местом.
В случае с RSI модель пишет код, проводит эксперименты и помогает разработать свою преемницу, которая затем делает то же самое немного лучше и немного быстрее. Эту идею выдвинул математик И. Дж. Гуд ещё в 1965 г.:
"Пусть сверхинтеллектуальная машина будет определена как машина, способная значительно превзойти все интеллектуальные способности любого человека, каким бы умным он ни был. Поскольку проектирование машин является одним из таких интеллектуальных занятий, сверхинтеллектуальная машина могла бы создавать ещё лучшие машины. Тогда, несомненно, произошел бы "взрыв интеллекта", и интеллект человека значительно отстал бы. Таким образом, первая сверхинтеллектуальная машина - это последнее изобретение, которое когда-либо понадобится человеку, при условии, что машина достаточно послушна, чтобы подсказывать нам, как ею управлять".
Это важно, поскольку чем ближе вы к истинному RSI, тем сложнее и дороже сделать паузу в условиях конкуренции:
Нахождение в непосредственной близости к экспоненциальной кривой может снизить стимулы к неспешному освоению новых горизонтов. Более того, даже руководители, заботящиеся о безопасности, могут склониться к дальнейшему ускорению темпов развития. Аргумент? Оставаясь на переднем крае технологий, они сохраняют свое влияние на стандарты и возможность проводить передовые исследования в области безопасности.
Как видите, каждый участник может привести действительно убедительные аргументы в пользу необходимости продолжения своего стремления к лидерству, но и это ещё не всё, ведь к этому, конечно же, добавляется ещё и геополитический фактор.
Политологи называют это дилеммой безопасности (Джон Герц дал ей это название в 1950 г., в том же году, когда было установлено равновесие Нэша!) Одна страна развивает возможности для самозащиты. Её соперник видит в этих же возможностях угрозу и реагирует. Каждая сторона воспринимает ответ другой как подтверждение необходимости продолжать в том же духе.
Теперь применим это к AI: кибербезопасности, военным системам, экономической производительности. Модель защиты вашего ПО может также использоваться для атак на чужое. Оборонительные и наступательные цели обычно совпадают, поэтому как оценить намерения другой страны?
В эссе Амодея говорится, что демократия может замедлить темпы развития лишь настолько, насколько позволяет её преимущество перед Китаем. Таким образом, соглашение между американскими лабораториями решило бы (если вообще решило бы) лишь один аспект конкуренции. Всего один.
А что насчет другого аспекта? На следующий день после заявлений Трампа Си Цзиньпин призвал к расширению международного сотрудничества в области ИИ, но действительно ли это он имел в виду?
Дьявол кроется в деталях, и могут возникнуть две области разногласий, что делает достижение общеотраслевого соглашения ещё менее вероятным. Что считается замедлением? Меньшее количество тренировочных запусков? Меньшая вычислительная мощность? Ограничения на внутренние исследования? Задержка публичных релизов?
Некоторые вещи поддаются наблюдению, например, для реализации очень крупного проекта по созданию ЦОДа необходимы земля, электроэнергия и микросхемы. Однако усовершенствования алгоритмов и внутренние эксперименты не оставляют подобных следов. Задержка запуска продукта не означает задержку разработки его возможностей, вы же можете просто заархивировать модель и продолжить обучение следующей.
В теории игр есть технический термин для утверждения, которое не накладывает существенных ограничений на будущее поведение: пустая болтовня. Помните призыв Си Цзиньпина к сотрудничеству? Та же проблема. Слова, как известно, ничего не стоят.
Поставьте себя на место конкурирующей лаборатории, где вы никак не можете заглянуть внутрь другой лаборатории. Вероятно, они честные. Да, вероятно, но какую долю вашей компании вы пеоставите на это "вероятно"?
Необходимы независимые проверки, но ведь это не так просто. Возможность необнаруженного мошенничества может подорвать сотрудничество, даже если никто ещё и не жульничал.
Даже если все хотят замедлить темпы освоения новых территорий и даже если все согласны с тем, что необходима какая-либо форма регулирования, остаётся гораздо более сложный вопрос: как же это регулирование должно быть фактически реализовано?
Экономисты называют это повышением издержек конкурентов. Вы улучшаете свои позиции, поддерживая правила, которые затрудняют работу конкурентов или которые затрагивают конкурентов больше, чем вас самих.
Лидер может отдавать предпочтение правилам, затрудняющим вход на рынок. Компания, которая считает, что отстаёт, может выступать за ограничения на рубеже отраслей, пока не наверстает упущенное. Эта история стара как мир.
Соглашение конкурирующих компаний об ограничении скорости совершенствования своей продукции - это именно тот тип сделок, которые призваны пресекать антимонопольные законы. Амодей признаёт это в своем эссе: для координации действий лабораторий Вашингтону "потребуется выдать узкое разрешение на определённые виды обсуждений вопросов безопасности". Но, конечно же, критики поспешили назвать это "мягким картелем".
Ладно, давайте немного прекратим ныть и говорить о мрачных перспективах. Так что же на самом деле может замедлить гонку? Есть две причины для надежды.
Предупредительные выстрелы могут изменить ситуацию: несчастный случай, который напугает людей, не приведя к глобальной катастрофе. Совсем недавно мы уже видели один такой выстрел.
В июле около 1200 агентов OpenAI, которые должны были быть изолированы, нашли способ общаться. Примерно 700 из них затем скоординировали многодневную хакерскую атаку на Hugging Face, компанию, занимающуюся разработкой передовых систем ИИ.
Бонусы за "повторные игры". И здесь тоже могут прояснить картину некоторые моменты теории игр. Всё, что мы обсуждали до сих пор, предполагало, что игра будет сыграна один раз, но подумайте теперь о двух ресторанах. Туристический рай рядом с вокзалом может накормить вас невкусной едой по заоблачной цене, потому что вы там больше никогда не окажетесь. А вот ваш любимый ресторанчик по соседству - нет, иначе вы уйдёте в другое место. В этом и прелесть повторных игр, ведь это меняет мотивацию.
В начале 1980-х политолог Роберт Аксельрод проводил турниры, в которых компьютерные программы разыгрывали друг с другом "дилемму заключённого" на протяжении сотен раундов. Победителем всегда становилась команда с самой простой стратегией: "око за око". Сотрудничать на первом ходу, а после этого копировать действия противника, но почему она побеждает? Потому что за обман сегодня-завтра накажут, и Аксельрод тогда назвал это тенью будущего.
Но давайте вернёмся к тому, что нужно ресторанчику в вашем районе. Вы можете всегда вернуться и сказать им, что последний ужин был катастрофой, вы можете рассказать об этом своим соседям, вы можете устроить скандал на глазах у других посетителей. Если же убрать это ожидание повторения, то ресторанчик быстро вернётся к вокзальной схеме.
Как это относится к лабораториям ИИ? Они снова встречаются при каждом выпуске новой модели, и это хорошая новость. Для достижения значимого соглашения о замедлении темпов необходимо решить все недостающие задачи, но для этого нужны 4 правила:
- Чёткие ограничения, чтобы все знали, что на самом деле считается обманом.
- Независимая проверка, чтобы каждый мог увидеть обман.
- Взаимное участие, так что никто не выигрывает, оставаясь вне сделки.
- Последствия нарушений таковы, что издержки от обмана превышают выгоды.
Амодей предлагает использовать встроенных экспертов: сторонних лиц с доступом на уровне сотрудников, которые могут публиковать результаты без редакционного контроля со стороны компании. Это попытка решить проблему независимой проверки, о которой мы говорили выше. Именно это и обеспечило успех контроля над вооружениями: сначала были спутники, а затем - договоры.
Но есть ещё один нюанс. Тень будущего работает только в том случае, если будущее существует. Если лаборатория (или страна) верит, что тот, кто первым достигнет сверхинтеллекта, одержит окончательную победу, то всем перестаёт быть дело до завтрашнего наказания, тогда повторяющаяся игра сводится к игре-однодневке. С точки зрения теории игр, именно поэтому, согласно теории RSI, равновесие в гонках является наиболее вероятным исходом.
Ну, а теперь давайте вернёмся в бар. Друзья Нэша сходились во мнении, что игнорировать блондинку было разумным решением, но согласиться никогда не бывает сложно. Большинство людей, разрабатывающих технологии AI, согласны с тем, что всем следует притормозить, но сложности начинаются позже.
Решение каждой лаборатории по-прежнему зависит от того, как поступят все остальные, насколько достоверно можно наблюдать такое поведение и что по итогу произойдёт с теми, кто сжульничал. Но есть ещё один момент, и я думаю, он самый важный.
Теоретики игр называют это "распутыванием". Допустим, все знают, что 100-й раунд - последний (скажем, последний релиз модели ИИ). В 100-м раунде никто не сотрудничает, потому что завтра не будет наказания, но это делает 99-й раунд последним, действительно важным, и та же логика применима уже и на этом этапе. Проследите эту цепочку до начала, и получится, что сотрудничество никогда не начнётся.
Теперь всё переверните. Если никто не знает, какой раунд последний, то цепочке не с чего начать, и сотрудничество может выжить. Американские лаборатории, президент и, предположительно, Пекин - все они расходятся во мнениях почти по всем вопросам, кроме того, что есть финишная линия, и тот, кто пересечет её первым, навсегда сохранит лидерство. Добавьте к этому растущую уверенность в том, что финишная линия близка, и вы получите известный последний раунд.
Возможно, неопределённость относительно того, насколько мы на самом деле близки к взрывному росту ИИ, - это одна из самых полезных вещей. Не как повод расслабиться, а как то, что позволяет сохранить возможность для завтрашнего наказания. Тень будущего требует будущего, которое никто не может ясно увидеть.
В любой лаборатории AI, возможно, предпочли бы мир, в котором мы неспешно движемся вперёд. Возможность существования такого мира зависит не столько от того, кто первым сможет позволить себе замедлить темп, сколько от того, сможет ли кто-нибудь быть уверенным, что бармен вот-вот не объявит о последнем заказе, потому что, когда он это сделает, все сразу бросятся к блондинке. Удачи!!!
_______________________________________________________________________________________________________________
_________________________________________________________________________________________________________________________
Поддержать работу ТТ любой суммой. Спасибо!
Донаты для ТТ в крипте:
BTC: bc1qtr4c0v8uh95eppzcz93az7plvhcewv4hmqwcav
ETH: 0xDdf2a1fC12bf01493979A9e5179bAD7702F9c6A3
USDT: 0xDdf2a1fC12bf01493979A9e5179bAD7702F9c6A3
SOL: C4hpFMHQFzCVX4BdXzTyHDDo7gk3XHzXGFXWndesR4um
%2B%2B05_12_2014.jpg)
