ПОДЕЛИТЬСЯ | ПЕЧАТЬ | ЭЛ. АДРЕС
До пандемии COVID-19 я бы назвал себя технологическим оптимистом. Новые технологии почти всегда появляются на фоне преувеличенных опасений. Считалось, что железные дороги вызывают нервные срывы, велосипеды делают женщин бесплодными или безумными, а раннее электричество обвиняли во всем — от морального разложения до физического истощения. Со временем эти опасения утихли, общества адаптировались, и уровень жизни повысился. Эта модель была достаточно знакома, чтобы искусственный интеллект, казалось, последовал ее примеру: разрушительный, иногда неправильно используемый, но в конечном итоге управляемый.
Период пандемии COVID-19 подорвал это доверие — не потому, что технологии дали сбой, а потому, что потерпели неудачу институты.
Во многих странах мира правительства и экспертные организации реагировали на неопределенность беспрецедентными социальными и биомедицинскими мерами, оправданными моделями наихудшего сценария и осуществляемыми с поразительной уверенностью. Конкурирующие гипотезы отодвигались на второй план, а не обсуждались. Чрезвычайные меры превратились в долгосрочную политику. Когда данные менялись, признания ошибок были редки, а ответственность – еще реже. Этот опыт выявил более глубокую проблему, чем любая отдельная политическая ошибка: современные институты, по-видимому, плохо подготовлены к управлению неопределенностью без превышения полномочий.
Этот урок теперь играет важную роль в дискуссиях об искусственном интеллекте.
Разрыв в рисках, связанных с ИИ
В целом, опасения по поводу развитого ИИ делятся на две группы. Одна группа, связанная с такими мыслителями, как Элиэзер Юдковски и Нейт Соарес, утверждает, что достаточно развитый ИИ по умолчанию катастрофически опасен. В своей намеренно резкой формулировке... Если кто-то это построит, все умрутПроблема не в злых намерениях, а в стимулах: конкуренция гарантирует, что кто-то будет пренебрегать правилами, и как только система выходит из-под значимого контроля, намерения перестают иметь значение.
Вторая группа, в которую входят такие деятели, как Стюарт Рассел, Ник Бостром и Макс Тегмарк, также серьезно относится к рискам, связанным с ИИ, но более оптимистично настроена в отношении того, что согласованность действий, тщательное управление и постепенное внедрение могут удержать системы под контролем человека.
Несмотря на различия, обе стороны сходятся в одном выводе: неограниченное развитие ИИ опасно, и необходимы определенные меры надзора, координации или сдерживания. Разногласия касаются осуществимости и срочности. Однако редко рассматривается вопрос о том, насколько сами институты, призванные обеспечивать это сдерживание, пригодны для этой роли.
COVID-19 дает основания для сомнений.
COVID-19 был не просто кризисом общественного здравоохранения; это был живой эксперимент по управлению, основанному на экспертных оценках, в условиях неопределенности. Столкнувшись с неполными данными, власти неоднократно выбирали максимальные меры, оправданные предполагаемым вредом. Несогласие часто рассматривалось как моральный недостаток, а не как научная необходимость. Политика защищалась не посредством прозрачного анализа затрат и выгод, а путем апелляций к авторитету и страха перед гипотетическими сценариями будущего.
Эта закономерность важна, потому что она показывает, как ведут себя современные институты, когда на кону стоит что-то экзистенциальное. Стимулы смещаются в сторону решительности, контроля над повествованием и моральной уверенности. Исправление ошибок становится дорогостоящим с точки зрения репутации. Предосторожность перестает быть инструментом и превращается в доктрину.
Урок заключается не в том, что эксперты уникальны. Он в том, что институты гораздо чаще поощряют чрезмерную самоуверенность, чем скромность, особенно когда совпадают политические факторы, финансирование и общественный страх. Как только чрезвычайные полномочия запрашиваются во имя безопасности, от них редко отказываются добровольно.
Именно такая динамика сейчас наблюдается в дискуссиях о контроле за ИИ.
Машина "А что если"
Одним из распространенных оправданий масштабного государственного вмешательства является гипотетический «злоумышленник»: А что, если это построит террорист? А что, если это сделает государство-изгой? Из этой предпосылки вытекает аргумент о том, что правительства должны действовать превентивно, в больших масштабах и зачастую в условиях секретности, чтобы предотвратить катастрофу.
Во время пандемии COVID-19 аналогичная логика оправдывала масштабные программы биомедицинских исследований, экстренные разрешения и социальный контроль. Рассуждения были замкнутыми: потому что что-то опасное может быть Если это произойдет, государство должно немедленно принять чрезвычайные меры — меры, которые сами по себе несут в себе значительные, плохо изученные риски.
Управление ИИ все чаще рассматривается в таком же ключе. Опасность заключается не только в том, что системы ИИ могут вести себя непредсказуемо, но и в том, что страх перед такой возможностью легитимизирует постоянное чрезвычайное управление — централизованный контроль над вычислениями, исследованиями и информационными потоками — на том основании, что альтернативы нет.
Частный риск, общественный риск
Одно из недооцененных различий в этих дискуссиях заключается в разграничении рисков, создаваемых частными субъектами, и рисков, создаваемых государственной властью. Частные фирмы ограничены — пусть и несовершенно, но существенно — ответственностью, конкуренцией, репутацией и рыночной дисциплиной. Эти ограничения не устраняют вред, но создают замкнутые циклы обратной связи.
Правительства действуют по-разному. Когда государства действуют во имя предотвращения катастроф, обратная связь ослабевает. Неудачи могут быть переквалифицированы в необходимость. Издержки могут быть переложены на внешние факторы. Секретность может быть оправдана соображениями безопасности. Гипотетические будущие риски становятся политическими рычагами в настоящем.
Некоторые специалисты по искусственному интеллекту косвенно признают это. Бостром предупреждал об эффекте «закрепления» — не только со стороны систем ИИ, но и со стороны структур управления, созданных в моменты паники. Призыв Энтони Агирре к глобальной сдержанности, хотя и логически последователен, опирается на международные координационные органы, чья недавняя история скромности и исправления ошибок оставляет желать лучшего. Даже более умеренные предложения предполагают наличие у регулирующих органов способности противостоять политизации и расширению полномочий.
Пандемия COVID-19 не дает нам достаточных оснований для уверенности в этом предположении.
Парадокс недосмотра
Это приводит к тревожному парадоксу, лежащему в основе дискуссии об искусственном интеллекте. Если кто-то действительно считает, что развитие ИИ необходимо ограничивать, замедлять или останавливать, то именно правительства и транснациональные институты, скорее всего, обладают властью для этого. Однако именно эти субъекты, чье недавнее поведение внушает наименьшую уверенность в сдерживаемом и обратимом использовании этой власти.
Концепция чрезвычайных ситуаций устойчива. Полномочия, приобретенные для управления гипотетическими рисками, как правило, сохраняются и расширяются. Институты редко принижают собственную значимость. В контексте ИИ это повышает вероятность того, что реагирование на риски, связанные с ИИ, укрепит хрупкие, политизированные системы контроля, которые сложнее разрушить, чем любую отдельную технологию.
Иными словами, опасность заключается не только в том, что ИИ выходит из-под контроля человека, но и в том, что страх перед ИИ ускоряет концентрацию власти в институтах, которые и без того склонны признавать ошибки и враждебно относятся к инакомыслию.
Переосмысление реального риска
Это не аргумент в пользу самоуспокоения в отношении ИИ и не отрицание того, что мощные технологии могут причинить реальный вред. Это аргумент в пользу расширения рамок. Институциональный сбой сам по себе является экзистенциальной переменной. Система, предполагающая доброжелательное, самокорректирующееся управление, не безопаснее, чем система, предполагающая доброжелательный, согласованный сверхинтеллект.
До пандемии COVID-19 было вполне разумно объяснять большую часть технологического пессимизма предвзятостью, свойственной людям, склонностью считать, что проблемы нашего поколения исключительно неразрешимы. После пандемии скептицизм стал больше похож не на предвзятость, а на опыт.
Таким образом, центральный вопрос в дискуссии об ИИ заключается не только в том, можно ли привести машины в соответствие с человеческими ценностями, но и в том, можно ли доверять современным институтам в управлении неопределенностью без ее усиления. Если это доверие подорвано — а пандемия COVID-19 это подтверждает — то призывы к расширенному надзору за ИИ заслуживают как минимум столь же пристального внимания, как и утверждения о технологической неизбежности.
Наибольший риск, возможно, заключается не в том, что ИИ станет слишком могущественным, а в том, что страх перед такой возможностью оправдывает формы контроля, с которыми, как мы позже обнаружим, гораздо сложнее мириться или от которых сложнее избавиться.
-
Роджер Бейт — научный сотрудник Brownstone, старший научный сотрудник Международного центра права и экономики (с января 2023 года по настоящее время), член правления Africa Fighting Malaria (с сентября 2000 года по настоящее время) и научный сотрудник Института экономических исследований (с января 2000 года по настоящее время).
Посмотреть все сообщения
