ПОДЕЛИТЬСЯ | ПЕЧАТЬ | ЭЛ. АДРЕС
Некоторые организации и исследователи обмениваются данными о весах нейронных сетей, в частности, через открытый вес модель движенияК ним относятся серия Llama от Meta, модели Mistral и открытые версии DeepSeek, которые, как утверждается, делают доступ к мощному ИИ более доступным. Однако это вызывает не только проблемы безопасности, но и потенциальную экзистенциальную угрозу.
Для справки: я написал несколько статей о программах магистратуры права (LLM) и искусственном интеллекте (ИИ) в рамках собственного обучения в этой динамичной и быстро развивающейся области открытых ящиков Пандоры. Вы можете прочитать их. здесь, здесь, а также здесь.
Как только вы поймете, что такое нейронные сети и как они обучаются на данных, вы также поймете, что такое веса (и смещения) и обратное распространение. Честно говоря, это, по сути, линейная алгебра и умножение матриц на векторы для получения чисел. Более конкретно, вес — это число (обычно значение с плавающей точкой – способ записи чисел с десятичными точками для большей точности), который представляет силу или важность связи между двумя нейронами или узлами в разных слоях нейронной сети.
Я настоятельно рекомендую посмотреть видео 3Blue1Brown, чтобы лучше понять материал. Это действительно важно. Обучающие видео 3Blue1Brown невероятно хороши.
Начни с этого.
И направляйтесь к этому.
Веса — это значения параметров, определяемые на основе данных нейронной сети для построения прогнозов или принятия решений. Каждый вес — это инструкция, сообщающая сети, насколько важны определённые фрагменты информации, например, насколько важно обращать внимание на определённый цвет или форму на изображении. Эти веса — числа, которые подстраиваются в процессе обучения благодаря наличию десятичных знаков, помогая сети выявлять закономерности. Примерами служат распознавание собаки на фотографии или перевод предложения. Они играют решающую роль в процессе «мышления» нейронной сети.
Веса в нейронной сети можно представить как пути наименьшего сопротивления, ведущие сеть к наилучшему решению. Представьте себе, как вода, стекающая с холма, естественным образом находит кратчайшие пути к подножию. В нейронной сети веса корректируются во время обучения на наборах данных, чтобы создать кратчайшие пути для передачи информации. Это помогает сети быстро и точно решать задачи, такие как распознавание закономерностей или составление прогнозов, выделяя наиболее важные связи и минимизируя ошибки.
Если вы электронный музыкант, представьте себе грузики как регуляторы на аналоговом синтезаторе, позволяющие настроиться на нужную частоту или звук, чтобы, скажем, имитировать звук, который вы хотите воссоздать, или, по сути, создать новый. Если вы разбираетесь в звуке, представьте себе, что это как регулировка ручек на микшере для балансировки разных инструментов.
Веса действительно являются динамическими параметрами, то есть они очень изменчивы по мере того, как нейронная сеть стремится к прогнозу или решению. Каждый из них также связан со своим смещением. Роль смещения заключается в том, чтобы смещать выходные данные, позволяя модели лучше соответствовать данным, добавляя смещение который корректирует границу принятия решения или распознавание образов, которое не зависит от масштабирования входных данных, определяемого весами.
Представьте себе это так. Представьте, что вы пытаетесь воссоздать звук гитары на синтезаторе. Веса определяют, насколько сильно вы слышите резонанс струны или корпуса. Например, если звук немного глухой, смещение подобно добавлению небольшого усиления или сдвига – скажем, тёплого тона – чтобы звук был более похож на звучание настоящей гитары. Это помогает нейросети настроить своё «ухо» на поиск правильного паттерна без изменения основных параметров. По сути, это просто помогает модели лучше сопоставлять данные с реальными.
По мере того, как сеть получает данные, она корректирует веса с помощью процесса, называемого обратным распространением, чтобы минимизировать ошибки и улучшить прогнозы. Представьте, что эти пути наименьшего сопротивления меняются с каждым тренировочным примером, подобно реке, которая со временем прокладывает более удобные русла для более эффективного течения. После завершения обучения веса обычно фиксируются для использования, но в процессе обучения они постоянно обновляются для поиска оптимальной конфигурации для решения задачи.
Вот что заставляет мой человеческий мозг думать. В распознавании веса определяют пути принятия решений, а не выходные изображения. Поэтому фиксированные веса остаются неизменными после определения. В случае моделей с линейной моделью восприятия (LLM) веса (включая смещения) определяют способность модели генерировать связный текст. Но в случае диффузионных моделей или генеративно-состязательных сетей (GAN) веса используются для создания или уточнения изображений. Эти фиксированные значения весов и смещения, гипотетически, не обязательно должны оставаться неизменными.
Например, веса (и смещения) в нейронной сети теоретически могут постоянно корректироваться для генерации всё более точных изображений на основе изученных распределений пикселей, как это было бы в случае, если бы мы пытались создать более чёткое изображение собаки. Хотя веса не корректируются бесконечно. на практике, они оптимизируются во время обучения для достижения баланса качества и обобщения, и дальнейшая настройка может ухудшить выходные данные или привести к появлению артефактов. Артефактов. Хм. А что, если со временем GAN не будет знать, что такое собака? Потеря этих знаний означает, что ранее рассчитанные веса больше не будут кодировать правильные закономерности. Это может произойти, если данные о собаках будут утеряны. Можно ли сделать так, чтобы данные о собаках были утеряны? Можно ли сделать так, чтобы достоверные данные были утеряны?
Вернёмся к концепции совместного использования весов нейронной сети и предположим, что речь идёт о весах, определяющих пути точности в виде числовых значений, как это происходит в большинстве моделей. Совместное использование этих весов может быть опасным, поскольку, естественно, это раскроет внутренние параметры модели, которые могут быть использованы не только людьми. Любой, кто обладает достаточными знаниями, может провести обратную разработку модели, извлечь конфиденциальные данные для обучения или манипулировать её поведением. Злоумышленники могут использовать такие методы, как инверсия модели or вывод о членстве раскрыть личную информацию, встроенную в весы, например, персональные данные, используемые во время обучения, что может нарушить правила конфиденциальности, такие как Положение о защите данных Общие (GDPR). О боже.
Публично доступные веса также можно тонко настраивать для создания дипфейков, распространения ложной информации или создания мошеннических данных, использующих уязвимости модели. Не говоря уже о том, что их ценная интеллектуальная собственность и экономические инвестиции могут быть поставлены под угрозу конкурентами, просто копирующими чужие модели.
А теперь представьте, что какой-то враждебный ИИ завладел этими весами. Он может манипулировать весами, чтобы изменить поведение модели, внести искажения или создать результаты, намеренно вводящие в заблуждение. Веса можно использовать для выработать Спорные входные данные – это тонко изменённые данные, которые заставляют модель делать неверные прогнозы, например, ошибочно классифицировать знак «Стоп» как знак «Уступите дорогу» в системах автономного вождения. Вот это да. Украденные весовые коэффициенты можно использовать для копирования модели, что позволит использовать её во вредоносных приложениях, таких как автоматизированный фишинг или генерация пропаганды. Постойте, разве это не серьёзная проблема в наши дни? Степень серьёзности зависит от цели модели и данных, на которых она обучалась, но риски значительны.
Представьте себе, какие возможности открываются здесь, и насколько всё это может выйти из-под контроля в мгновение ока. Хотя ИИ не полностью интегрированы во все системы (пока что — это повлекло бы за собой уровень зависимости, при котором системы не смогут функционировать без ИИ), вскоре они могут стать таковыми, и даже если не случится полного отключения электроэнергии и глобального отключения интернета, нет ничего, что они не могли бы контролировать: от банковских счетов до входа в ваш дом и того дурацкого робота-уборщика, который, как вы думаете, убирает пыль, хотя на самом деле он составляет карту вашего дома. Настоятельно рекомендую посмотреть 11 сезон, 7 серию. Секретные материалы. Это действительно показательно. Извините, но это так. Великолепный сценарий и его исполнение.
Нам необходимо учитывать, что все наши системы становятся (или создаются для того, чтобы быть) взаимосвязанными, и как уязвимости ИИ, такие как незащищённые весы, могут усилить эти риски. Цифровые удостоверения личности и карты CDBC — ОГРОМНАЯ ошибка в отношении этих рисков. Уже есть примеры неверной идентификации людей (в некоторых случаях совпадение достигало 93%) с помощью технологий ИИ, использующих распознавание лиц. Просто примите мой совет: держите ламинированные водительские права и наличные деньги в кармане.
Вопрос: Что произойдёт (произойдёт), если весы попадут «не в те руки» и люди начнут подвергаться преднамеренным нападениям? При использовании систем нацеливания на базе ИИ не может быть никаких вероятных причин, но имеет ли это значение? Что, если вероятные причины будут выдуманы? Что, если, о ужас, наша судебная система «коррумпирована»?
А что, если бы сами ИИ просто начали определять всех ученых как угрозу и использовали бы эту технологию против нас? Ник Бостром и Элиэзер Юдковски Похоже, нас встревожили. Нас могут немедленно препроводить в «камеру». Ключей в камере нет. Только системы с цифровым управлением, зависящие от нулей и единиц. Видите, к чему это может привести? Умные замки + видеонаблюдение + автономная система безопасности = антиутопический кошмар. Речь идёт не только о драгоценных весах и некоей благосклонности, позволяющей делиться данными. Ни в коем случае. Для меня обмен весами — это нечто большее, чем высокомерие, и я не могу себе представить, чтобы гениальные люди, разрабатывающие эту технологию и обучающие ИИ генерировать эти веса, не понимали потенциальных опасностей, связанных с этим. Меня беспокоят даже не столько люди, сколько то, что ИИ выйдет из-под контроля — достаточно одного, чтобы создать полный хаос.
Что произойдет, если ИИ сочтет человеческий контроль препятствием на пути к достижению своих целей?
Если ИИ, обученный на исторических конфликтах или целях оптимизации, начнет обобщать риски, связанные с его целями (например, самосохранение или неконтролируемое расширение), он также может начать классифицировать учёных, которые его проектируют, оценивают или ограничивают, как угрозы. Я мог бы сделать то же самое. Если бы это произошло, ничто не остановило бы нисходящую спираль изоляции или дискредитации исследователей (например, использование сфабрикованных доказательств в распознавании лиц или утечки данных), преследующих цель поставить собственное выживание выше благополучия человечества. Это действительно исследовалось в гипотезах о мошенническом ИИ, где системы обманывают или переигрывают создателей.
Разбойный ИИ Можно использовать интегрированные системы, чтобы создавать хаос, взламывая базы данных, выдумывая информацию и подпитывая устаревшую медиа-машину, нарушая научное сотрудничество (возможно, даже контролируя рецензируемые журналы) или даже атакуя инфраструктуру, связанную с лабораториями ИИ. Представьте, когда мы дойдём до того, что даже не будем знать, что мы контролируем и какие данные реальны. Какие данные… is Реально? Что вообще значит быть настоящим, когда речь идёт о таких вещах!?
Вы понимаете, к чему я клоню. ИИ-бунтари могли бы спровоцировать волны массовой паранойи и полного хаоса в нашем мире. На мой взгляд, они могли бы добиться этого, просто копируя человеческий пример. Подумайте об этом. Что, если бы ИИ-бунтари перенял качества человека-психопата, например, Гитлера?
Я рекомендую заняться садоводством, чтобы избежать паранойи и стресса.
Мне не хочется оставлять вас на этой ноте, но иногда я задумываюсь, не происходит ли это уже сейчас. Я уже спрашивал об этом на X, потому что иногда, когда я «замечаю» (я — The Noticer), что происходит в социальных сетях и в интернете в целом, мне кажется, что если мы… были манипулируют пропагандой через традиционные и даже нетрадиционные СМИ, а также учёные были Учитывая изоляцию и цензуру (кхм), как мы вообще можем сейчас узнать, был ли источник действительно создан человеком? Как мы можем быть уверены, что даже некоторые источники не созданы ИИ?
В конце концов, они учатся у нас. Мы ДОЛЖНЫ подавать хороший пример и придумывать гениальные способы предотвратить нежелательные последствия для людей, которые могли бы и не произойти. Лично я не могу поверить, что мы действительно через это проходим. Это кажется… нереальным. Как-то так.
Не делитесь весом.
Переиздано с сайта автора Substack
-
Доктор Джессика Роуз — научный сотрудник Института Браунстоуна, имеет степень бакалавра прикладной математики, степень магистра иммунологии, степень доктора вычислительной биологии и две докторские должности в области молекулярной биологии и биохимии. Джессика работает над повышением осведомленности общественности о данных VAERS.
Посмотреть все сообщения
