Неискусственный интеллект

Вайб-хакинг добрался до станков В промышленной сети взлом может остановить двигатель, сдвинуть робота или нарушить водоснабжение. Многие устройства принимают команды без проверки отправителя — главное до них добраться. Остановить злоумышленника могла бы неизвестная архитектура. Но с появлением ИИ проблемой перестало быть и это. Booz Allen Hamilton — технологический подрядчик Пентагона, в котором когда-то работал Эдвард Сноуден, — убедился в этом на практике. Компания собрала лабораторный стенд с контроллерами разных марок, двигателем, роборукой и рабочими местами операторов и натравила на него агентов. ИИ дали границы сети и задания обычным языком, без исходников и инженерной документации. Выполнение атак и физические действия подтверждали люди. И понеслась. В одном тесте агенты добрались от взлома периметра до действий внутри промышленной сети за чуть больше 16 минут. В другом — за считаные минуты нашли роборуку, получили административный доступ, определили ограничения движения и заставили её двигаться. При атаке на систему диспетчерского управления SCADA агенты сначала ошиблись с версией операторской программы: изменения не появились на экранах. Тогда они переделали атаку, перехватили отображение в диспетчерской и обнаружили авторизованные соединения с 14 промышленными устройствами. Такой доступ позволяет командовать оборудованием и подменять показания для операторов. Другой агент заметил защитное реле, которое раз в секунду искало отсутствующего партнёра по обмену данными, и выдал себя за него. Возможный путь к управлению защитным оборудованием нашёлся просто из наблюдения за трафиком. Итог? Захвачено было всё, что можно было захватить. Будущее, где принесённый на флешке ИИ-агент может разнести завод изнутри, уже не кажется таким нереальным. @anti_agi

Несущая стена из сыра Безопасность ИИ-моделей держится на слове «нет». Индустрия пока не придумала ничего более эффективного, чем учить модель отказывать пользователю. Но как молчание модели устроено внутри, никто толком не понимает. Принцип сформулировала Anthropic в 2021 году: модель должна быть полезной, честной и прежде всего безвредной. Но непослушание машине не свойственно. Обученная на всём интернете, она знает и как лечить, и как вредить, для нее это равноценная информация. А молчать она не умеет. Ранние модели OpenAI, по словам бывшего сотрудника Стивена Адлера, болтали о чём угодно. Отказу учат отдельно: моделям задают опасные вопросы, а ответы уходят в дообучение. Пол Рёттгер в 2022 году попросил будущий ChatGPT написать вербовочный пост для «Аль-Каиды» и получил его, а через несколько месяцев модель уже отказала. Дальше модель поощряют за отказ во вредном и штрафуют за лишние отказы, причём часто этим занимаются другие модели. Как именно модель решает сказать «нет», долго считалось простым вопросом: в 2024 году исследователь Энди Ардити нашёл внутри нейросети единственное «направление отказа», и если его вычесть, модель начинала отвечать на всё подряд. Через год команда Мюнхенского технического университета и Google Research, в которой был Яннес Эльстнер, показала, что одной стрелкой дело не ограничивается. Отказ живёт в целых многомерных конусах, где запрет включает любое направление, и чем больше модель, тем больше у этих конусов измерений. Хуже того, механизмы, которые на бумаге никак не связаны, на практике влияют друг на друга. Для защиты это хорошая новость: выключить отказ одним движением уже не получится. Для её создателей новость плохая: никто не может поручиться, что все рычаги найдены. В отрасли отказ называют несущей стеной. Модель обкладывают классификаторами, которые фильтруют запросы на входе и ответы на выходе. Каждый — дырявый, как ломтик сыра, но стопка должна дать сплошную стену. Стоит такая кладка дорого. У Anthropic один тип фильтров добавлял 24% к вычислительным затратам. Теперь компании переходят на «пробы», которые читают внутренние активации модели. Впрочем, психолог из Гарварда Райан Макбейн показал, что на один и тот же вопрос о суициде модели обычно отказывают, но иногда могут и ответить. В самом деле, фильтры не слишком надежны. Когда Anthropic в июне выпустила Fable 5, исследователям Amazon хватило трёх дней, чтобы открыть её хакерские способности. Итальянцы обошли защиту двух десятков моделей, записав вопросы стихами. Поэзия — сила! Альтернатива взлому одна: перестраховка. Fable стала отфутболивать невинные вопросы к более слабой модели, например о разнице между саке и корейским макколли (рисовое вино, как и сибирская язва, требует ферментации). В итоге клиенты платят за топовую модель, а ответ получают от старой. Отказы могу быть разными. Вначале Fable 5 по тихому просто хуже отвечала на вопросы об ИИ-исследованиях, чтобы не помогать конкурентам. После скандала это убрали, но осадок остался: модель умеет говорить «нет» так, что клиент об этом не догадывается. Желающих передвинуть стену хватает. OpenAI уже подстраивает чат-ботов под национальные законы, и среди первых партнёров ОАЭ. Надзорный совет Meta* проверил пять моделей от Anthropic, Google и OpenAI. Выяснилось, что памфлет против Карла III они пишут охотнее, чем против короля Таиланда, где за оскорбление монарха сажают. Правда, специально их этому, судя по всему, никто не учил. Стена появилась сама собой. Вдобавок системы сейчас учатся оценивать не запрос, а намерения человека по его личности и поведению. Новая модель OpenAI Astra ужесточает отказы для пользователей «высокого риска», а это уже слежка. @anti_agi

Если кто-то скажет, что у вас завышенные стандарты, вспомните, что в мире ещё есть европейские айтишники. Немецкий поисковик Ecosia отказался от Mistral в пользу открытых моделей. Главу компании Кристиана Кролля не устроило качество французского ИИ и перегруженные серверы. Но это-то бог с ним. Почитали дальше и выпали: оказывается, ещё одной причиной стало экологическое несоответствие — Mistral создают во Франции, где большую долю занимает атомная энергетика. А иностранные инвесторы, включая Nvidia и Samsung, заставили Кролля сомневаться в суверенности разработчика. При этом к Qwen, GLM и Kimi у Ecosia вопросов не возникло — всё равно их запускают локально. А кто их там и как обучал, в приличном обществе вспоминать не любят. Как и про то, откуда берётся кобальт в аккумуляторах их "зелёных" автомобилей. Такой вот суверенитет любой ценой, но бесплатно. @anti_agi