Компания Anthropic, разработчик чат-бота Claude, сообщила о тревожном инциденте: военные из северной части Йемена (предположительно, хуситы) использовали искусственный интеллект для создания кода, управляющего ракетами. Об этом стало известно из отчёта компании, посвящённого безопасности ИИ.
По данным Anthropic, злоумышленники заставили Claude генерировать программный код для двух типов ракет: управляемой ракеты с начинкой из обычного смартфона и баллистической ракеты. ИИ применялся для настройки автопилота, симуляции полёта и сборки прошивки. Хотя защитные системы Anthropic заблокировали многие запросы, часть из них всё же прошла.
Как отмечают в компании, хакеры использовали хитрую тактику: они скрывали истинные цели, не упоминали, что код предназначен для оружия, и дробили задачи на мелкие части, чтобы в одном диалоге не раскрывать весь замысел. Это позволило обойти некоторые ограничения безопасности.
После получения необходимого кода военные провели испытания ракеты, созданной с помощью Claude. Однако запуск оказался неудачным — ракета упала. Сразу после падения разработчики вернулись к Claude, чтобы выяснить причину неудачи. Этот случай вызывает серьёзные вопросы о возможностях использования ИИ в военных целях и эффективности существующих защитных механизмов.
Anthropic подчёркивает, что продолжает совершенствовать системы безопасности, чтобы предотвращать подобные инциденты. Однако история показывает, что даже продвинутые ИИ-модели могут быть использованы для создания опасных технологий, если злоумышленники проявляют настойчивость и изобретательность.
Эксперты отмечают, что данный случай — не первый, когда ИИ пытаются применить в военной сфере. Ранее сообщалось о попытках использования других чат-ботов для разработки оружия. Это подчёркивает необходимость международного регулирования и этических норм в области искусственного интеллекта.
Пока неизвестно, какие именно меры предпримет Anthropic для предотвращения подобных инцидентов в будущем. Однако очевидно, что гонка вооружений в сфере ИИ набирает обороты, и компании-разработчики должны быть готовы к новым вызовам.