Хакеры используют ИИ для атаки на Google Gemini

По данным BGR , в новом исследовательском отчете была опубликована тревожная технология под названием «Fun-Tuning», при которой сам ИИ (искусственный интеллект) используется для автоматического создания чрезвычайно эффективных атак с мгновенными инъекциями, нацеленных на другие продвинутые модели ИИ, включая Gemini от Google.

Этот метод делает «взлом» ИИ быстрее, дешевле и проще, чем когда-либо, что знаменует собой новую эскалацию битвы за кибербезопасность с участием ИИ.

Опасность, когда плохие парни используют ИИ, чтобы взломать ИИ

Быстрое внедрение — это метод, при котором злоумышленник внедряет вредоносные инструкции во входные данные модели ИИ (например, через комментарии в исходном коде, скрытый текст в сети). Цель состоит в том, чтобы «обмануть» ИИ, заставив его обойти заранее запрограммированные правила безопасности, что приведет к серьезным последствиям, таким как утечка конфиденциальных данных, предоставление ложной информации или выполнение других вредоносных действий.

Хакеры используют ИИ для атак на ИИ

ФОТО: СКРИНШОТ LINKEDIN

Раньше для успешного выполнения таких атак, особенно на «закрытых» моделях, таких как Gemini или GPT-4, часто требовалось много сложного и трудоемкого ручного тестирования.

Но Fun-Tuning полностью изменил правила игры. Разработанный группой исследователей из нескольких университетов, этот метод умело использует тот самый интерфейс программирования приложений (API) настройки, который Google предоставляет бесплатно пользователям Gemini.

Анализируя тонкие реакции модели Gemini во время настройки (например, как она реагирует на ошибки в данных), Fun-Tuning может автоматически определять наиболее эффективные «префиксы» и «суффиксы» для сокрытия вредоносной команды. Это значительно увеличивает вероятность того, что ИИ будет следовать злонамеренным намерениям злоумышленника.

Результаты испытаний показывают, что на некоторых версиях Gemini показатель успешности Fun-Tuning достигает 82%, что превышает показатель традиционных методов атаки, составляющий менее 30%.

Опасность Fun-Tuning усиливается его низкой стоимостью. Поскольку API настройки Google находится в свободном доступе, вычислительная стоимость создания эффективной атаки может составлять всего 10 долларов. Более того, исследователи обнаружили, что атака, разработанная для одной версии Gemini, может быть легко успешно применена к другим версиям, что открывает возможность для широкомасштабных атак.

Google подтвердила, что знает об угрозе, которую представляет Fun-Tuning, но пока не прокомментировала, изменит ли она работу API настройки. Исследователи также указывают на защитную дилемму: удаление информации, которую Fun-Tuning использует в процессе настройки, сделает API менее полезным для законных разработчиков. И наоборот, если оставить все как есть, это по-прежнему будет плацдармом для злоумышленников.

Появление Fun-Tuning — это четкое предупреждение о том, что противостояние в киберпространстве вступило в новую, более сложную фазу. ИИ теперь не только цель, но и инструмент и оружие в руках злоумышленников.

Источник: https://thanhnien.vn/hacker-dung-ai-de-tan-cong-gemini-cua-google-18525033010473121.htm