Функция долговременной памяти ChatGPT — это новая функция, представленная OpenAI в феврале 2024 года и расширенная в сентябре.
Недавно исследователь безопасности Иоганн Ребергер обнаружил серьезную уязвимость, связанную с этой функцией.
Известно, что эта новая функция помогает чат-ботам сохранять информацию из предыдущих разговоров. Благодаря этому пользователям не приходится повторно вводить информацию, такую как возраст, интересы или личные взгляды, каждый раз, когда они общаются. Однако это стало уязвимостью для злоумышленников.
Иоганн Ребергер показал, что хакеры могут использовать технику, называемую prompt injection — вставлять вредоносные инструкции в память, заставляя ИИ подчиняться. Эти команды будут доставляться через ненадежный контент, такой как электронные письма, документы или веб-сайты.
После сохранения этих поддельных воспоминаний ИИ продолжит использовать их как реальную информацию в разговорах с пользователями, что может привести к сбору и неправомерному использованию персональных данных пользователей.
Ребергер привел конкретный пример, отправив ссылку, содержащую вредоносное изображение, которое заставило ChatGPT сохранить ложную память. Эта информация повлияет на будущие ответы ChatGPT. В частности, любая информация, введенная пользователем, также будет отправлена на сервер хакера.
Соответственно, для запуска атаки хакеру достаточно убедить пользователей ChatGPT нажать на ссылку, содержащую вредоносное изображение. После этого все чаты пользователя с ChatGPT будут перенаправлены на сервер злоумышленника, не оставляя никаких следов.
Ребергер сообщил об ошибке OpenAi в мае 2024 года, но компания посчитала это всего лишь уязвимостью безопасности. Получив доказательства того, что пользовательские данные могут быть украдены, компания выпустила временный патч для веб-версии ChatGPT.
Хотя проблема была временно устранена, Ребергер отмечает, что ненадежный контент все еще может использовать инъекцию Prompt для вставки поддельной информации в долговременную память ChatGPT. Это означает, что в определенных случаях хакеры все еще могут использовать уязвимость для хранения вредоносных воспоминаний с целью кражи личной информации в долгосрочной перспективе.
OpenAI рекомендует пользователям регулярно проверять сохраненные воспоминания ChatGPT на предмет ложных срабатываний, а также предоставляет подробные инструкции по управлению и удалению воспоминаний, сохраненных в инструменте.
Источник: https://kinhtedothi.vn/nguoi-dung-chatgpt-co-nguy-co-bi-danh-cap-thong-tin.html
Комментарий (0)