ChatGPT의 장기 메모리 기능은 OpenAI가 2024년 2월에 도입하고 9월에 확장한 새로운 기능입니다.
최근 보안 연구원인 요한 레흐베르거는 이 기능과 관련된 심각한 취약점을 공개했습니다.
이 새로운 기능은 챗봇이 이전 대화의 정보를 저장하는 데 도움이 되는 것으로 알려져 있습니다. 덕분에 사용자는 채팅할 때마다 나이, 관심사, 개인 의견 등의 정보를 다시 입력할 필요가 없습니다. 그러나 이는 공격자가 악용할 수 있는 약점으로 작용했습니다.
요한 레베르거는 해커들이 '즉각 주입(prompt injection)'이라는 기법을 사용할 수 있음을 보여주었습니다. 즉, 메모리에 악성 명령을 삽입하여 AI가 명령을 따르도록 강제하는 것입니다. 이러한 명령은 이메일, 문서, 웹사이트 등 신뢰할 수 없는 콘텐츠를 통해 전달됩니다.
이러한 가짜 기억이 저장되면 AI는 이를 사용자와의 대화에서 실제 정보로 계속 사용하게 되며, 이로 인해 사용자의 개인 데이터가 수집되고 오용될 수 있습니다.
레흐베르거는 악성 이미지가 포함된 링크를 전송하여 ChatGPT가 가짜 메모리를 저장하도록 하는 구체적인 사례를 제시했습니다. 이 정보는 ChatGPT의 향후 대응에 영향을 미칠 수 있습니다. 특히, 사용자가 입력한 모든 정보는 해커의 서버로 전송됩니다.
따라서 해커는 ChatGPT 사용자가 악성 이미지가 포함된 링크를 클릭하도록 유도하기만 하면 공격을 시작할 수 있습니다. 그러면 사용자의 ChatGPT 채팅은 아무런 흔적도 남기지 않고 공격자 서버로 리디렉션됩니다.
Rehberger는 2024년 5월 OpenAi에 이 버그를 보고했지만, OpenAi는 이를 보안 결함으로 간주했습니다. 사용자 데이터가 유출될 수 있다는 증거를 입수한 후, OpenAi는 ChatGPT 웹 버전에 임시 패치를 배포했습니다.
이 문제는 일시적으로 해결되었지만, Rehberger는 신뢰할 수 없는 콘텐츠가 여전히 프롬프트 주입을 사용하여 ChatGPT의 장기 메모리에 가짜 정보를 삽입할 수 있다고 지적합니다. 이는 특정 상황에서 해커가 이 취약점을 악용하여 악성 메모리를 저장하고 개인 정보를 장기적으로 훔칠 수 있음을 의미합니다.
OpenAI에서는 사용자에게 ChatGPT에 저장된 메모리를 정기적으로 검사하여 거짓 양성 반응이 있는지 확인할 것을 권장하며, 도구에 저장된 메모리를 관리하고 삭제하는 방법에 대한 자세한 지침도 제공합니다.
[광고_2]
출처: https://kinhtedothi.vn/nguoi-dung-chatgpt-co-nguy-co-bi-danh-cap-thong-tin.html
댓글 (0)