최근 독일의 한 연구진은 AI 챗봇을 사용하여 연구 내용을 단축할 때 편향이 발생할 위험성에 대해 경고했습니다. 연구팀은 인간이 작성한 4,900개의 과학 초록을 분석한 후, 여러 AI 모델을 사용하여 이러한 시스템이 정보를 처리하는 방식을 비교했습니다. 그 결과, 대부분의 챗봇은 정확한 요약을 요구받았음에도 불구하고 과도한 일반화를 하는 것으로 나타났습니다.
AI는 과학 연구를 요약할 때 편향될 가능성이 있습니다.
테스트 결과, AI 모델은 별도의 지침 없이 인간 전문가보다 5배 더 많은 실수를 저질렀습니다. 정확성에 대한 명확한 요구 사항이 있었음에도 불구하고, 오류율은 표준 요약보다 두 배나 높았습니다. 팀원 중 한 명은 "일반화는 때로는 무해해 보이지만, 실제로는 원래 연구의 본질을 바꿔놓습니다."라고 말했습니다. "이것은 체계적인 편향입니다."
주목할 점은, 최신 버전의 챗봇이 문제를 해결하지 못하고 오히려 악화시켰다는 것입니다. AI가 생성한 요약은 매끄럽고 매력적인 언어로 인해 쉽게 신뢰할 수 있는 것처럼 보이지만, 실제 내용은 왜곡되어 있습니다. DeepSeek은 "안전하고 성공적으로 시행될 수 있다"라는 문구를 "안전하고 효과적인 치료"로 변경했는데, 이는 원래 연구 결과를 재해석한 것입니다.
또 다른 예로, 라마 모델은 복용량, 빈도 또는 부작용을 명시하지 않고 젊은층에게 당뇨병 치료제를 권장했습니다. 만약 독자가 의사나 의료 전문가이고 원래 연구 결과를 바탕으로 정보를 검증하지 않는다면, 이러한 요약은 환자에게 직접적인 위험을 초래할 수 있습니다.
전문가들은 이러한 현상이 AI 모델 훈련 방식에 기인한다고 말합니다. 오늘날 많은 챗봇은 이미 축약된 대중 과학 뉴스와 같은 2차 데이터를 기반으로 훈련됩니다. AI가 축약된 콘텐츠를 계속 요약할수록 왜곡 위험이 커집니다.
정신 건강 분야의 AI 전문가들은 AI 개발 및 사용 초기 단계에서 기술적 장벽을 구축해야 한다고 말합니다.
사용자는 채팅봇이 콘텐츠를 쉽게 왜곡할 수 있으므로 주의해야 합니다.
사용자들이 과학 학습을 위해 AI 챗봇에 점점 더 의존하게 되면서, 작은 해석 오류들이 빠르게 축적되고 확산되어 광범위한 오해로 이어질 수 있습니다. 과학에 대한 신뢰가 감소하는 이 시기에 이러한 위험은 더욱 우려스럽고 심각한 주의를 기울여야 합니다.
AI를 지식 연구 및 보급에 접목하는 것은 거스를 수 없는 추세입니다. 그러나 전문가들은 기술이 과학적 내용을 이해하고 검증하는 데 있어 인간의 역할을 대체할 수 없다고 단언합니다. 의학과 같은 고위험 분야에서 챗봇을 활용할 때는 매끄러운 언어 경험이나 응답 속도에만 집중하기보다는 정확성을 최우선으로 고려해야 합니다.
출처: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html
댓글 (0)