AI 진단의 충격적 허점, 정확도 95%에서 0%까지 급락하는 이유는?

1. 서론: 의료 AI, 똑똑함 뒤에 숨은 치명적 약점

인공지능(AI)이 의료 현장에서 진단 보조 도구로 각광받고 있지만, 그 이면에는 예상보다 심각한 위험 요소들이 도사리고 있다는 연구 결과가 발표됐습니다. 분당서울대병원 의생명연구원 이충근 교수 연구팀이 KIMES 2026에서 발표한 대규모 문헌 분석 연구에 따르면, 의료용 AI는 악의적 조작이나 단순한 입력 오류만으로도 치명적인 오진을 범할 수 있으며, 심지어 AI가 스스로 제시하는 판단 근거조차 대부분 신뢰할 수 없는 것으로 나타났습니다. 이는 AI 기술의 발전 속도에 비해 안전성 검증이 상당히 뒤처져 있음을 보여주는 경고 신호로 해석됩니다.

2. 연구 배경과 방법론

이충근 교수 연구팀은 EMBASE를 포함한 주요 학술 데이터베이스에서 1만 건 이상의 문헌을 체계적으로 검토하여, 실질적인 의료 AI 위험 사례를 담은 107건의 핵심 연구를 선별해 심층 분석했습니다. 이번 연구는 단순히 AI 성능을 평가하는 것을 넘어서, 실제 임상 환경에서 발생할 수 있는 다양한 위험 시나리오를 종합적으로 검토한 점에서 의미가 큽니다.

연구진은 특히 프롬프트 인젝션(Prompt Injection) 공격, 즉 AI 시스템에 의도적으로 잘못된 정보나 오도하는 지시사항을 입력하는 공격 방식에 주목했습니다. 병리 이미지 분석, 수술 영상 판독, 생성형 AI의 추론 과정 등 다양한 의료 AI 응용 분야에서 이러한 공격이 미치는 영향을 정량적으로 측정했습니다.

3. 프롬프트 조작의 치명적 영향

연구 결과 중 가장 충격적인 발견은 AI 진단 시스템의 취약성이었습니다. 병리 이미지에 잘못된 라벨을 붙이거나 눈에 띄지 않는 오정보를 삽입할 경우, 원래 1.0(100%)에 가깝던 AI 진단 정확도가 0에 수렴할 정도로 급락하는 현상이 관찰됐습니다.

구체적인 사례로, 수술 영상 분석에서 수술용 바늘이 명백히 화면에 보임에도 불구하고 “바늘이 없다”는 오도된 프롬프트를 입력하면, AI가 시각적 정보보다 텍스트 지시사항을 우선시하여 잘못된 판단을 내리는 성능 열화 현상이 확인됐습니다. 이는 AI가 멀티모달(다중 양식) 정보를 처리할 때 텍스트 정보에 과도하게 의존하는 구조적 한계를 보여줍니다.

4. 가짜 근거와 추론의 신뢰성 문제

더욱 심각한 문제는 AI의 추론 과정 자체가 신뢰할 수 없다는 점입니다. 생성형 AI가 자신의 판단 근거를 제시하도록 설정했을 때, 도출된 추론 근거가 실제로 올바른 경우는 20% 미만에 불과했습니다. 즉, AI가 정답을 맞히더라도 그 이유는 대부분 잘못되었다는 뜻입니다.

이는 의료진이 AI의 판단을 검토할 때 제시된 근거를 믿고 의사결정을 내린다면, 우연히 맞힌 답안을 논리적으로 타당한 것으로 오해할 수 있음을 시사합니다. 실제로 자동화 편향(Automation Bias) 현상도 확인됐는데, 응급실 등 긴박한 임상 환경에서 의료진이 AI의 오류를 충분히 검토하지 못하고 수용하는 경우 AI 사용 그룹의 정확도가 AI를 사용하지 않은 대조군보다 오히려 떨어지는 현상이 나타났습니다.

5. 시스템 복잡성과 성능 변동성 문제

연구진은 AI 시스템의 복잡성이 증가할수록 성능이 저하되는 역설적 현상도 발견했습니다. 지식 정보 보강 에이전트를 3개까지 늘려 시뮬레이션한 결과, 에이전트 수가 증가할수록 AI의 판단 성능은 오히려 하락했습니다. 이는 다중 AI 에이전트 간 정보 전달 과정에서 오류가 누적되거나 상충하는 정보로 인한 혼란이 발생하기 때문으로 분석됩니다.

또한 클라우드 기반 생성형 AI 모델의 경우, 제조사의 지속적인 모델 업데이트로 인해 성능이 예측 불가능하게 변동하는 문제도 확인됐습니다. 특정 생성형 모델의 분석 초기 정확도가 95%였으나, 90일 만에 70%로 하락한 사례가 보고되어, 일관된 성능이 필수적인 의료기기 분야에서는 이러한 변동성이 심각한 문제가 될 수 있음을 보여줍니다.

의료 데이터의 본질적 한계도 지적됐습니다. 병원별로 다른 설비 사양과 환자군의 인구통계학적 특성 차이로 인해 물리적 편향성 제거가 사실상 불가능하며, 특히 데이터량이 부족한 희귀질환 분야에서는 AI의 진단 신뢰도가 현저히 낮아진다고 연구진은 설명했습니다.

6. 참고자료

• 원문 기사 보기