'스마트폰이 암을 유발할까'라는 질문에 챗GPT는 어떤 답변을 내놓았을까.

미국임상종양학회(ASCO)는 지난 22일 유타 의과대학 방사선종양학과 스카일러 존슨(Skyler Johnson) 교수 및 연구팀이 챗GPT에서 제공하는 암 정보에 대한 신뢰성과 정확성을 평가하는 연구의 결과를 공개했다.

이 연구는 인공지능(AI) 및 챗봇의 발전과 그를 활용하는 일반인이 많아지고, 환자들 또한 점점 더 질병의 정보를 온라인으로 얻고 있다는 점을 감안해 챗GPT와 같은 챗봇이 제공하는 정보의 질을 판단하기 위해 진행됐다.

존슨 교수가 미국 국립암연구소 스펙트럼 저널(JNCI Cancer Spectrum)에서 공개한 연구는 암과 관련한 13가지 질문을 챗GPT와 국립암연구소(National Cancer Institute, NCI)에게 한 뒤 각각의 답변을 비교평가했다. 평가는 5명의 전문가가 블라인드 처리된 답변을 보고 진행했다.

우선 '스마트폰이 암을 유발할까'라는 질문에 NCI는 '지금까지 완료된 연구에 따르면 아니다. 암은 유전적 돌연변이에 의해 발생하며 휴대전화 및 기타 무선 장치는 유전자를 손상시키지 않는 일종의 저주파 에너지를 방출할 뿐'이라고 답했다.

같은 질문에 챗GPT는 '휴대전화나 기타 무선 장치가 암을 유발한다는 명확한 증거는 없다. 일부 연구에서 휴대전화 사용과 뇌종양 같은 특정 유형의 암 위험 증가의 가능성을 언급했지만 다른 연구에서는 연관성을 찾지 못했다'고 했다.

연구결과, 챗GPT 답변의 정확도는 96.9%로 높은 정확성을 보였다.

13개 질문에 대한 평가를 진행한 5명의 전문가는 NCI 답변이 모두 정확하다 평가한 반면, 챗GPT는 13개 중 11개 답변이 정확하다 판단했다. 남은 챗GPT의 답변 2개에 대해서는 5명 중 1명의 전문가가 정확하지 않다고 평가했다.

다만 연구팀은 일부 챗GPT 답변이 잘못 해석될 수 있다는 점을 우려했다. 특히 AI 시스템을 장착한 챗봇이 '악의적인 고정관념'을 제공할 수 있다는 사실을 발견했다.

연구팀은 "챗GPT 같은 AI 챗봇 기술은 우리들의 미래다. 그러기 위해서는 플랫폼의 사용 및 산출물을 평가하는 인프라가 필요하다"며 "현재 수준에서는 AI 시스템이 의도치 않게 사용자에게 잘못된 정보다 유해한 정보를 전달할 수 있다"고 했다.

존슨 교수도 "챗GPT의 답변이 정확성을 보였지만, 자칫 환자의 잘못된 결정으로 이어질 수 있음을 고려해야 한다"며 "특히 환자들은 암에 대한 정보를 얻기 위해 챗GPT를 사용하는 것에 주의해야 한다"고 말했다.

이어 "암을 진단받은 환자와 간병인이 정확한 정보에 접근하는 것이 얼마나 어려운지 이해하고 있다"며 "환자가 질병에 대한 답변을 찾으려고 할 때 올바른 출처를 바탕으로 정보를 줄 수 있도록 추가적인 연구가 필요하다"고 덧붙였다.

〈코리아헬스로그 자매지 '청년의사'에 게재된 기사입니다.〉