포스텍 IT융합공학과‧전자전기공학과‧기계공학과 김철홍 교수 연구팀 (전자전기공학과 미스라 삼파, 윤치호 연구원)이 B-모드(B-mode)와 초음파 변형 탄성 영상(Strain Elastography Ultrasound Images)을 병용해 더 정확히 유방암을 분할·분류하는 딥러닝 기반 다중 모달 융합 네트워크를 개발했다고 발표했다.

유방암은 3기 중반부터는 생존율이 75% 이하로 급격히 낮아지는 만큼 정기검진을 통한 조기 발견이 무엇보다 중요하다.

초음파 검사는 유방 병변을 평가하기 위한 주요 의료 영상 양식 중 하나로 악성 병변과 양성을 구별하기 위한 컴퓨터 보조 진단(CAD) 시스템은 병변의 특징을 자동으로 세분화하고 식별함으로써 방사선 전문의에게 큰 도움을 준다.

여기서 연구팀은 장기의 단면상을 실시간으로 화면에 흑백 음영으로 표시하는 일반적인 B(Brightness) 모드와 변형 탄성 그래피(SE, Strain Elastohraphy-mode) 이미지를 활용해 병변을 분할한 다음, 악성에서 양성을 분류하는 딥러닝(DL) 기법을 결합하는 방법을 제안했다.

먼저, 병변의 분할을 위해 가중 스킵 커넥션 방법을 사용해 서로 다른 영상 양식에 최적의 가중치를 적용하는 ‘가중 멀티모달 U-Net(W-MM-U-Net) 모델’을 개발했다.

또한, 양성·악성 병변을 분류하기 위해 잘린 B-모드와 SE-모드 초음파(US) 병변 이미지에 대한 ‘다중 모드 융합 프레임워크(MFF)’를 제시했다.

다중 모드 융합 프레임워크는 통합 피처 네트워크(IFN)와 의사 결정 네트워크(DN)로 구성되는데 연구팀이 제안한 것은 다른 융합 방법과 달리 B-모드 및 SE-모드 US 이미지를 사용하여 훈련된 컨볼루션 신경망(CNN)에서 보완 정보를 동시에 학습할 수 있다. 또한, CNN의 기능은 멀티모달(EmbraceNet) 모델을 사용해 조립되고, DN은 이러한 기능을 사용해 이미지를 분류한다. 

연구팀이 실제 임상 데이터로 실험한 결과, 양성 환자 7명을 5번 중 3번 양성으로, 악성 환자 6명을 5번 중 5번 양성으로 예측했다.

본 결과는 지금까지의 단일·다중 초음파 방법을 능가하는 것으로  잠재적으로는 US 이미지에서 유방암 탐지를 위한 방사선 전문의의 분류 정확도를 향상시킬 것으로 기대된다. 

김철홍 교수는 “입력 영상의 중요도를 판단하고 적절한 가중치를 자동으로 할당하여 더 정확한 병변 분할을 가능하게 하였다”며 “딥러닝 모델과 앙상블 모델을 동시에 학습시켜 기존의 단일 모드나 다른 다중 모드에 비해 훨씬 뛰어난 분류 성능을 보였다”고 말했다. 

과학기술정보통신부, 교육부, 한국전자통신연구원(ETRI)의 지원으로 진행한 이번 연구결과는 'Bioengineering & Translational Medicine'에 게재됐다.