과학자들은 딥 뉴럴 네트워크가 "생각"하는 방식을 밝히는 획기적인 방법을 개발하여 마침내 의사 결정 프로세스를 밝혀냈다.

 

이 방법은 AI가 데이터를 범주별로 구성하는 방식을 시각화하여 의료 및 자율 주행 자동차와 같은 실제 응용 프로그램에 보다 안전하고 신뢰할 수 있는 AI를 보장하여 인공지능을 진정으로 이해하는 데 한 걸음 더 다가간다.

 

AI 처리 계층 이해

딥 뉴럴 네트워크는 인간의 뇌가 정보를 처리하는 방식을 모방하도록 설계된 일종의 인공지능(AI)이다. 그러나 이러한 네트워크가 결정을 내리는 방식을 이해하는 것은 오랫동안 어려운 과제였다. 규슈 대학의 연구원들은 딥 뉴럴 네트워크가 데이터를 해석하고 범주별로 구성하는 방식을 더 잘 이해하는 새로운 방법을 개발했다. IEEE 신경망 및 학습 시스템 거래에 게재된 연구 결과는 AI의 정확성, 신뢰성 및 안전성을 개선하는 것을 목표로 한다.

 

인간이 퍼즐을 단계별로 푸는 방식과 유사하게, 심층 신경망은 여러 계층을 통해 정보를 처리한다. 입력 계층이라고 하는 첫 번째 계층은 원시 데이터를 수집한다. 숨겨진 계층이라고 하는 다음 계층은 데이터를 단계별로 분석한다. 초기 숨겨진 계층은 모서리나 질감과 같은 간단한 특징을 감지한다. 이는 개별 퍼즐 조각을 식별하는 것과 유사하다. 심층 계층은 이러한 특징을 결합하여 고양이와 개를 구별하는 것과 같이 더 복잡한 패턴을 인식한다. 이는 퍼즐 조각을 조립하여 완전한 이미지를 형성하는 것과 매우 유사하다.

 

AI 의사 결정의 투명성

"그러나 이러한 숨겨진 계층은 잠긴 블랙박스와 같습니다. 입력과 출력은 볼 수 있지만 내부에서 무슨 일이 일어나는지는 명확하지 않다."라고 규슈 대학교 정보 과학 및 전기 공학부의 준교수인 다닐로 바스콘셀로스 바르가스는 말한다. "이러한 투명성 부족은 AI가 실수를 할 때 심각한 문제가 되며, 때로는 단일 픽셀을 변경하는 것과 같은 사소한 것에 의해 유발된다. AI는 똑똑해 보일 수 있지만, 어떻게 결정을 내리는지 이해하는 것이 신뢰할 수 있는지 확인하는 데 중요하다."

규슈 대학의 연구자들이 개발한 k* 분포 방법은 신경망이 데이터를 해석하는 방식을 명확하게 시각화하고 평가할 수 있게 해준다. 출처: 규슈 대학의 다닐로 바르가스

 

현재 시각화 방법의 한계

현재 AI가 정보를 구성하는 방식을 시각화하는 방법은 고차원 데이터를 2D 또는 3D 표현으로 단순화하는 데 의존한다. 이러한 방법을 통해 연구자들은 AI가 데이터 포인트를 분류하는 방식을 관찰할 수 있다. 예를 들어, 고양이 이미지를 다른 고양이와 가까이 그룹화하는 동시에 개와 분리한다. 그러나 이러한 단순화에는 중대한 한계가 있다.

 

"고차원 정보를 더 적은 차원으로 단순화하면 3D 객체를 2D로 평면화하는 것과 같다. 중요한 세부 정보를 잃고 전체 그림을 볼 수 없게 된다. 또한 데이터가 그룹화되는 방식을 시각화하는 이 방법은 서로 다른 신경망이나 데이터 클래스를 비교하기 어렵게 만든다."라고 바르가스는 설명한다.

 

k* 분포 방법 소개

이 연구에서 연구자들은 k* 분포 방법이라는 새로운 방법을 개발했다. 이 방법은 딥 뉴럴 네트워크가 관련 항목을 얼마나 잘 분류하는지 보다 명확하게 시각화하고 평가한다.

 

이 모델은 입력된 각 데이터 포인트에 가장 가까운 관련 없는 데이터 포인트까지의 거리를 나타내는 "k* 값"을 할당하여 작동한다. 높은 k* 값은 데이터 포인트가 잘 분리되어 있음을 의미하고(예: 개와 멀리 떨어진 고양이), 낮은 k* 값은 잠재적인 중복을 나타낸다(예: 다른 고양이보다 고양이와 더 가까운 개). 고양이와 같은 클래스 내의 모든 데이터 포인트를 볼 때 이 방법은 데이터가 어떻게 구성되어 있는지에 대한 자세한 그림을 제공하는 k* 값의 분포를 생성한다.

 

"우리의 방법은 고차원 공간을 유지하므로 정보가 손실되지 않는다. 각 데이터 포인트 주변의 '지역 이웃'에 대한 정확한 보기를 제공할 수 있는 최초이자 유일한 모델이다."라고 바르가스는 강조한다.

 

새로운 방법의 영향과 응용 분야

연구원들은 이 방법을 사용하여 딥 신경망이 데이터를 클러스터링, 분할 또는 겹치는 배열로 분류한다는 것을 밝혔다. 클러스터링 배열에서 유사한 항목(예: 고양이)은 밀접하게 그룹화되고 관련 없는 항목(예: 개)은 명확하게 분리되어 AI가 데이터를 잘 분류할 수 있음을 의미한다. 그러나 분할된 배열은 유사한 항목이 넓은 공간에 분산되어 있음을 나타내는 반면 관련 없는 항목이 같은 공간에 있을 때 겹치는 분포가 발생하여 두 배열 모두 분류 오류가 발생할 가능성이 더 높다.

 

바르가스는 이를 창고 시스템에 비유한다. "잘 정리된 창고에서는 유사한 항목이 함께 보관되어 검색이 쉽고 효율적이다. 항목이 섞여 있으면 찾기가 어려워지고 잘못된 항목을 선택할 위험이 커진다."

 

중요 시스템과 미래의 AI

AI는 정확성과 신뢰성이 필수적인 자율 주행차 및 의료 진단과 같은 중요 시스템에서 점점 더 많이 사용된다. k* 분포 방법은 연구자와 심지어 입법자가 AI가 정보를 어떻게 구성하고 분류하는지 평가하고 잠재적인 약점이나 오류를 지적하는 데 도움이 된다.

 

이는 AI를 일상 생활에 안전하게 통합하는 데 필요한 합법화 프로세스를 지원할 뿐만 아니라 AI가 어떻게 "생각"하는지에 대한 귀중한 통찰력을 제공한다. 연구자는 오류의 근본 원인을 식별하여 AI 시스템을 개선하여 정확할 뿐만 아니라 모호하거나 불완전한 데이터를 처리하고 예상치 못한 상황에 적응할 수 있는 견고함을 갖출 수 있다.

 

바르가스는 "우리의 궁극적인 목표는 실제 시나리오의 어려움에 직면하더라도 정밀성과 신뢰성을 유지하는 AI 시스템을 만드는 것이다."라고 결론지었다.