딥 신경망의 블랙박스 내부를 살펴보다.

심층 신경망은 원시 데이터를 입력하는 입력 계층부터 시작하여 여러 계층을 통해 데이터를 전달하여 작동한다. 그런 다음 숨겨진 계층이 이 데이터를 분석하는데, 초기 계층은 기본 기능을 발견하고 더 깊은 계층은 더 복잡한 패턴을 인식한다.

예를 들어, 이미지 인식을 위한 심층 신경망에서 초기 계층은 모서리와 같은 기본 기능을 발견하고 더 깊은 계층은 고양이 또는 개와 같은 더 복잡한 패턴을 인식한다.

하지만 숨겨진 계층은 블랙박스와 같다. 우리는 입력과 출력을 볼 수 있지만 내부에서 무슨 일이 일어나는지는 볼 수 없다. 이러한 불투명성은 AI가 오류를 범할 때 문제가 되며, 때로는 입력의 작은 변화로 인해 오류가 발생한다.

규슈 대학의 연구원들은 이러한 네트워크가 정보를 구성하는 방식을 시각화하는 방법을 발견하고 IEEE 신경망 및 학습 시스템 거래에 게재된 논문에서 이를 설명했다.

기존 방법은 고차원 데이터를 2D 또는 3D로 단순화하여 세부 정보가 손실되고 다른 신경망이나 데이터 클래스를 비교하기 어렵게 만든다.

데이터 구성

k* 분포 방법이라는 새로운 방법은 데이터를 더 높은 차원으로 유지하여 정보 손실을 방지한다. 각 데이터 포인트에 k* 값을 할당하여 관련 없는 데이터와의 거리를 표시한다.

높은 k* 값은 고양이와 개 사이의 거리가 먼 것처럼 분리가 잘 되었음을 의미하고, 낮은 값은 중복을 나타내므로 분류 오류가 발생할 가능성이 더 크다.

이 방법은 데이터가 클러스터링되어 유사한 항목이 함께 그룹화되는지 또는 분열되거나 중복되어 항목이 분산되거나 섞여 있어 분류 오류가 발생할 가능성이 있는지를 보여준다.

큐슈 대학 보도 자료에서 연구원 다닐로 바스콘셀로스 바르가스는 이를 창고를 정리하는 것과 같다고 설명한다. 항목이 잘 분류되어 있으면 찾기가 쉽지만 그렇지 않으면 오류가 발생한다.

이 접근 방식은 자율 주행 자동차나 의료 진단과 같이 안전이 중요한 분야에서 사용되는 AI에 필수적이다. AI의 의사 결정을 평가하고, 약점을 식별하고, 신뢰성을 개선하는 데 도움이 되며, 특히 불완전하거나 불분명한 데이터를 처리할 때 유용하다. 목표는 정확할 뿐만 아니라 실제 문제에 적응할 수 있는 AI 시스템을 만드는 것이다.