시각장애가 있는 사용자로서 AiSee를 테스트한 Suranga Nanayakkara(왼쪽)와 Mark Myres(오른쪽). (제공: NUS)

시각장애가 있는 사람들은 일상적인 장애물에 직면한다. 특히 단순하고 복잡한 의사 결정에 중요한 물체 식별과 관련하여 더욱 그렇다. AI의 획기적인 발전으로 시각적 인식 기능이 획기적으로 향상되었지만 이러한 고급 기술의 실제 적용은 여전히 어렵고 오류가 발생하기 쉽다.

2018년 처음 개발된 후 5년에 걸쳐 점진적으로 업그레이드된 AiSee는 최첨단 AI 기술을 활용하여 이러한 한계를 극복하는 것을 목표로 한다.

AiSee: 시각 장애가 있는 사람들이 주변의 사물을 "볼" 수 있도록 하는 AI 기반 "눈"이다. (제공: NUS)

“AiSee를 통해 우리의 목표는 사용자에게 보다 자연스러운 상호 작용을 제공하는 것이다. 인간 중심의 디자인 프로세스를 따르면서 우리는 카메라로 증강된 안경을 사용하는 일반적인 접근 방식에 의문을 제기할 이유를 찾았다.”고 싱가포르 국립대학교 컴퓨팅 컴퓨팅 부서의 정보 시스템 및 분석학과 부교수이자 Project AiSee의 수석 연구원인 수랑가 나나야까라(Suranga Nanayakkara)는 말한다.

“시각 장애가 있는 사람들은 낙인 찍히는 것을 피하기 위해 안경 착용을 꺼릴 수도 있다. 따라서 우리는 눈에 띄지 않는 골전도 헤드폰을 통합한 대체 하드웨어를 제안하고 있다.”

사용자는 물체를 잡고 내장 카메라를 활성화하여 물체의 이미지를 캡처하기만 하면 된다. AI의 도움으로 AiSee는 본다.

작동하기 위해 AiSee는 세 가지 주요 구성 요소로 구성된다:

1. 눈: 비전 엔진 컴퓨터 소프트웨어

AiSee에는 사용자의 시야를 캡처하는 마이크로 카메라가 통합되어 있다. 이는 "비전 엔진 컴퓨터"라고도 하는 AiSee의 소프트웨어 구성 요소를 형성한다. 이 소프트웨어는 처리를 위해 캡처된 이미지에서 텍스트, 로고, 라벨과 같은 특징을 추출할 수 있다.

2. 뇌: AI 기반 이미지 처리 장치 및 대화형 Q&A 시스템

사용자가 관심 개체의 사진을 찍으면 AiSee는 정교한 클라우드 기반 AI 알고리즘을 활용하여 캡처된 이미지를 처리하고 분석하여 개체를 식별한다. 사용자는 개체에 대해 더 자세히 알아보기 위해 다양한 질문을 할 수도 있다.

AiSee는 고급 텍스트 음성 변환 및 음성 텍스트 변환 인식 및 처리 기술을 사용하여 객체를 식별하고 사용자의 질문을 이해한다. 대규모 언어 모델을 기반으로 하는 AiSee는 대화형 질문 및 답변 교환에 탁월하여 시스템이 신속하고 유익한 방식으로 사용자의 쿼리를 정확하게 이해하고 응답할 수 있도록 해준다.

스마트폰 페어링이 필요한 대부분의 웨어러블 보조 장치에 비해 AiSee는 추가 장치 없이 독립적으로 작동할 수 있는 독립형 시스템으로 작동한다.

3. 스피커 : 골전도 사운드 시스템

AiSee의 헤드폰은 두개골 뼈를 통해 소리를 전달하는 골전도 기술을 활용한다. 이를 통해 시각 장애가 있는 개인은 대화나 교통 소음과 같은 외부 소리에 계속 접근하면서 청각 정보를 효과적으로 수신할 수 있다. 환경 소리는 특히 안전을 고려하는 상황에서 의사 결정에 필수적인 정보를 제공하므로 이는 시각 장애가 있는 사람들에게 특히 중요하다.

“현재 싱가포르의 시각 장애인은 이 정도로 정교한 보조 AI 기술을 이용할 수 없다. 따라서 우리는 AiSee가 시각 장애가 있는 사람들이 현재 도움이 필요한 작업을 독립적으로 수행할 수 있는 잠재력을 갖고 있다고 믿는다.”라고 수랑가 나나야까라는 말한다. “우리의 다음 단계는 AiSee를 대중이 저렴하게 이용할 수 있도록 만드는 것이다. 이를 달성하기 위해 우리는 보다 인체공학적인 디자인과 보다 빠른 처리 장치를 포함하여 더욱 개선하고 있다.”

“많은 경우 보조 장치는 완전 시각 장애인이나 시각 장애가 있는 사람들을 대상으로 하는 것처럼 보인다. AiSee는 밸런스가 좋은 것 같다. 시각 장애가 있는 사람과 시각 장애인 모두 이로부터 많은 이점을 얻을 수 있다.”라고 AiSee를 시각 장애가 있는 사용자로 테스트하는 데 도움을 준 NUS 학생 마크 마이레스(Mark Myres)는 말한다.

나나야까라와 그의 팀은 현재 시각 장애가 있는 사람들을 대상으로 사용자 테스트를 수행하기 위해 싱가포르의 SG Enable과 논의 중이다. 이번 연구 결과는 AiSee의 기능과 성능을 개선하고 개선하는 데 도움이 될 것이다.