MIT 연구원들은 착용자에게 X선 시야를 제공하는 증강현실 헤드셋을 제작했다. 헤드셋은 컴퓨터 비전과 무선 인식을 결합하여 상자 안이나 더미 아래와 같이 시야에서 숨겨진 특정 항목을 자동으로 찾은 다음 사용자가 이를 회수하도록 안내한다.
이 시스템은 골판지 상자, 플라스틱 용기 또는 나무 칸막이와 같은 일반적인 재료를 통과할 수 있는 무선 주파수(RF) 신호를 활용하여 RF 안테나에서 전송된 신호를 반영하는 RFID 태그로 레이블이 지정된 숨겨진 품목을 찾는다.
헤드셋은 증강현실(AR) 인터페이스에서 투명한 구로 표시되는 항목의 위치를 향해 방을 걸어갈 때 착용자를 안내한다. 항목이 사용자의 손에 있으면 X-AR이라는 헤드셋이 사용자가 올바른 항목을 집었는지 확인한다.
연구원들이 창고와 같은 환경에서 X-AR을 테스트했을 때 헤드셋은 숨겨진 항목을 평균 9.8cm 이내로 식별할 수 있었다. 그리고 사용자가 96%의 정확도로 올바른 항목을 선택했음을 확인했다.
X-AR은 전자 상거래 창고 작업자가 어수선한 선반이나 상자에 묻힌 항목을 빠르게 찾거나 유사한 항목이 같은 상자에 많이 있을 때 주문에 대한 정확한 항목을 식별하는 데 도움이 될 수 있다. 또한 기술자가 제품을 조립하기 위해 올바른 부품을 찾는 데 도움을 주기 위해 제조 시설에서 사용할 수도 있다.
"이 프로젝트의 전체 목표는 상자 안에 있거나 구석에 있는 보이지 않는 것을 볼 수 있는 증강 현실 시스템을 구축하는 것이었다. 그것은 당신을 그것들로 안내할 수 있고 당신이 전에는 불가능했던 방식으로 물리적 세계를 볼 수 있게 해준다."고 전기 공학 및 컴퓨터 과학과 부교수이자 Media Lab의 Signal Kinetics 그룹 책임자이자 X-AR에 관한 논문의 수석 저자인 Fadel Adib은 말한다.
Adib의 공동 저자는 논문의 주 저자인 연구 조교 Tara Boroushaki이다. 이 연구는 네트워크 시스템 설계 및 구현에 관한 USENIX 심포지엄에서 발표될 예정이다.
AR 헤드셋 증강
X선 비전을 갖춘 증강현실 헤드셋을 만들기 위해 연구원들은 먼저 기존 헤드셋에 RFID 태그가 부착된 항목과 통신할 수 있는 안테나를 장착해야 했다. 대부분의 RFID 위치 파악 시스템은 미터 떨어져 있는 여러 개의 안테나를 사용하지만 연구원들은 태그와 통신하기에 충분히 높은 대역폭을 달성할 수 있는 하나의 경량 안테나가 필요했다.
"한 가지 큰 과제는 카메라를 덮거나 작동을 방해하지 않고 헤드셋에 맞는 안테나를 설계하는 것이었다. 바이저의 모든 사양을 사용해야 하기 때문에 이것은 매우 중요하다."라고 Eid는 말한다.
팀은 간단하고 가벼운 루프 안테나를 사용하여 안테나를 점점 가늘게 하고(폭을 점진적으로 변경) 간격을 추가하는 실험을 했다. 두 기술 모두 대역폭을 높이는 기술이다. 안테나는 일반적으로 야외에서 작동하기 때문에 연구자들은 헤드셋의 바이저에 부착했을 때 신호를 송수신하도록 안테나를 최적화했다.
팀은 효과적인 안테나를 구축한 후 이를 사용하여 RFID 태그가 지정된 항목을 현지화하는 데 집중했다.
그들은 비행기가 지상의 물체를 이미지화 하는 방식과 유사한 SAR(synthetic aperture radar)로 알려진 기술을 활용했다. X-AR은 사용자가 방을 돌아다니면서 서로 다른 유리한 지점에서 안테나로 측정한 다음 측정치를 결합한다. 이러한 방식으로 여러 안테나의 측정값이 결합되어 장치 위치를 파악하는 안테나 배열처럼 작동한다.
X-AR은 헤드셋의 자체 추적 기능에서 얻은 시각적 데이터를 활용하여 환경 지도를 만들고 해당 환경 내 위치를 결정한다. 사용자가 걸을 때 각 위치에서 RFID 태그의 확률을 계산한다. 가능성은 태그의 정확한 위치에서 가장 높을 것이므로 이 정보를 사용하여 숨겨진 개체에 초점을 맞춘다.
"시스템을 설계할 때 어려움이 있었지만 실험을 통해 실제로 인간의 자연스러운 동작과 잘 어울린다는 사실을 발견했다. 인간은 많이 움직이기 때문에 그것은 우리가 많은 다른 위치에서 측정하고 항목을 정확하게 현지화할 수 있게 해준다."고 Dodds는 말한다.
X-AR이 항목을 현지화하고 사용자가 항목을 집어들면 헤드셋은 사용자가 올바른 항목을 잡았는지 확인해야 한다. 그러나 이제 사용자는 가만히 서 있고 헤드셋 안테나는 움직이지 않으므로 SAR을 사용하여 태그를 찾을 수 없다.
그러나 사용자가 항목을 선택하면 RFID 태그가 함께 이동한다. X-AR은 RFID 태그의 움직임을 측정하고 헤드셋의 손 추적 기능을 활용하여 사용자의 손에 있는 항목을 찾을 수 있다. 그런 다음 태그가 올바른 RF 신호를 보내고 있는지 확인하여 올바른 개체인지 확인한다.
연구원들은 헤드셋의 홀로그램 시각화 기능을 활용하여 이 정보를 사용자에게 간단한 방식으로 표시했다. 사용자가 헤드셋을 착용하면 메뉴를 사용하여 태그가 지정된 항목 데이터베이스에서 개체를 선택한다. 개체가 현지화되면 투명한 구체로 둘러싸여 사용자가 방의 위치를 볼 수 있다. 그런 다음 장치는 사용자가 걸을 때 동적으로 업데이트할 수 있는 바닥의 발자국 형태로 해당 항목에 대한 궤적을 투영한다.
Lam은 "우리는 모든 기술적 측면을 추상화하여 사용자에게 매끄럽고 명확한 경험을 제공할 수 있다. 이는 누군가 창고 환경이나 스마트 홈에 이를 설치하는 경우 특히 중요할 것이다."라고 말한다.
헤드셋 테스트
X-AR을 테스트하기 위해 연구자들은 선반을 골판지 상자와 플라스틱 통으로 채우고 내부에 RFID 태그가 부착된 품목을 배치하여 시뮬레이션 창고를 만들었다.
그들은 X-AR이 10cm 미만의 오류로 사용자를 대상 항목으로 안내할 수 있음을 발견했다. 이는 평균적으로 항목이 X-AR이 사용자를 안내한 위치에서 10cm 미만에 위치했음을 의미합니다. 연구원들이 테스트한 기본 방법의 중앙값 오류는 25~35cm였다.
그들은 또한 사용자가 98.9%의 시간 동안 올바른 항목을 선택했음을 올바르게 확인했음을 발견했다. 이는 X-AR이 피킹 오류를 98.9%까지 줄일 수 있음을 의미한다. 항목이 아직 상자 안에 있을 때 정확도는 91.9%였다.
"시스템은 사용자가 올바른 항목을 선택했는지 확인하기 위해 항목을 시각적으로 볼 필요가 없다. 비슷한 포장에 10개의 다른 전화기가 있는 경우 차이점을 구분할 수는 없지만 안내할 수는 있다. 여전히 올바른 것을 선택해야 한다."라고 Boroushaki는 말한다.
X-AR의 성공을 입증한 연구원들은 이제 WiFi, mmWave 기술 또는 테라헤르츠파와 같은 다양한 감지 양식을 사용하여 시각화 및 상호 작용 기능을 향상시킬 수 있는 방법을 탐구할 계획이다. 또한 범위가 3미터를 초과할 수 있도록 안테나를 향상시키고 여러 개의 조정된 헤드셋에서 사용할 수 있도록 시스템을 확장할 수 있다.
"오늘날에는 이와 같은 것이 없기 때문에 처음부터 끝까지 완전히 새로운 유형의 시스템을 구축하는 방법을 알아내야 했다."라고 Adib은 말다. "실제로 우리가 생각해낸 것은 프레임워크이다. 많은 기술적 기여가 있지만 향후 X-레이 비전이 있는 AR 헤드셋을 설계하는 방법에 대한 청사진이기도 하다."
이 작업에 참여하지 않은 Microsoft의 산업 연구 전무 이사인 Ranveer Chandra는 "이 문서는 AR 시스템이 가시선이 없는 시나리오에서 작동하도록 함으로써 AR 시스템의 미래에 중요한 진전을 이루었다."라고 말했다. "기존 AR 시스템의 컴퓨터 비전 기능을 강화하기 위해 RF 감지를 활용하는 매우 영리한 기술을 사용한다. 이를 통해 AR 시스템의 응용 프로그램을 소매점, 제조 또는 새로운 숙련 응용 프로그램과 같이 이전에는 존재하지 않았던 시나리오로 구동할 수 있다. "
