Visual localization 기술을 활용한 indoor AR navigation

GPS가 통하지 않는다는 것

내비나 지도앱을 켜면 바로 내 위치를 알 수 있죠. 익숙한 일상입니다. 여기에는 GPS 덕이 큽니다. 하지만 실내라면? GPS 신호가 사라진 실내에서는 현재 위치를 확인하기가 여전히 어렵습니다. 길 안내 서비스나 실내를 자율주행하는 로봇에겐 풀어야 할 숙제입니다. 여러 기술이나 인프라가 있기는 합니다. 네이버랩스에서는 어떤 기술로 해결하고 있을까요?

사진 한 장으로 위치를 인식하는 기술

우리는 VL (visual localization) 기술을 고도화해 왔습니다. VL은 이미지로 위치를 찾는 기술입니다. 어쩌면 우리의 일상 경험과도 닮았습니다. 사람들도 주변환경을 눈으로 살펴 지금 어디에 있는지를 파악하곤 하니까요. 물론 사람의 눈으로 보는 풍경과는 조금 다릅니다. VL에서는 이미지 속의 특징점들을 찾아 측위를 합니다.

Visual localization demo

네이버랩스에서는 매핑로봇 M1을 활용하고 있습니다. M1이 촬영한 3D 데이터에서 특징점을 추출해 feature map을 제작합니다. 이 지도에는 위치 계산을 위한 정보들도 함께 담겨있습니다. 이 feature map을 이용하면, 스마트폰으로 찍은 사진 한 장만으로 바로 측위가 됩니다.

GPS와 비교해 오차는 훨씬 작습니다. 게다가 바라보는 방향까지도 정확하게 측정할 수 있습니다.

끊김없는 측위도 중요

일단 VL 기술로 실내에서의 현재 위치를 알 수 있습니다. 하지만 사람도 로봇도 제자리에 가만히 서있는 건 아니죠. 이동을 합니다. 당연히 이동 상황에서의 정밀한 측위 기술도 필수입니다.

이때 사용하는 기술은, 센서와 영상 정보를 분석해 위치를 추적하는 VIO (visual-inertial odometry) 입니다. 최적화 알고리즘도 함께 활용하고 있습니다. 최소한의 네트워크와 저사양 카메라만으로 스마트폰에서 실시간으로 끊김없이 측위하기 위해서입니다.

 비교 : (왼쪽부터) VL 단독 → VL+VIO → VL+VIO+최적화알고리즘

즉, VL 기술로 현재 위치를, 이동시에는 최적화 엔지니어링이 적용된 VIO로 실시간 위치 추적을 하게 됩니다. 이러한 측위 기술들이 네이버랩스에서 개발한 실내 AR 내비게이션이나 실내 자율주행 로봇에 적용되어 있습니다.

실내 AR 내비게이션에는 측위 기술이 하나 더 들어갑니다. VOT (visual object tracking) 입니다. 이미지 인식 기술로 움직이는 대상의 위치나 방향을 6DoF(전후상하좌우)로 추정할 수 있는 기술입니다. VL이 제대로 동작하지 않거나 부정확한 환경일 때, VOT를 활용해 사물의 정확한 위치를 인식하거나 특정 영역에 컨텐츠를 증강시킵니다.

VOT (visual object tracking) demo

실내 위치 기반 서비스의 시작 - 측위

위치 기반 서비스들의 핵심 컨텍스트는, 너무나 당연하게도 위치입니다. 그래서 GPS가 안잡히는 실내에서의 측위를 해결한다는 것은, 아직 실내에서 경험하지 못했던 새로운 서비스들의 탄생을 촉진한다는 말이기도 합니다.

처음 찾아간 대형쇼핑몰에서 더이상 길을 헤매지 않아도 되고, 로봇들도 스스로 경로를 계획해 이동하며 서비스를 제공할 수 있게 됩니다. 공간 그 자체를 인터페이스로 확장시키는 AR 역시 사용자 위치를 기반으로 다양하고 유용한 서비스들로 이어질 수 있습니다. 우리가 실내 측위 기술 연구를 지속해오는 이유입니다.

Related Articles

VIDEOS