실내 AR 내비게이션 - 판교 현대백화점 복층 데모 개발기

Background

복합몰, 백화점과 같은 대규모 실내공간은 복잡한 구조로 이어져 있는 상점과 많은 사람으로 북적이죠. 익숙한 가게도 찾아가는 길을 잃고 헤매기 쉽습니다. 그래서 AR 내비게이션을 통한 길 안내가 가장 유용하게 쓰일 공간이기도 합니다.

실내 공간에서 AR 내비게이션을 안정적으로 서비스하기 위해서는 먼저 사용자의 정확한 위치정보를 파악할 수 있어야 합니다. 그러나 실제 환경의 예측할 수 없는 다양한 변수들은 기술적으로 넘어야 할 높은 허들이 됩니다. 유명 맛집에 몰린 많은 손님은 위치를 판단해야 할 기계의 눈에는 노이즈가 되고, 강한 대비의 조명과 빠르게 바뀌는 행사 구조물들 또한 변화된 시각적 특징으로 위치 파악을 방해합니다.

이번에 개발된 현대백화점 판교점의 복층 AR 내비게이션 데모입니다. 실제 환경에서 정확하고 안정적인 AR 내비게이션을 실증하는 것은 여러 기술적 한계를 극복해야 하는 도전적인 목표였습니다. 

판교 현대백화점 복층(B1,1F) AR 내비게이션 데모 편집본 (원본 링크)  

Challenge

1. 복층, 계단 등 복합지형의 공간데이터 통합

실내 AR 내비게이션에 주요하게 사용되는 VL(visual localization) 기술매핑 로봇 M1X가 수집하는 공간정보에서 시작됩니다. 그러나 실제 환경의 계단, 복층, 좁은 길과 같은 곳까지 끊김 없이 서비스를 제공하기 위해서는 매핑로봇이 가지 못하는 복합지형까지의 통합된 공간정보가 필요합니다. 이를 위해 M1X와 함께 자체 개발한 백팩 타입의 매핑 장비인 COMET을 함께 적용하였고, 판교 현대백화점의 실외 및 다층 공간의 수직적 데이터까지 연결하는 데 성공했습니다.

M1X와 COMET으로 만든 판교 현대백화점 인근의 실내/외 3D point cloud 

2. 이동 상황에서의 실시간 위치 보정


GPS가 통하지 않는 실내에서도 정확한 현재 위치를 알 수 있는 네이버랩스의 VL 기술은 최고 수준의 정밀도를 가지고 있습니다. 하지만 사용자가 계속해서 이동하는 상황에서는 실시간으로 발생하는 미세한 위치 오차때문에 VL 기술 만으로는 안정적으로 AR 콘텐츠를 증강하기 어렵습니다. 이를 보완하기 위한 첫 번째 방법으로, VL 외에 센서와 영상 정보를 분석해 실시간으로 위치를 추적하는 VIO (visual-inertial odometry) 기술을 활용하고 있습니다.

그런데도 카메라의 빠른 이동과 네트워크 지연, 일시적인 VL/VIO 오차로 인해 현실에서는 콘텐츠가 흔들리거나 몇 미터씩 밀리는 현상이 빈번하게 일어나게 됩니다. 네이버랩스에서는 자체 개발한 실시간 카메라 포즈 트래킹(Camera Pose Tracking) 기술로 이러한 문제를 해결했습니다. 이는 실시간 정밀 측위를 위한 위치 보정 알고리즘으로, 기존 이동 경로를 분석하여 현재 위치를 계산하는 위치 예측 기법과 다양한 필터링 로직을 결합해 이동 상황에서 정확한 위치에 안정적으로 콘텐츠를 증강하고 트래킹할 수 있습니다.

VL/VIO에서 불안정했던 콘텐츠들이(좌) 위치 보정 알고리즘을 통해 안정적으로 증강(우)

3. 층간 이동에도 끊김 없는 AR 내비게이션

네이버랩스는 이번 현대백화점 데모를 통해, 처음으로 실내 공간 내 여러 층을 이동하는 복층 길 안내 시나리오를 완성했습니다. 모든 층에 대한 공간데이터 뿐 아니라 사용자가 위치한 층의 세밀한 위치까지 파악하여 시나리오를 연결해야 하는 도전적인 과제였습니다. 사람에겐 쉽지만, 기계에게는 어려운 일이죠.

에스컬레이터를 통한 승/하차까지, 복층 길 안내를 끊김 없이 연결하기 위해서는 다양한 위치 기반 기술이 필요했습니다. VL기술로 현재 위치를 파악하고, 카메라 포즈 트래킹과 VOT (Visual Object Tracking) 기술을 통해 실시간 위치 추적과 사용자의 주변 환경을 판단하여 정확한 위치에 콘텐츠를 증강합니다.

1층 에스컬레이터를 경유(좌)하여, 지하 1층으로 자연스럽게 연결(우)되는 길 안내

4. 3D 지도를 활용한 AR 콘텐츠와 실공간의 연결 

AR은 공간 자체를 인터페이스로 확장해, 길 안내와 더불어 다양하고 유용한 서비스들로 이어질 수 있습니다. 더욱 다양한 콘텐츠의 손쉬운 연결이 가능하도록 네이버랩스는 매핑로봇이 만든 3D 지도를 매개로 하는 위치기반 AR 저작 시스템을 개발했습니다. 실공간과 동일한 좌표계를 가지고 있어, 이 3D 지도상에 콘텐츠를 설정하면 실공간에서도 정확한 해당 위치에서 콘텐츠가 발생합니다. 이를 통해 세밀한 위치값 조정은 물론 세부적인 콘텐츠 파라미터와 인터랙션이 실제 공간으로 쉽게 적용될 수 있습니다.

3D 지도에 대응하는 실 공간의 해당 위치에 AR 콘텐츠가 배치된다.

직접 현장에 나가지 않고도 손쉽게 3D 지도를 브라우징하여 원하는 위치에 원하는 콘텐츠를 증강할 수 있기 때문에 보다 다양한 시나리오의 운영이 가능합니다. 현대백화점 데모에도 주변 상점의 메뉴와 프로모션 정보 등을 인터랙티브하게 펼쳐 보이는 등 다양한 가능성의 시나리오들이 적용되어 있습니다.

데모에 적용된 다양한 시나리오 - 스토어 정보 연동, 상품 쿠폰 및 프로모션 콘텐츠 예시

Next steps

생활환경에서의 실증을 통한 기술 고도화

실제 일상공간에서의 실증을 통해 얻은 기술 노하우와 새롭게 확인한 과제들은 빠른 기술 고도화를 위한 핵심이 됩니다. 네이버랩스는 매핑에서 VL, 카메라 포즈 트래킹, VOT 등 다양한 위치 기반 기술은 물론 렌더링과 콘텐츠 제작 기술에 이르는 위치기반 AR 기술 전반의 파이프라인을 구축했습니다. 그리고 현대백화점을 비롯한 실제 생활환경에서 그동안 축적한 기술 요소들을 패키징하며 검증하고 있습니다.

머지않아 다양한 일상공간에 새로운 위치 기반 서비스들이 들어올 것입니다. 우리의 목표는 실제 공간에서의 더 다양한 서비스 시나리오가 가능하도록 기술로 대비하는 것입니다. 실내와 실외까지의 공간 데이터를 끊김 없이 연결하고, 더욱 다양한 생활 공간에서의 연구와 실증을 확대해나갈 것입니다.

Related Articles

VIDEOS