AWE 2019 참관기 - Potential of a point

지난 5월, 미국 산타클라라 컨벤션 센터에서 네이버랩스의 연구 분야인 Visual Localization과 Location-based AR의 글로벌 흐름을 살펴볼 수 있는 행사가 열렸습니다. Augmentedreality.org에서 주관하는 XR(VR/AR/MR) 컨퍼런스/전시 행사인 AWE(Augmented World Expo). 올해는‘Spatial computing’이라는 주제로 기술과 서비스, 비즈니스를 아우르는 광범위한 논의와 전시가 이루어졌습니다. 

이 행사에는 구글, 애플, 페이스북, MS와 같은 빅 플레이어들은 빠져 있습니다. 아쉬운 부분이지만, 그렇기 때문에 특정 플랫폼이 아닌 AR 시장 전체를 조망하며 다가올 시장의 방향을 가늠해 볼 수 있는 기회가 됩니다. 지배적인 플랫폼을 갖지 못한 업체들이 치열한 생존 경쟁 현장에서 도출한 시장의 요구사항을  모아볼 수 있기 때문입니다. 

가장 흥미로웠던 흐름은 AR과 위치의 결합입니다. AR이 네이버랩스와 만나는 지점이기도 합니다. AWE 2019를 ‘위치’와 ‘공간’을 중심으로 정리해 봅니다. 


AR Cloud - Web of spaces

작년 AWE의 메인 토픽이자 AR 업계 전반의 키워드 중 하나였던 AR Cloud. 지난 해 개념적으로 소개되었던 AR Cloud가 올해는 SDK와 제품, 응용 사례들로 구체화되어 등장했습니다. 

일반적인 AR Cloud의 정의는 다음과 같습니다.

  • Persistent digital twin of the real world 
  • 1:1 soft-3D-copy of the world and allow to reorganize information at its origin — in the physical world

실물 크기의 3D 모델은 사람의 눈에는 보이지 않지만, 실제 환경 위에 오버레이 되어 특정 위치에서 디지털 컨텐츠가 증강할 수 있게 합니다. 자동차 주행을 위한 HD map처럼, AR Cloud는 사람에게 인터페이스 하기 위해 기계가 읽는 지도입니다. 

 


Scape
의 AR Cloud 컨셉 이미지.

같은 지도 위에서 사용자들은 동시에 같은 경험을 할 수 있으며(multi-user), 그 자리를 떠나도 경험은 휘발되지 않고 유지되며(persistent contents) 업데이트됩니다. 앵커링이 가능해진 공간은 URL을 입력하면 언제든 다시 로딩되는 웹페이지처럼 작동합니다. 

내가 출근길에 심어 놓은 가상의 나무 한 그루는 내일 와도 ‘그 자리’에 서 있고, 가게 앞에 붙여 놓은 별점과 리뷰를 ‘그 자리’를 지나가는 다른 사용자도 볼 수 있습니다. 이렇게 위치라는 매개를 통해 AR은 단발적 경험에서 지속적인 컨텐츠와 경험을 제공할 수 있는 서비스로 진화하게 됩니다.

Blue Vision Labs의 AR cloud 컨셉. 3D 지도 상의 특정 위치에 링크된 컨텐츠는 지속적인 유지와 여러 사용자간 공유가 가능하다. 

 

AWE에서는 mapping부터 VPS(Visual Positioning Service), 위치 기반의 AR 시나리오 개발 업체까지 다양한 스펙트럼의 업체가 참가했습니다. 같은 비전을 바라보지만, 주력 포인트나 접근 방식에는 차이가 있습니다. 

Mapping/Meshing  - 공간을 디지털화하는 첫 번째 단계

AR과 위치의 결합은 주변 환경을 컴퓨터가 이해할 수 있는 형태로 재현하는 것에서 시작합니다. 6D.ai는 스마트폰 기반의 실시간 mapping/meshing 솔루션을 제공합니다. 별도의 장비 없이 스마트폰의 모노 RGB 카메라를 가지고 사용자가 공간을 매핑할 수 있습니다. 

6D.ai의 스마트폰 기반 실시간 공간 매핑

이것은 서비스 시나리오를 확장합니다. 사전에 제공된 맵 없이도 사용자의 직접 매핑해서 자신의 주변 공간에 AR 컨텐츠를 올리거나, 만들어진 지도를 사용자 간에 공유한 후 여러 사람들이 함께 인터랙션하는 소셜한 AR 시나리오를 구현할 수 있습니다. 

한편, 실제 환경에 반응하는 것과 같은 효과로 가상의 컨텐츠에 실재감을 더하는 오클루전(occlusion)이나 물리 반응(physics)의 기반이 되는 것도 이렇게 만들어진 3D 지도입니다. 현실과 가상의 경계를 허무는 그래픽스에서도 공간을 재현한 지도가 활용됩니다.


실물에 가려지는 효과(occlusion)와 실제 공간에 반응하는 물리 효과(physics) - 6D.ai youtube

 

6D.ai는 지난 해 빠른 속도와 정확도의 스마트폰 기반 매핑 데모로 인상을 남겼습니다. 올해는 한 걸음 더 나아가, 멀티 유저가 동시에 매핑을 하고 이 결과를 실시간으로 병합해 규모의 공간에 대한 공동의 맵을 만드는 클라우드 소싱 기반의 매핑 데모를 선보였습니다. 


6D.ai 클라우스 소싱 매핑 데모. 한 공간을 4명이 3분간 동시 스캔 및 병합, 7분 프로세싱. 

 

상용화 단계의 커머셜 AR Cloud SDK를 가지고 나온 업체도 있었습니다. 핀랜드 업체 Immersal 역시 일반 스마트폰으로 실내 공간을 매핑하여 large-space  AR을 구현할 수 있는 AR Cloud SDK를 소개했습니다. 쇼핑 센터, 극장, 컨퍼런스나 박물관 등에서 특정 위치에서 제공되는 사용자 참여형 마케팅, 광고 데모로 AR Cloud를 상업적 활용 가능성을 가시화했습니다. 


Immersal의  AR Cloud 상업적 활용 사례.

 


VPS (Visual Positioning Service) - 공간/위치 기반 서비스의 시작점

아웃도어 AR 네비게이션과 같은 world-scale 서비스는 스마트폰 기반의 매핑으로는 한계가 있습니다. VPS 업체들은 사전에 미리 대상 서비스 지역에 대한 맵을 구축하고, 이 결과를 사용자 카메라 정보를 비교하여 측위 결과를 제공합니다. 이런 VL(visual localization) 기술은 공간에서의 3D 좌표를 필요로 하는 위치 기반 AR 서비스에서 활용되지만, 실내나 도심 음영지역 등에서 부정확한 GPS의 한계에 대한 보완재이기도 합니다.

영국 업체 Scape는 ScapeKit를 들고 나왔습니다. 거리뷰 데이터를 기반으로 아웃도어에서의 city-scale AR platform을 지향합니다. 구글 맵스의  AR navigation 역시 거리뷰 데이터를 사용한다고 알려져 있습니다. 

Scape의 VL 파이프라인
 

아웃도어 VL에서 가장 어려운 점 중 하나는 매핑 시점과 측위 시점의 환경 변화의 갭입니다. 낮과 밤, 눈, 비와 같은 환경적 변화와 계절에 따라 바뀌는 가로수, 지나가는 사람과 같은 다이내믹한 대상이 모두 VL의 방해 요소입니다. 

Scape는 매핑 시점과는 다른 환경에서도 측위를 할 수 있는 SOSNet: Second Order Similarity Regularization for Local Descriptor Learning을 발표했습니다. 기존의 hand-craft visual feature descriptor을 가지고 딥 러닝 기법을 통해 환경 변화에 강인하도록 설계하였으며, 새로운 feature matching 기법으로 소규모 매핑 데이터로도 VL을 잘 수행할 수 있을 것으로 기대되고 있습니다.


Scape의 비오는 날 야간 측위 데모. 매핑 시점은 1년 전 낮 시간대. 
 

이것은 네이버랩스의 핵심 연구 분야이기도 합니다. 네이버랩스는 이미 독보적인 실내 매핑/VL 기술을 확보했고, 네이버랩스 유럽은 CVPR 2019에서 SIFT를 능가하는 고성능의 딥 러닝 기반 feature 추출 방법인 R2D2로 Long-Term Visual Localization 챌린지의 Local Feature Challenge 카테고리에서 우승했습니다. 자율주행과 같은 모빌리티 서비스는 물론 AR/VR/로보틱스 등 다양한 분야에서의 활용이 기대되는 기술입니다. 

Sturfee는 조금 다른 접근을 하는 업체입니다. 거리뷰 대신 위성 사진을 기반으로 구축한 3D 지도로 VPS를 제공합니다. 이미 글로벌 커버리지로 구축되어 있는 위성 사진을 활용하기 때문에, 기반 데이터 수급과 커버리지에 있어 경쟁력을 가집니다. 

AR Cloud SDK Roundup 패널 토의에서  Sturfee의 CTO Harini Sridharan은 현재 가장 중점을 두고 해결하고자 하는 문제로 사용자 경험의 개선을 꼽았습니다. 측위를 위해 사용자가 폰으로 주변을 스캐닝해야 문제를 해결하기 위해 첫 프레임부터 바로 측위를 시작하는 Instant localization을 개발하고 있다고 합니다.


손쉬운 기반 데이터 수급으로 빠르게 커버리지를 넓혀가고 있는 Sturfee의 서울 강남 VPS 데모

 

가끔 부동산 정보나 낯선 방문 장소를 미리 확인하는 용도로 사용되었던 거리뷰와 위성사진이 기계가 읽을 수 있는 지도를 만드는 기반 데이터로 새로운 활용 가치를 찾고 있습니다. 데이터들이 프로세싱되어 공간 속으로 스며들어가고 있습니다. 결국은 데이터 싸움이 될 것이며, 더 나은 지도를 가진 곳이 O2O, 모빌리티, 각종 위치 기반 서비스의 시작점을 쥐게 될 것입니다. 

Use case/Scenario - 피지컬 공간을 서비스 공간으로 

이렇게 구현된 AR Cloud 인프라 위에서 돌아가는 유스 케이스와 시나리오에 집중하는 업체들도 있었습니다. Ubiquity6는 자체 공간 매핑 솔루션을 활용해 사용자들이 실 공간에서 함께 협업하고 연결하는 시나리오 실제 구현한 사례들을 소개해 눈길을 끌었습니다. 

SF MOMA 르네 마그리뜨 전시회에서는 실제로 로비에 AR 포털을 증강해 사용자들 작가의 예술 세계를 실공간에서도 체험해 볼 수 있는 장을 만들었습니다. 하지만 작품 체험보다 더 인기가 많았던 것은 참여형 AR UGC였다고 합니다. 사용자들은 미술관 로비에 여러 다른 방문객들과 함께 블록을 쌓거나 자신이 찍은 사진을 올리며, 같은 공간에서 자신의 감상과 발자취를 함께 표현했습니다. 


Ubiquity6의 Shared AR Sandbox @SF MOMA

 

단발적인 마케팅 활용 사례이지만, 공간에서 여러 사람들이 디지털 에셋을 가지고 실시간으로 경험을 공유하고, 그 공간을 함께 편집할 수 있을 때 가능한 일들은 여기에 그치지 않을 것입니다. 올 하반기에 출시한다고 알려진 MS의 마인 크래프트 AR은 이러한 가능성을 구체화할 제품으로 기대를 모으고 있습니다. 

Resonai는 상업 공간에서 building-scale의 보다 실용적인 AR 시나리오 구현을 목표로 합니다. 매핑은 전문 파트너와 협업하는 대신 이 기반 위에서 돌아가는 저작툴과 시나리오의 구현을 지원하는 데 집중한 플랫폼을 가지고 나왔습니다. 

공간 시각화 측면의 3D 지도를 구축하는 SpatialFirst와 같은 업체도 있었습니다. 사람이 보기 위한 비주얼한 지도를 만들지만, 정확하게 구축된 공간 정보를 활용해 AR과 접목할 수 있는 방향을 고민하고 있었습니다.


위치기반 컨텐츠 공유/게임에서부터, IoT와 결합한 실용적 시나리오까지 경험에 집중한 Resonai 데모.

 

하지만, 아직 이런 시나리오들은 미완의 스케치입니다. 컨텍스트를 담은 개인화된 주변 정보와 여행, 쇼핑, IoT 센서들이 발신하는 데이터와 사람들 간의 커뮤니케이션. 측위된 한 점을 통해 공간으로 올라올 수 있는 것들은 무궁무진합니다. 이 잠재된 가능성들이 기술을 드라이브해 나갈 것입니다. 

하지만, 공간을 통해 사용자의 어떤 문제를 해결할 것인가라는 문제는 여전히 남아 있습니다. 6D.ai CEO Matt Miesnieks는 기술적으로 해결해야 할 일들이 많지만 아직은 사용자들에게 인상을 남기는 단계(impress the users)라고 말했습니다. Scape의 CEO Edward Miller는 지금 AR Cloud에서 가장 중요한 문제가 무엇이냐는 질문에 유스 케이스(use case)라고 답했습니다.

Spatial computing - 컨버전스된 공간의 비전

이 문제에 대한 답을 단순히 기존에 웹에서 보던 정보를 카메라 뷰의 특정 위치에 증강하는 것에서 찾을 수는 없을 것입니다. 현재의 AR Cloud를 가장 기본적인 공간의 좌표화 단계라고 본다면, 이 좌표를 매개로 물리적 공간을 컴퓨팅 공간으로 바꾸려는 다양한 시도들이 뒤따르고 있었습니다. 

AWE2019 Best Startup으로 뽑힌 Lexset는 공간의 오브젝트에 대한 실시간 인식 기술 가진 업체입니다. 3D CAD 데이터에서 머신러닝을 위한 다양한 학습용 오브젝트를 합성해 내는 기술도 확보하고 있습니다. AR 행사에서 컴퓨터 비전 기술 업체가 최고의 스타트업으로 뽑혔습니다. 이 밖에도 사람과 사물, 포즈, 감정 등 다양한 실시간 인식 기술을 가진 비전 업체들이 참가해 AR과 인식 기술의 접목 가능성을 보여주었습니다. 기계가 공간 속에서 일어나는 일들을 더 잘 읽어내게 해 AR로 생활 공간에서의 인간의 능력치를 확장시키고자 합니다. 

6d.ai 기술 로드맵 - 기본적인 측위에서 시작해 공간 구조 정보의 획득, 공간에 대한 실시간 이해로 확장

 

공간을 채울 다양한 컨텐츠 기술들도 선보였습니다. Zeg.ai는 AI를 이용해 2D 이미지에서 3D 컨텐츠를 생성하고 커스터마이징 하는 기술을 선보였습니다. 3D 디자이너의 수작업을 줄이고, 규모의 컨텐츠를 빠르게 제작하는 데에 AI 기술을 활용합니다. 한편, 이런 컨텐츠를 공간에 배치할 저작 도구들도 다양하게 선을 보였습니다. 

Zeg.ai - 2D 이미지에서 3D 모델 자동 생성 데모


3D 캐릭터와 아바타, 페이스 관련 기술은 spatial computing을 만나 아이덴티티를 표현하는 매개로 승화되었고, AR 협업 데모로 화제를 모았던 Spatial의 이진하 대표는 공간에 증강된 가상의 인물들이 한 곳에 모여 협업하는 시스템을 설계하며 배운 설계와 HCI 이슈들을 공유했습니다. Nreal이나 Focals 같은 일반 소비자를 타겟팅한 AR 글래스도 관심을 모았고, 5G도 뛰어들었습니다. 


Many Faces of Spatial Computing 패널 토론 - 토론자들이 자신이 좋아하는 페이스 필터를 적용하고 토론을 진행해 눈길을 끌었다.

 

이렇게 다양한 요소 기술과 플레이어들이 공간으로 모이고 있었습니다. 이 모든 것들이 합쳐질 때 공간은 나의 상황과 공간의 맥락을 이해하고 이 둘을 적시적소에 연결하는 컴퓨팅 인터페이스로 진화될 것 입니다. 이 때 AR은 기계가 읽어낸 공간을 사람에게 전달하는 인터페이스로 제 역할을 찾게 될 것입니다. 


누가 누구의 공간을 디지털화하는가? 

하지만, 이 모든 것의 시작점은 모두 기계가 읽을 수 있는 정확한 공간 정보입니다. 많은 업체들의 행보를 보며, 누가 공간의 지도를 깔고 깃발을 꼽을 것인가를 경쟁하는 디지털 공간 정보 쟁탈전의 서부 시대처럼 느껴졌습니다. 이 끝에서 AR Cloud의 미래에 대해 Niantic의 AR Research Lead인 Ross Finman이 한 말이 의미 심장하게 다가왔습니다.


(좌) Niantic AR Research Lead Ross Finman - AR Cloud의 미래에 대한 답변

 

One map to rule them all.
"승자가 거의 대부분의 사용자를 획득할 것입니다. 가장 최신의 맵이 가장 유용할거고, 유용한 맵을 만드는 곳이 승리할 것입니다. 더 많은 정보와 컨텐츠가 올라갈 수록 더 좋은 경험이 만들어지고 바로 그곳이 승자가 될 것입니다. SNS처럼 네트워크 이펙트가 발생할 것입니다. 리얼 월드와  인터랙션할 수 있는 맵을 가진 곳이 이길 것이고, 거기서 많은 유스 케이스가 생겨날 것입니다.”

Niantic에서 해리포터를 원작으로 출시한 Wizards Unite는 사용자가 주변 공간을 스캐닝하는 게임 로직을 탑재하고 있습니다. 전 세계의 사용자들이 게이머이자 동시에 맵퍼가 됩니다. CEO John Hanke는 사용자 참여로 클라우드 소싱한 AR map을 구축해 “새로운 종류의 소셜 액티비티”를 제공하겠다는 계획을 밝힌 바 있습니다. Niantic의 One map의 비전은 이미 진행 중입니다. 

6D.ai는 유사한 기능을 제공하는 구글 ARCore의 애플 ARKit과의 경쟁에서, 크로스 플랫폼 지원과 개인의 데이터 프라이버시를 차별화 포인트로 짚었습니다. 디지털화된 공간의 오너쉽은 누구에게 있는가 하는 정책적 논의도 시작되고 있었습니다. 사유지에 증강된 포켓몬이 사유 재산에 대한 침해가 되는가, 디지털화된 공간에 대한 권리는 공간의 오너/뷰어인가 라는 질문이 던져졌습니다. 반면, 데이터 오픈과 상호운용성을 위한 스펙과 프로토콜 표준화에 대한 논의를 들고 나온 그룹도 있었습니다. 

이렇듯 공간의 디지털화는 이것을 누가 먼저 확보하며, 어떻게 활용되고 이 결과물은 누구의 소유인가 하는 문제로 깊어지고 있었습니다. 실 세계를 카피한 가상 공간이 다시 실 세계로 던지는 질문입니다. 이 새로운 레이어가 인간의 삶에 미칠 영향에 대한 시그널이기도 합니다. 

피지컬과 디지털, 온라인과 오프라인의 경계를 허무는 접점으로서의 지도. 기계가 읽고 인터랙션하는 지도의 판이 깔리고 있습니다. 이 판 위에 올라갈 서비스의 그림들이 그려지고 있습니다. 도로 뿐만 아니라 일상 공간을 읽고 해석하는 역할도 점차 기계가 가져가게 될 것입니다. 당장 우리의 눈에는 보이지 않지만 서서히 영향력을 키워가며 눈에 보이는 지도를 밀어내게 될 새로운 세계의 출현입니다.

AWE 2019는 이 거대한 흐름을 다시 한 번 확인하는 기회였습니다. 이 변화하는 패러다임의 최전선에서 네이버랩스도 뛰고 있습니다. 


AWE 2019 관련 세션

  • AR Cloud SDK Roundup Panel at AWE USA 2019

https://youtu.be/H35y3LZXwuU

  • Matt Miesnieks (6D.ai): The Operating System for Reality is The Future of Everything

https://youtu.be/ge5m-UhF6RU

  • Planet Scale AR with Ross Finman (Niantic) in conversation with Jason McDowall

https://youtu.be/SxwskviDfm8

  • Anjney Midha (Ubiquity6): Creating More Accessible Massive Multiplayer Augmented Reality Experiences

https://youtu.be/f1XKIeAawcI

  • Jufo Peltomaa (Immersal): AWE USA 2019 Startup Pitch

https://youtu.be/n5uJTuH8dHE

  • Charlie Fink (XR Consultant, Forbes): Convergence

https://youtu.be/DeBIkdofS9U

  • Jacob Loewenstein & Jinha Lee: AR Collaboration - Goodbye Video Conferencing

https://youtu.be/lVEKBpEgB4I

 

Related Articles

VIDEOS