AR

AWE 2019 참관기 - Potential of a point

지난 5월, 미국 산타클라라 컨벤션 센터에서 네이버랩스의 연구 분야인 Visual Localization과 Location-based AR의 글로벌 흐름을 살펴볼 수 있는 행사가 열렸습니다. Augmentedreality.org에서 주관하는 XR(VR/AR/MR) 컨퍼런스/전시 행사인 AWE(Augmented World Expo). 올해는‘Spatial computing’이라는 주제로 기술과 서비스, 비즈니스를 아우르는 광범위한 논의와 전시가 이루어졌습니다.  이 행사에는 구글, 애플, 페이스북, MS와 같은 빅 플레이어들은 빠져 있습니다. 아쉬운 부분이지만, 그렇기 때문에 특정 플랫폼이 아닌 AR 시장 전체를 조망하며 다가올 시장의 방향을 가늠해 볼 수 있는 기회가 됩니다. 지배적인 플랫폼을 갖지 못한 업체들이 치열한 생존 경쟁 현장에서 도출한 시장의 요구사항을  모아볼 수 있기 때문입니다.  가장 흥미로웠던 흐름은 AR과 위치의 결합입니다. AR이 네이버랩스와 만나는 지점이기도 합니다. AWE 2019를 ‘위치’와 ‘공간’을 중심으로 정리해 봅니다.  AR Cloud - Web of spaces 작년 AWE의 메인 토픽이자 AR 업계 전반의 키워드 중 하나였던 AR Cloud. 지난 해 개념적으로 소개되었던 AR Cloud가 올해는 SDK와 제품, 응용 사례들로 구체화되어 등장했습니다.  일반적인 AR Cloud의 정의는 다음과 같습니다. Persistent digital twin of the real world  1:1 soft-3D-copy of the world and allow to reorganize information at its origin — in the physical world 실물 크기의 3D 모델은 사람의 눈에는 보이지 않지만, 실제 환경 위에 오버레이 되어 특정 위치에서 디지털 컨텐츠가 증강할 수 있게 합니다. 자동차 주행을 위한 HD map처럼, AR Cloud는 사람에게 인터페이스 하기 위해 기계가 읽는 지도입니다.    Scape의 AR Cloud 컨셉 이미지. 같은 지도 위에서 사용자들은 동시에 같은 경험을 할 수 있으며(multi-user), 그 자리를 떠나도 경험은 휘발되지 않고 유지되며(persistent contents) 업데이트 됩니다. 앵커링이 가능해진 공간은 URL을 입력하면 언제든 다시 로딩되는 웹페이지처럼 작동합니다.  내가 출근길에 심어 놓은 가상의 나무 한 그루는 내일 와도 ‘그 자리’에 서 있고, 가게 앞에 붙여 놓은 별점과 리뷰를 ‘그 자리’를 지나가는 다른 사용자도 볼 수 있습니다. 이렇게 위치라는 매개를 통해 AR은 단발적 경험에서 지속적인 컨텐츠와 경험을 제공할 수 있는 서비스로 진화하게 됩니다. Blue Vision Labs의 AR cloud 컨셉. 3D 지도 상의 특정 위치에 링크된 컨텐츠는 지속적인 유지와 여러 사용자 간 공유가 가능하다.    AWE에서는 mapping부터 VPS(Visual Positioning Service), 위치 기반의 AR 시나리오 개발 업체까지 다양한 스펙트럼의 업체가 참가했습니다. 같은 비전을 바라보지만, 주력 포인트나 접근 방식에는 차이가 있습니다.  Mapping/Meshing  - 공간을 디지털화하는 첫 번째 단계 AR과 위치의 결합은 주변 환경을 컴퓨터가 이해할 수 있는 형태로 재현하는 것에서 시작합니다. 6D.ai는 스마트폰 기반의 실시간 mapping/meshing 솔루션을 제공합니다. 별도의 장비 없이 스마트폰의 모노 RGB 카메라를 가지고 사용자가 공간을 매핑할 수 있습니다.  6D.ai의 스마트폰 기반 실시간 공간 매핑 이것은 서비스 시나리오를 확장합니다. 사전에 제공된 맵 없이도 사용자가 직접 매핑해서 자신의 주변 공간에 AR 컨텐츠를 올리거나, 만들어진 지도를 사용자 간에 공유한 후 여러 사람들이 함께 인터랙션하는 소셜한 AR 시나리오를 구현할 수 있습니다.  한편, 실제 환경에 반응하는 것과 같은 효과로 가상의 컨텐츠에 실재감을 더하는 오클루전(occlusion)이나 물리 반응(physics)의 기반이 되는 것도 이렇게 만들어진 3D 지도입니다. 현실과 가상의 경계를 허무는 그래픽스에서도 공간을 재현한 지도가 활용됩니다. 실물에 가려지는 효과(occlusion)와 실제 공간에 반응하는 물리 효과(physics) - 6D.ai youtube   6D.ai는 지난 해 빠른 속도와 정확도의 스마트폰 기반 매핑 데모로 인상을 남겼습니다. 올해는 한 걸음 더 나아가, 멀티 유저가 동시에 매핑하고 이 결과를 실시간으로 병합해 규모의 공간에 대한 공동의 맵을 만드는 클라우드 소싱 기반의 매핑 데모를 선보였습니다.  6D.ai 클라우스 소싱 매핑 데모. 한 공간을 4명이 3분간 동시 스캔 및 병합, 7분 프로세싱.    상용화 단계의 커머셜 AR Cloud SDK를 가지고 나온 업체도 있었습니다. 핀란드 업체 Immersal 역시 일반 스마트폰으로 실내 공간을 매핑하여 large-space AR을 구현할 수 있는 AR Cloud SDK를 소개했습니다. 쇼핑 센터, 극장, 컨퍼런스나 박물관 등의 특정 위치에서 제공되는 사용자 참여형 마케팅, 광고 데모로 AR Cloud를 상업적 활용 가능성을 가시화했습니다.  Immersal의 AR Cloud 상업적 활용 사례.   VPS (Visual Positioning Service) - 공간/위치 기반 서비스의 시작점 아웃도어 AR 내비게이션과 같은 world-scale 서비스는 스마트폰 기반의 매핑으로는 한계가 있습니다. VPS 업체들은 사전에 미리 대상 서비스 지역에 대한 맵을 구축하고, 이 결과를 사용자 카메라 정보를 비교하여 측위 결과를 제공합니다. 이런 VL(visual localization) 기술은 공간에서의 3D 좌표를 필요로 하는 위치 기반 AR 서비스에서 활용되는 한편, 실내나 도심 음영지역 등에서 부정확한 GPS의 보완재이기도 합니다. 영국 업체 Scape는 ScapeKit를 들고 나왔습니다. 거리뷰 데이터를 기반으로 아웃도어에서의 city-scale AR platform을 지향합니다. 구글 맵스의 AR 내비게이션 역시 거리뷰 데이터를 사용한다고 알려져 있습니다.  Scape의 VL 파이프라인   아웃도어 VL에서 가장 어려운 점 중 하나는 매핑 시점과 측위 시점의 환경 변화입니다. 낮과 밤, 눈, 비와 같은 환경적 변화와 계절에 따라 바뀌는 가로수, 지나가는 사람과 같은 다이내믹한 대상이 모두 VL의 방해 요소입니다.  Scape는 매핑 시점과는 다른 환경에서도 측위 가능한 SOSNet: Second Order Similarity Regularization for Local Descriptor Learning을 발표했습니다. 기존의 hand-craft visual feature descriptor를 가지고 딥러닝 기법을 통해 환경 변화에 강인하도록 설계하였으며, 새로운 feature matching 기법으로 소규모 매핑 데이터로도 VL을 잘 수행할 수 있을 것으로 기대되고 있습니다. Scape의 비오는 날 야간 측위 데모. 매핑 시점은 1년 전 낮 시간대.    이것은 네이버랩스의 핵심 연구 분야이기도 합니다. 네이버랩스는 이미 독보적인 실내 매핑/VL 기술을 확보했고, 네이버랩스 유럽은 CVPR 2019에서 SIFT를 능가하는 고성능의 딥러닝 기반 feature 추출 방법인 R2D2로 Long-Term Visual Localization 챌린지의 Local Feature Challenge 카테고리에서 우승하였습니다. 자율주행과 같은 모빌리티 서비스는 물론 AR/VR/로보틱스 등 다양한 분야에서의 활용이 기대되는 기술입니다.  Sturfee는 조금 다른 접근을 합니다. 거리뷰 대신 위성 사진 기반으로 구축한 3D 지도로 VPS를 제공합니다. 이미 글로벌 커버리지로 구축되어 있는 위성 사진을 활용하므로 기반 데이터 수급과 커버리지에 있어 경쟁력을 가집니다.  AR Cloud SDK Roundup 패널 토의에서 Sturfee의 CTO Harini Sridharan은 현재 가장 중점을 두고 해결하고자 하는 문제로 사용자 경험의 개선을 꼽았습니다. 측위를 위해 사용자가 폰으로 주변을 스캐닝해야하는 문제를 해결하고자 첫 프레임부터 바로 측위를 시작하는 Instant localization을 개발하고 있다고 합니다. 손쉬운 기반 데이터 수급으로 빠르게 커버리지를 넓혀가고 있는 Sturfee의 서울 강남 VPS 데모.   가끔 부동산 정보나 낯선 방문 장소를 미리 확인하는 용도로 사용되었던 거리뷰와 위성사진이 기계가 읽을 수 있는 지도를 만드는 기반 데이터로 새로운 활용 가치를 찾고 있습니다. 데이터들이 프로세싱되어 공간 속으로 스며들어가고 있습니다. 결국 데이터 싸움이 될 것이며, 더 나은 지도를 가진 곳이 O2O, 모빌리티, 각종 위치 기반 서비스의 시작점을 쥐게 될 것입니다.  Use case/Scenario - 피지컬 공간을 서비스 공간으로  이렇게 구현된 AR Cloud 인프라 위에서 돌아가는 유스 케이스와 시나리오에 집중하는 업체들도 있었습니다. Ubiquity6는 자체 공간 매핑 솔루션을 활용해 사용자들이 실 공간에서 함께 협업하고 연결하는 시나리오를 실제 구현한 사례들을 소개하여 눈길을 끌었습니다.  SF MOMA 르네 마그리뜨 전시회에서는 실제로 로비에 AR 포털을 증강해 사용자들이 작가의 예술 세계를 실공간에서도 체험해 볼 수 있는 장을 만들었습니다. 하지만 작품 체험보다 더 인기가 많았던 것은 참여형 AR UGC였다고 합니다. 사용자들은 미술관 로비에 다른 방문객들과 함께 블록을 쌓거나 자신이 찍은 사진을 올리며, 같은 공간에서 자신의 감상과 발자취를 함께 표현했습니다.  Ubiquity6의 Shared AR Sandbox @SF MOMA.   단발적 마케팅 활용 사례이지만, 공간에서 여러 사람들이 디지털 애셋을 가지고 실시간으로 경험을 공유하고, 그 공간을 함께 편집할 수 있을 때 가능한 일들은 여기에 그치지 않을 것입니다. 올 하반기에 출시한다고 알려진 MS의 마인 크래프트 AR은 이러한 가능성을 구체화할 제품으로 기대를 모으고 있습니다.  Resonai는 상업 공간에서 building-scale의 보다 실용적인 AR 시나리오 구현을 목표로 합니다. 매핑은 전문 파트너와 협업하는 대신 이 기반 위에서 돌아가는 저작툴과 시나리오의 구현을 지원하는 데 집중한 플랫폼을 가지고 나왔습니다.  공간 시각화 측면의 3D 지도를 구축하는 SpatialFirst와 같은 업체도 있었습니다. 사람이 보기 위한 비주얼한 지도를 만들지만, 정확하게 구축된 공간 정보를 활용해 AR과 접목할 수 있는 방향을 고민하고 있었습니다. 위치기반 컨텐츠 공유/게임에서부터, IoT와 결합한 실용적 시나리오까지 경험에 집중한 Resonai 데모.   하지만, 아직 이런 시나리오들은 미완의 스케치입니다. 컨텍스트를 담은 개인화된 주변 정보와 여행, 쇼핑, IoT 센서들이 발신하는 데이터와 사람들 간의 커뮤니케이션. 측위된 한 점을 통해 공간으로 올라올 수 있는 것들은 무궁무진합니다. 이 잠재된 가능성들이 기술을 드라이브해 나갈 것입니다.  또한, 공간을 통해 사용자의 어떤 문제를 해결할 것인가라는 문제는 여전히 남아 있습니다. 6D.ai CEO Matt Miesnieks는 기술적으로 해결해야 할 일들이 많지만 아직은 사용자들에게 인상을 남기는 단계(impress the users)라고 말했습니다. Scape의 CEO Edward Miller는 지금 AR Cloud에서 가장 중요한 문제가 무엇이냐는 질문에 유스 케이스(use case)라고 답했습니다. Spatial computing - 컨버전스된 공간의 비전 이 문제에 대한 답을 단순히 기존에 웹에서 보던 정보를 카메라 뷰의 특정 위치에 증강하는 것에서 찾을 수는 없을 것입니다. 현재의 AR Cloud를 가장 기본적인 공간의 좌표화 단계라고 본다면, 이 좌표를 매개로 물리적 공간을 컴퓨팅 공간으로 바꾸려는 다양한 시도들이 뒤따르고 있었습니다.  AWE2019 Best Startup으로 뽑힌 Lexset는 공간의 오브젝트에 대한 실시간 인식 기술 가진 업체입니다. 3D CAD 데이터에서 머신러닝을 위한 다양한 학습용 오브젝트를 합성해 내는 기술도 확보하고 있습니다. AR 행사에서 컴퓨터 비전 기술 업체가 최고의 스타트업으로 뽑혔습니다. 이 밖에도 사람과 사물, 포즈, 감정 등 다양한 실시간 인식 기술을 가진 비전 업체들이 참가해 AR과 인식 기술의 접목 가능성을 보여주었습니다. 기계가 공간 속에서 일어나는 일들을 더 잘 읽어내게 해 AR로 생활 공간에서의 인간의 능력치를 확장시키고자 합니다.  6d.ai 기술 로드맵 - 기본적인 측위에서 시작해 공간 구조 정보의 획득, 공간에 대한 실시간 이해로 확장   공간을 채울 다양한 컨텐츠 기술들도 선보였습니다. Zeg.ai는 AI를 이용해 2D 이미지에서 3D 컨텐츠를 생성하고 커스터마이징 하는 기술을 선보였습니다. 3D 디자이너의 수작업을 줄이고, 규모의 컨텐츠를 빠르게 제작하는 데에 AI 기술을 활용합니다. 한편, 이런 컨텐츠를 공간에 배치할 저작 도구들도 다양하게 선을 보였습니다.  Zeg.ai - 2D 이미지에서 3D 모델 자동 생성 데모 3D 캐릭터와 아바타, 페이스 관련 기술은 spatial computing을 만나 아이덴티티를 표현하는 매개로 승화되었고, AR 협업 데모로 화제를 모았던 Spatial의 이진하 대표는 공간에 증강된 가상의 인물들이 한 곳에 모여 협업하는 시스템을 설계하며 배운 설계와 HCI 이슈들을 공유했습니다. Nreal이나 Focals 같은 일반 소비자 타겟의 AR 글래스도 관심을 모았고, 5G도 뛰어들었습니다.  Many Faces of Spatial Computing 패널 토론 - 토론자들이 자신이 좋아하는 페이스 필터를 적용하고 토론을 진행해 눈길을 끌었다.   이렇게 다양한 요소 기술과 플레이어들이 공간으로 모이고 있었습니다. 이 모든 것들이 합쳐질 때 공간은 나의 상황과 공간의 맥락을 이해하고 이 둘을 적시적소에 연결하는 컴퓨팅 인터페이스로 진화될 것 입니다. 이 때 AR은 기계가 읽어낸 공간을 사람에게 전달하는 인터페이스로 제 역할을 찾게 될 것입니다.  누가 누구의 공간을 디지털화하는가?  하지만, 이 모든 것의 시작점은 모두 기계가 읽을 수 있는 정확한 공간 정보입니다. 누가 먼저 공간에 지도를 깔고 깃발을 꽂을 것인가를 두고 경쟁하는 많은 업체들을 보고 있노라면, 디지털 공간 정보 쟁탈전의 서부 시대처럼 느껴지기도 합니다. 이 끝에서 AR Cloud의 미래에 대해 Niantic의 AR Research Lead인 Ross Finman이 한 말이 의미 심장하게 다가왔습니다. (좌) Niantic AR Research Lead Ross Finman - AR Cloud의 미래에 대한 답변   One map to rule them all. "승자가 거의 대부분의 사용자를 획득할 것입니다. 가장 최신의 맵이 가장 유용할거고, 유용한 맵을 만드는 곳이 승리할 것입니다. 더 많은 정보와 컨텐츠가 올라갈 수록 더 좋은 경험이 만들어지고 바로 그곳이 승자가 될 것입니다. SNS처럼 네트워크 이펙트가 발생할 것입니다. 리얼 월드와  인터랙션할 수 있는 맵을 가진 곳이 이길 것이고, 거기서 많은 유스 케이스가 생겨날 것입니다.” Niantic에서 해리포터를 원작으로 출시한 Wizards Unite는 사용자가 주변 공간을 스캐닝하는 게임 로직을 탑재하고 있습니다. 전 세계의 사용자들이 게이머이자 동시에 맵퍼가 됩니다. CEO John Hanke는 사용자 참여로 클라우드 소싱한 AR map을 구축해 “새로운 종류의 소셜 액티비티”를 제공하겠다는 계획을 밝힌 바 있습니다. Niantic의 One map의 비전은 이미 진행 중입니다.  6D.ai는 유사한 기능을 제공하는 구글 ARCore의 애플 ARKit과의 경쟁에서, 크로스 플랫폼 지원과 개인의 데이터 프라이버시를 차별화 포인트로 짚었습니다. 디지털화된 공간의 오너십은 누구에게 있는가 하는 정책적 논의도 시작되고 있었습니다. 사유지에 증강된 포켓몬이 사유 재산에 대한 침해가 되는가, 디지털화된 공간에 대한 권리는 공간의 오너/뷰어인가 라는 질문이 던져졌습니다. 반면, 데이터 오픈과 상호운용성을 위한 스펙과 프로토콜 표준화에 대한 논의를 들고 나온 그룹도 있었습니다.  State of The AR Cloud Report - 2019  Open AR Cloud Association(OARC)이 발표한 AR Cloud의 현황과 표준화 백서 이렇듯 공간의 디지털화는 이것을 누가 먼저 확보하고, 어떻게 활용되며, 이 결과물은 누구의 소유인가 하는 문제로 깊어지고 있습니다. 실세계를 카피한 가상 공간이 다시 실세계로 던지는 질문입니다. 이 새로운 레이어가 인간의 삶에 미칠 영향에 대한 시그널이기도 합니다.  피지컬과 디지털, 온라인과 오프라인의 경계를 허무는 접점으로서의 지도. 기계가 읽고 인터랙션하는 지도의 판이 깔리고 있습니다. 이 판 위에 올라갈 서비스의 그림들이 그려지고 있습니다. 도로 뿐만 아니라 일상 공간을 읽고 해석하는 역할도 점차 기계가 가져가게 될 것입니다. 당장 우리 눈에는 보이지 않지만 서서히 영향력을 키워가며 눈에 보이는 지도를 밀어내게 될 새로운 세계의 출현입니다. AWE 2019는 이 거대한 흐름을 다시 한 번 확인하는 기회였습니다. 이렇듯 변화하는 패러다임의 최전선에서 네이버랩스도 뛰고 있습니다.  AWE 2019 관련 세션 AR Cloud SDK Roundup Panel at AWE USA 2019 https://youtu.be/H35y3LZXwuU Matt Miesnieks (6D.ai): The Operating System for Reality is The Future of Everything https://youtu.be/ge5m-UhF6RU Planet Scale AR with Ross Finman (Niantic) in conversation with Jason McDowall https://youtu.be/SxwskviDfm8 Anjney Midha (Ubiquity6): Creating More Accessible Massive Multiplayer Augmented Reality Experiences https://youtu.be/f1XKIeAawcI Jufo Peltomaa (Immersal): AWE USA 2019 Startup Pitch https://youtu.be/n5uJTuH8dHE Charlie Fink (XR Consultant, Forbes): Convergence https://youtu.be/DeBIkdofS9U Jacob Loewenstein & Jinha Lee: AR Collaboration - Goodbye Video Conferencing https://youtu.be/lVEKBpEgB4I  

2019.07.12 정유진 / Map Cloud

A-CITY를 준비하는 네이버랩스의 주요 기술들

A-CITY는 네이버랩스의 기술로 도전하는 미래 도시상입니다. 도심의 각 공간들을 다양한 자율주행 머신들로 연결하고, 인공지능이 방대한 데이터를 분석해 예측하며, 공간 데이터를 정보화하고 업데이트하여 배송과 물류 등의 서비스들까지 자동화 되는 도시를 위한 기술을 연구합니다. 이를 위해 우리는 도심을 구성하고 있는 다양한 공간의 데이터를 모아 머신들을 위한 고정밀 지도를 만들고, 장소/환경/목적에 따라 변용 가능한 지능형 자율주행 머신 플랫폼 개발하고 있습니다. 또한 자연스러운 HMI (human-machine interaction)를 연구해 일상의 공간에서 사람들에게 유용한 서비스를 제공하는 것이 목표입니다. A-CITY라는 미래 도시상을 앞당기기 위해 지금 우리가 집중해 고도화하고 있는 핵심 기술들입니다.   매핑 로봇 M1, 실내 자율주행을 위한 시작 M1은 실내 공간의 3차원 고정밀 지도를 제작하는 매핑 로봇입니다. LiDAR로 수집한 포인트 클라우드에 SLAM 기술을 적용하여 만든 고정밀 지도는 실내 자율주행 서비스 로봇을 비롯해 다양한 위치 기반 서비스의 핵심 데이터로 사용됩니다. 현재 M1의 업그레이드 버전인 M1X를 통해 정확도를 높이는 동시에 데이터 활용성을 더욱 확장하고 있습니다. M1 자세히 보기   도로 자율주행을 위한 핵심 데이터, 하이브리드 HD매핑 자율주행머신을 위한 도로 HD맵을 제작하는 독창적인 솔루션입니다. 도심 단위 대규모 지역을 촬영한 항공사진 이미지에서 도로 면의 레이아웃 정보를 추출하고, 자체 개발된 MMS (mobile mapping system)인 R1이 수집한 데이터를 유기적으로 결합하는 방식으로 광대한 영역의 HD맵을 빠르고 정확하게 제작하는데 효과적인 방식입니다. 하이브리드 HD매핑 자세히 보기   HD맵을 자동으로 업데이트하는 기술들 머신을 위한 지도 역시 최신성은 중요합니다. 네이버랩스에서는 도로 HD맵을 위한 ACROSS 프로젝트와 실내 지도를 위한 셀프업데이팅맵 기술을 연구합니다. ACROSS는 다수의 차량에 장착한 매핑 디바이스로 도로 레이아웃(차선 정보, 정지선 위치, 도로 마커 등)이나 3차원 정보(교통표지판, 건물, 신호등, 가로등 등)의 변화를 감지하여 업데이트하는 기술입니다. 셀프업데이팅맵은 자율주행로봇과 AI를 통해 대규모 쇼핑몰의 POI 변화를 자동으로 인식하는 기술입니다. ACROSS 프로젝트 자세히 보기 셀프업데이팅맵 기술 자세히 보기   노면과 환경이 불규칙한 인도(sidewalk) 매핑 & 측위 실내와 도로의 중간 지대라 할 수 있는 인도(sidewalk)는 계절이나 날씨의 영향을 많이 받습니다. 또한 노면도 훨씬 불규칙합니다. 그래서 네이버랩스는 인도에서의 매핑과 측위 기술 개발을 위해 'COMET'이라는 프로젝트를 진행 중입니다. 인도 환경에 적합한 센서 구성의 디바이스를 제작하고, 이 매핑 장비로 취득한 데이터를 처리하기 위한 알고리즘도 개발하고 있습니다. 단기적으로는 사람이 장착하며 테스트를 하겠지만, 향후 다양한 노면에서 이동이 가능한 4족 보행 로봇이 직접 데이터를 취득할 수 있게 테스트할 예정입니다. 네이버랩스의 펀딩으로 MIT에서 개발한 치타3와 미니치타가 활용될 것입니다. 또한 네이버랩스 유럽에서 진행 중인 날씨/계절/시간/조명 등의 환경 변화에도 특정 위치를 정확히 파악하는 VL 연구(R2D2)도 아주 혁신적인 기술입니다. 이 기술은 CVPR 2019의 Long-Term Visual Localization 부문 Local Feature Challenge에서 1위를 수상하기도 했습니다. R2D2 프로젝트 더 보기   도로 위의 끊김 없는 정밀 측위 (localization) 기술 도심의 복잡한 환경에서도 자율주행 머신이 자신의 위치를 실시간으로 정밀하게 추정하는 기술을 연구합니다. 빌딩숲이나 터널 등 GPS 신호에 의존할 수 없는 지역에서도 끊김 없이 안정적인 측위를 하기 위해 자체 개발 HD맵을 하나의 가상 센서처럼 활용하고 LiDAR, Camera, 관성센서, Wheel Encoder 등 다양한 센서로부터 획득된 정보를 종합하여 가장 정확한 좌표를 추출하는 기술을 고도화하고 있습니다. 올해 말까지 오차범위 10cm 이내의 정밀도를 목표로 각 알고리즘의 완성도를 높이는 한편, 서울/경기 주요 지역의 실제 도로에서 지속적으로 검증해 나갈 계획입니다. HD map aided localization 더 보기   실내에서 사진 한 장으로 위치를 인식하는 VL 기술 VL (visual localization) 기술은 이미지를 분석해 현재 위치를 인식하는 기술입니다. GPS가 통하지 않는 실내에서도 아주 정밀하게 현재 위치를 알 수 있습니다. 네이버랩스의 이VL 기술은 M1이 촬영한 3D 데이터에서 특징점을 추출하고 비교해 위치를 인식하는 솔루션으로 최고 수준의 글로벌 경쟁력을 가지고 있습니다. 현재 실내 자율주행 로봇 플랫폼에 이 기술이 적용되어 있으며, VL 외에 센서와 영상 정보를 분석해 위치를 추적하는 VIO (visual-inertial odometry), 사물을 인식해 위치나 방향을 6DoF(전후상하좌우)로 추정하는 VOT (visual object tracking) 기술 등과 결합한 AR 기술도 함께 개발하고 있습니다. AR은 공간 그 자체를 인터페이스로 활용하기 위해 아주 중요한 기술이기도 합니다. VL 기술 자세히 보기   사람의 팔과 유사한 구조의 로봇팔, AMBIDEX 일상 공간에서 사람들에게 직접 서비스를 제공하기 위해서는 아주 정교한 동작이 가능하면서 동시에 안전한 로봇팔이 필수입니다. 네이버랩스와 코리아텍이 산학협력으로 개발한 AMBIDEX는 와이어 구조의 혁신적인 동력 전달 메커니즘으로 사람들과 안전하게 인터랙션 할 수 있는 로봇 팔입니다. 또한 AMBIDEX의 활동 반경을 확장하기 위해 허리부를 추가했습니다. 더 똑똑하고 정교한 서비스 시나리오를 수행할 수 있도록 시뮬레이터를 통한 강화 학습 등을 함께 연구하고 있습니다. AMBIDEX 자세히 보기   도로 위의 자율주행 머신들을 위한 온로드 머신 플랫폼 네이버랩스는 2017년 IT업계 최초로 국토부 자율주행 임시운행을 허가 받은 이후 실제 도로 위에서 측위, 인지, 플래닝과 컨트롤에 이르는 모든 영역의 도로 자율주행 기술들을 종합적으로 고도화하고 있습니다. 또한 하이브리드 HD매핑과 ACROSS 솔루션으로 도로 자율주행을 위한 HD맵을 제작합니다. 이러한 기술들과 데이터를 통합하여 이후 물류/배송/ 무인샵 등 다양한 목적으로 커스터마이즈할 수 있는 도로 자율주행 머신 플랫폼을 개발하고 있습니다. 네이버랩스 자율주행 기술 더 보기   맵 클라우드와 강화학습을 통한 실내 자율주행, AROUND 플랫폼 AROUND플랫폼은 자율주행 서비스 로봇 대중화를 목표로 네이버랩스가 개발한 독자적인 솔루션입니다. 매핑 로봇 M1이 만든 맵 클라우드(map cloud)를 기반으로 위치를 인식하여 경로를 계획하고, 심층 강화학습 (deep reinforcement learning) 알고리즘을 적용해 레이저스캐너의 도움 없이 매끄러운 자율주행이 가능하다는 것이 특징입니다. 지도 생성, 위치 파악, 경로 생성, 장애물 회피 등의 핵심 기능을 직접 수행해야 하는 기존 많은 자율주행 로봇과는 달리, 저가의 센서와 낮은 프로세싱 파워만으로 정확도 높은 실내 자율주행을 구현했습니다. AROUND 자세히 보기   로봇 서비스의 새로운 가능성, 5G 브레인리스 로봇 플랫폼 네이버랩스는 CES 2019에서 세계 최초로 5G 브레인리스 로봇 시연에 성공한 바 있습니다. 로봇의 두뇌 역할을 하는 컴퓨터를 클라우드로 옮기고 5G로 연결하는 기술입니다. 다수의 로봇을 동시에 제어할 수 있어 제작 비용을 효과적으로 줄일 수 있고, 클라우드가 로봇의 두뇌 역할을 대신하기 때문에 크기가 작으면서 지능도 뛰어난 로봇을 만들 수도 있습니다. 우리는 이 기술을 AROUND 플랫폼과 연계하는 연구로 확대하고 있습니다. 이를 통해 네이버 데이터센터 ‘각’이 여러 로봇들의 두뇌가 되어 다양한 방식의 로봇 서비스를 제공하고자 합니다. 5G 브레인리스 로봇 기술 자세히 보기

2019.06.26 NAVER LABS

Visual localization 기술을 활용한 indoor AR navigation

GPS가 통하지 않는다는 것 내비나 지도앱을 켜면 바로 내 위치를 알 수 있죠. 익숙한 일상입니다. 여기에는 GPS 덕이 큽니다. 하지만 실내라면? GPS 신호가 사라진 실내에서는 현재 위치를 확인하기가 여전히 어렵습니다. 길 안내 서비스나 실내를 자율주행하는 로봇에겐 풀어야 할 숙제입니다. 여러 기술이나 인프라가 있기는 합니다. 네이버랩스에서는 어떤 기술로 해결하고 있을까요? 사진 한 장으로 위치를 인식하는 기술 우리는 VL (visual localization) 기술을 고도화해 왔습니다. VL은 이미지로 위치를 찾는 기술입니다. 어쩌면 우리의 일상 경험과도 닮았습니다. 사람들도 주변환경을 눈으로 살펴 지금 어디에 있는지를 파악하곤 하니까요. 물론 사람의 눈으로 보는 풍경과는 조금 다릅니다. VL에서는 이미지 속의 특징점들을 찾아 측위를 합니다. Visual localization demo 네이버랩스에서는 매핑로봇 M1을 활용하고 있습니다. M1이 촬영한 3D 데이터에서 특징점을 추출해 feature map을 제작합니다. 이 지도에는 위치 계산을 위한 정보들도 함께 담겨있습니다. 이 feature map을 이용하면, 스마트폰으로 찍은 사진 한 장만으로 바로 측위가 됩니다. GPS와 비교해 오차는 훨씬 작습니다. 게다가 바라보는 방향까지도 정확하게 측정할 수 있습니다. 끊김없는 측위도 중요 일단 VL 기술로 실내에서의 현재 위치를 알 수 있습니다. 하지만 사람도 로봇도 제자리에 가만히 서있는 건 아니죠. 이동을 합니다. 당연히 이동 상황에서의 정밀한 측위 기술도 필수입니다. 이때 사용하는 기술은, 센서와 영상 정보를 분석해 위치를 추적하는 VIO (visual-inertial odometry) 입니다. 최적화 알고리즘도 함께 활용하고 있습니다. 최소한의 네트워크와 저사양 카메라만으로 스마트폰에서 실시간으로 끊김없이 측위하기 위해서입니다.  비교 : (왼쪽부터) VL 단독 → VL+VIO → VL+VIO+최적화알고리즘 즉, VL 기술로 현재 위치를, 이동시에는 최적화 엔지니어링이 적용된 VIO로 실시간 위치 추적을 하게 됩니다. 이러한 측위 기술들이 네이버랩스에서 개발한 실내 AR 내비게이션이나 실내 자율주행 로봇에 적용되어 있습니다. 실내 AR 내비게이션에는 측위 기술이 하나 더 들어갑니다. VOT (visual object tracking) 입니다. 이미지 인식 기술로 움직이는 대상의 위치나 방향을 6DoF(전후상하좌우)로 추정할 수 있는 기술입니다. VL이 제대로 동작하지 않거나 부정확한 환경일 때, VOT를 활용해 사물의 정확한 위치를 인식하거나 특정 영역에 컨텐츠를 증강시킵니다. VOT (visual object tracking) demo 실내 위치 기반 서비스의 시작 - 측위 위치 기반 서비스들의 핵심 컨텍스트는, 너무나 당연하게도 위치입니다. 그래서 GPS가 안잡히는 실내에서의 측위를 해결한다는 것은, 아직 실내에서 경험하지 못했던 새로운 서비스들의 탄생을 촉진한다는 말이기도 합니다. 처음 찾아간 대형쇼핑몰에서 더이상 길을 헤매지 않아도 되고, 로봇들도 스스로 경로를 계획해 이동하며 서비스를 제공할 수 있게 됩니다. 공간 그 자체를 인터페이스로 확장시키는 AR 역시 사용자 위치를 기반으로 다양하고 유용한 서비스들로 이어질 수 있습니다. 우리가 실내 측위 기술 연구를 지속해오는 이유입니다.

2019.05.31 네이버랩스

네이버랩스, CES 2019 전시물 소개

네이버랩스는 CES 2019에서 생활환경지능 기반의 최신 location & autonomous mobility intelligence 기술들을 전시합니다. 전시 부스 위치 및 개요 보기 ■ xDM Platform eXtended Definition & Dimension Map xDM platform은 스마트폰과 자율주행 머신을 위한 location과 mobility 통합 솔루션입니다. 네이버랩스에서 연구하는 로봇과 AI 기반의 HD 매핑, 측위, 내비게이션 기술과 고정밀 데이타를 통합했습니다. 3D/HD 지도를 만들고 자동 업데이트하는 기술, 실내외를 아우르는 정밀한 측위, 그리고 실시간/실공간 데이터로 맥락을 이해하는 이동 정보를 담았습니다. 이 플랫폼을 통해 AR 내비게이션, 자율주행차, 서비스 로봇, ADAS 등 다양하고 새로운 위치 기반 서비스와 자율주행 서비스를 개발할 수 있습니다.   ■ Mapping Solutions M1, Indoor Autonomous Mapping Robot M1 은 3차원 실내 정밀 지도 제작 로봇입니다. 실내공간을 자율주행하며 고성능 카메라와 LiDAR를 통해 실내 공간의 고해상도 이미지와 3D 공간 데이터를 수집합니다. 사람이 직접 해야했던 지도 제작 과정을 더욱 빠르고 효율적으로 수행합니다. 이를 통해 만들어진 고정밀 지도는 실내 공간의 자율주행 서비스 로봇, AR 내비게이션 등을 비롯한 다양한 위치 기반 서비스의 핵심 데이터가 됩니다. Self-Updating Map 네이버랩스는 지도의 최신성을 자동으로 유지하는 기술을 연구하고 있습니다. 현재 실내 자율주행 서비스 로봇이 수집한 데이터를 분석하여 최신 지도로 업데이트할 수 있는 기술을 보유하고 있습니다. 이를 위해 네이버랩스와 네이버랩스 유럽의 로보틱스, 컴퓨터 비전 기술, 딥 러닝과 머신 러닝 등 최첨단 AI 기술들이 활용되었습니다. 대규모 쇼핑몰에서 각 상점의 정보를 인식해 업데이트하는 POI change detection 기술을 확보했으며, 현재 POI attribute recognition 기술을 연구하고 있습니다. 향후 semantic mapping 기술까지 단계적으로 확장할 계획입니다.   ■ Autonomous Robots AROUND Platform, Autonomous Service Robot Platform AROUND platform은 자율주행 서비스 로봇의 대중화를 목표로 합니다. 로봇의 자율주행에 필요한 주요 기능을 매핑로봇과 xDM 클라우드로 분산시켜 로봇 제작 단가를 현저히 낮췄습니다. 먼저 매핑로봇 M1이 실내를 자율주행하며 공간 데이터를 수집합니다. 이렇게 수집된 map data는 xDM 클라우드에 업데이트 되며, 이를 활용해 클라우드 기반의 visual localization과 path planning을 통해 서비스 로봇이 자율주행하게 됩니다. AROUND platform은 심층 강화학습 (deep reinforcement learning)을 활용한 장애물 회피 기술로 돌발적인 상황 대응과 장애물/보행자 회피를 하며 목적지까지 원활한 이동을 할 수 있습니다. 서점에서 책을 나르거나 대형쇼핑몰에서 길 안내를 하는 것과 같이 공간 특성과 사용자 니즈에 맞게 커스터마이징이 가능합니다. AROUND G, Autonomous Guide Robot AROUND G는 AROUND platform을 통해 개발한 실내 자율주행 가이드 로봇입니다. 쇼핑몰, 공항, 호텔 등 복잡한 대규모 실내 공간에서 자율주행하며 가이드를 하고, AR 내비게이션을 통해 직관적인 정보를 제공합니다. xDM platform의 고정밀 실내 지도와 visual & sensor localization을 활용해 실내에서도 현재 위치를 정확하게 파악할 수 있으며, 가장 가까운 이동경로를 정확히 예측해 사용자를 안내합니다. 길을 안내하는 동안에는 본체 디스플레이의 AR 내비게이션을 통해 이동 및 공간 정보를 생생하게 전달합니다. 우리는 AROUND G를 통해 새로운 도구가 공간 속으로 자연스럽게 스며드는 생활환경지능을 실현하고자 합니다. 사용자가 목적지까지 안내를 받는 동안, 눈 앞의 로봇이라는 물리적 대상이 사라지고 가장 자연스러운 서비스와 유용한 정보만이 남는 경험을 만들고자 합니다.   ■ Autonomous Driving Hybrid HD Map & R1 네이버랩스는 자체 자율주행기술과 3D/HD mapping 기술을 접목해 hybrid HD map이라는 독자적인 매핑 기술을 연구하고 있으며, 이는 항공 사진과 모바일 매핑 시스템의 데이터를 활용한 솔루션입니다. 먼저 3D 매핑 기술로 항공촬영 이미지(aerial image)를 합성해 도로 면의 정보를 추출하고, 자체 개발된 lightweight MMS (mobile mapping system)인 R1이 이동하며 수집한 포인트 클라우드(point cloud)를 유기적으로 결합하는 방식으로 HD맵을 제작합니다. Hybrid HD map은 기존 값비싼 MMS 장비로 제작하는 HD맵에 비해 제작 비용을 절감하면서도 높은 정확도를 유지할 수 있습니다. NAVER LABS ADAS CAM NAVER LABS ADAS CAM은 자율주행차 연구에서 사용하는 딥러닝 기반 알고리즘의 ADAS (advanced drivers’ assistance system) 기능을 제공합니다. 싱글 카메라만으로 강력하게 동작되는 FCW (forward-collision warning)와 LDW (lane-departure warning) 기능을 제공합니다. 또한 xDM 플랫폼의 hybrid HD map과 연동하면 복잡한 환경에서도 더 정밀한 기능 제공이 가능해집니다. 다양한 환경 조건에서 도로 상황을 정확히 인식할 수 있도록 HDR (high dynamic range) & flicker free 기능을 가진 카메라 모듈을 자체 개발하여 적용하였습니다. ■ NAVER Maps & Wayfinding NAVER Maps & Wayfinding 네이버지도는 공간 정보 검색과 대중교통 길 찾기 및 자동차 내비게이션 등의 생활밀착형 서비스를 제공합니다. 실내외의 모든 공간을 끊김없이 연결하고 더욱 정확한 공간 정보를 제공하기 위한 연구를 지속하고 있으며, 특히 xDM platform을 통해 다양한 영역으로 확장될 수 있는 차세대 지도 서비스들을 개발하고 있습니다. Indoor AR Navigation 네이버랩스의 indoor AR navigation은 xDM platform의 매핑로봇 M1이 제작한 실내 지도와 visual & sensor localization 기술을 기반으로 GPS 신호가 없는 실내공간에서 별도의 hardware 인프라 구축 없이 사용자 위치와 방향을 정확하게 인식해 길 안내를 할 수 있습니다. 가시거리 내의 POI를 기준으로 TBT (turn-by-turn) 정보와 진행 방향을 제공합니다. AKI, Location & Geofencing Technology AKI는 xDM platform에서 제공하는 정확한 실내외 위치인식 기술, geofencing 기술, 그리고 개인화된 위치인식 등을 활용한 스마트 키즈워치입니다. 아이의 이동 패턴과 상황을 학습하며, 정확한 위치 정보를 보호자에게 적시에 제공합니다. AWAY, In-Vehicle Infotainment Platform AWAY는 차량용 인포테인먼트 플랫폼입니다. 운전자의 안전을 고려한 UI, 음성으로 조작할 수 있는 네이버지도 내비게이션, 음악과 뉴스 등 주행 환경에 최적화된 미디어 서비스를 제공합니다. 이번 CES에서 소개하는 AWAY 헤드유닛은 24:9 비율의 스플릿 뷰 기반으로 미디어 콘텐츠와 내비게이션 등 여러 기능을 동시에 확인할 수 있는 것이 특징이며, 현재 카셰어링 서비스 ‘그린카’ 차량에 탑재되어 있습니다. AHEAD, 3D AR HUD AHEAD는 차량용 3D AR HUD (head-up display)입니다. 기존 HUD는 디스플레이되는 가상의 이미지와 실제 도로 사이의 초점이 달라 운전자의 집중을 흐릴 수 있었습니다. AHEAD는 운전자의 시점에서 근거리에서 원거리까지 실제 도로에 융합된 정보를 제공하는 3D 광학 기술을 실현했습니다. 운전자는 AHEAD에 표시되는 이미지가 마치 도로 위에 존재하는 것처럼 자연스러운 시선으로 정보를 제공받을 수 있습니다. 리플릿 다운로드 ■ Robotics AMBIDEX, Robot Arm with Innovative Cable-Driven Mechanisms 사람과 공존할 수 있는 로보틱스 연구의 하나로 진행된 AMBIDEX는 와이어 구조의 혁신적인 동력 전달 매커니즘으로 사람과 안전하게 인터랙션 할 수 있는 로봇 팔입니다. 한 팔의 무게는 고작 2.6kg로, 이는 일반적인 성인 남성의 한 팔 무게보다 가볍습니다. 그럼에도 최대 3kg의 하중을 버티고, 최대 5m/s의 속도로 동작할 수 있습니다. 산업용 로봇 수준의 정밀한 제어가 가능하기 때문에 짐을 옮기는 아주 간단한 작업부터, 사람과의 정밀한 협업을 통해 복잡한 작업을 수행하는 것까지 다양한 활용이 가능합니다. 또한 5G네트워크의 low latency와 high throughput 성능을 이용하여 원격지에서도 무선으로 실시간 고속 제어가 가능하게 설계되어 있습니다. AIRCART, Human-Power Amplification Technology AIRCART는 근력증강 로보틱스 기술(robotics for human power augmentation)을 응용해 개발한 카트입니다. 이 기술은 단순해보이지만, 이를 일상 공간에서 누구나 쉽게 사용할 수 있는 도구에 적용해 상용화했다는 점이 중요합니다. AIRCART에는 pHRI (physical human-robot interaction) 기술이 적용되어 무거운 물체를 실어도 누구나 가볍게 운반할 수 있습니다. 운전자의 조작 의도를 손잡이의 힘 센서로 파악해 카트의 움직임을 제어하기 때문에, 따로 조작 방법을 배울 필요없이 쉽게 사용할 수 있습니다. 또한 사고가 발생하기 쉬운 비탈길에서도 자동 브레이크 시스템으로 안전하게 이동합니다. 현재 서점이나 도서관, 공장 등 활용처를 다양화하고 있습니다.

2019.01.07 NAVER LABS

CES 2019 Innovation Awards에서 'AHEAD', 'R1' 등 4개 제품 수상

네이버랩스의 생활환경지능 연구 성과들이 CES 2019 Innovation Awards 수상으로 이어졌습니다. CES Innovation Awards는 엔지니어와 디자이너 등으로 구성된 심사위원단이 탁월한 기술력과 디자인 경쟁력을 갖춘 제품들을 선정해 수여하는 상입니다. 네이버랩스는 총 3개 부문에 출품하여 4개 제품을 수상했습니다. In-vehicle audio/video 부문에 'AHEAD'와 'AWAY'가, vehicle intelligence and self-driving technology 부문에서 'NAVER LABS R1', robotics and drones 부문에 'AMBIDEX'가 각기 수상했습니다. AHEAD, 3D AR HUD AHEAD는 지난 DEVIEW 2018에서 첫 공개를 했던 3D AR HUD입니다. 정해진 단일 초점 거리에 가상 이미지를 생성하는 일반 HUD와 달리, 운전자의 초점에 맞춰 실제 도로와 자연스럽게 융합되는 방식으로 정보를 제공합니다. 운전자는 마치 실제 이미지가 도로 위에 존재하는 것처럼 자연스럽게 내비게이션 정보, 전방 추돌 경고, 차선 이탈 경고, 안전 거리 경고 등을 제공받을 수 있습니다. AWAY, in-vehicle infotainment platform AWAY는 네이버랩스에서 개발한 차량용 인포테인먼트 플랫폼입니다. 운전자의 안전을 고려한 UI, 다양한 지역정보, 음성 에이전트로 목적지 검색이 가능한 전용 내비게이션, 네이버뮤직과 오디오클립 등 주행 환경에 최적화된 미디어 서비스를 제공합니다. 이번 CES에 출품한 AWAY 헤드유닛 디스플레이는 24:9 비율의 스플릿 뷰 기반으로 미디어 콘텐츠와 내비게이션 등 여러 기능을 시각적 간섭 없이 동시에 확인할 수 있는 것이 특징입니다. NAVER LABS R1, mobile mapping system NAVER LABS R1은 자율주행차용 hybrid HD맵 제작을 위한 모바일 매핑 시스템입니다. 우리의 독자적 매핑 솔루션인 hybrid HD맵은, 미리 촬영된 정밀 항공 사진의 정보와 R1 차량이 수집한 point cloud 정보를 유기적으로 결합하는 방식으로 HD맵을 제작합니다. 각 2D/3D 데이터에서 HD맵 제작을 위한 feature들을 자동 추출하는 알고리즘을 적용했기 때문에 일반 MMS 장비보다 제작 비용을 줄이면서도 동일 수준의 정확도를 얻을 수 있으며, 최신성 유지에도 효과적이라는 점이 특징입니다. AMBIDEX, robot arm with Innovative cable-driven mechanisms AMBIDEX는 와이어 구조의 혁신적인 동력 전달 매커니즘을 통해 사람과 안전하게 인터랙션을 할 수 있는 로봇팔입니다. 한 팔의 무게는 고작 2.6kg로, 성인 남성의 한 팔보다 가볍습니다. 그럼에도 최대 3kg의 하중을 버티고, 최대 5m/s의 속도로 동작할 수 있습니다. 동시에 7개의 관절에서 강도를 증폭할 수 있고, 정밀한 제어가 가능하며, 딥러닝을 통해 수행 능력을 발전시킬 수 있기 때문에, 일상 공간에서 사람들에게 직접 도움을 주는 다양한 서비스를 제공할 수 있습니다. 네이버랩스는 내년 1월 8일부터 미국 라스베가스에서 개최되는 CES 2019에 참가합니다. 이번 CES 2019 Innovation Awards 수상 제품 외에도 AI, 자율주행, 로보틱스 등 다양한 분야의 생활환경지능 성과들을 함께 선보일 계획입니다. 이를 계기로 글로벌 무대의 더 많은 파트너들과 함께 location & mobility 영역에서 새로운 가능성의 기회를 만들어가고자 합니다.

2018.11.09 네이버랩스

실내 자율주행 가이드 로봇, AROUND G

AROUND G는 실내 자율주행 가이드 로봇입니다. 쇼핑몰, 공항, 호텔 등 복잡한 대규모 실내 공간에서 자율주행하며 가이드를 합니다. 길을 안내하는 동안에는 본체 디스플레이의 AR 내비게이션을 통해 이동 및 공간 정보를 생생하게 전달합니다. AROUND G는 비싼 레이저스캐너 장비의 도움 없이 원활한 자율주행이 가능합니다. 핵심은 AROUND platform의 xDM 클라우드와 본체의 심층 강화학습 알고리즘입니다. AROUND platform은 로봇의 자율주행에 필요한 주요 기능을 매핑로봇과 xDM 클라우드로 분산시킨 솔루션입니다. 먼저 매핑로봇 M1이 실내를 자율주행하며 공간 데이터를 수집하고, 이렇게 수집된 map data는 xDM 클라우드에 올라갑니다. 서비스 로봇은 클라우드에서 처리한 map data, visual localization, path planning 등을 통해 자율주행하게 됩니다.  본체에는 심층 강화학습을 통한 장애물 회피 알고리즘이 적용되어 있습니다. 길을 안내하는 과정에서 발생하는 돌발적인 상황에 매끄럽게 대응할 수 있고, 지도상에 존재하지 않는 다양한 장애물이나 길을 지나는 행인들을 자연스럽게 회피를 하며 목적지까지 원활한 이동을 할 수 있습니다. 우리는 자율주행 서비스 로봇의 대중화를 목표로 합니다. 비싼 레이저스캐너 없이도 클라우드를 통해 자율주행 구현 비용을 낮춰간다면, 다양하고 유용한 자율주행 서비스 로봇들이 일상 속으로 들어오는 시기를 더욱 앞당길 수 있을 것입니다.  

2018.10.12 네이버랩스

3D AR HUD, AHEAD

'AHEAD'는 3D AR HUD (head up display)입니다. 운전자 초점에 맞춰 정보를 제공하는 3D 디스플레이 기술입니다. 기존 HUD는 디스플레이되는 정보 이미지와 실제 도로 사이의 초점이 달라 운전자의 집중을 흐릴 수 있었습니다. 정보 이미지에 초점을 맞추면 도로가 흐릿하게 보이고, 반대의 경우도 마찬가지입니다. AHEAD는 이런 문제를 해결하기 위해 운전자의 시점에서 근거리에서 원거리까지 실제 도로에 융합된 정보를 제공하는 3D 광학 기술을 실현했습니다. 운전자가 보는 실제 도로와 디스플레이 시점이 동일해지면 많은 장점이 있습니다. AHEAD에 표시되는 이미지는 마치 도로 위에 실제로 존재하는 것처럼 자연스럽게 정보를 제공합니다. 시점을 맞추기 위한 주의 분산이 줄어들기 때문에 안전에 도움이 됩니다. 눈도 덜 피곤하겠죠. 그리고 앞으로 도로의 고정밀 지도 데이터와 결합되면, 더욱 정확한 위치에 정보를 정확하게 증강하여 제공할 수도 있게 됩니다. 차 안이라는 공간, 주행이라는 환경은 매우 특수합니다. 앞으로는 운전자들의 주행을 돕고 안전을 높이는 다양한 정보와 서비스들이 계속 연결될 것입니다. 이때 전방주시를 저해하지 않으면서도 정밀하고 안전하게 정보를 제공할 수 있는 AHEAD는, 아주 유용하면서도 자연스럽게 차와 정보를 연결하는 새로운 디스플레이 솔루션이 될 것입니다. 리플릿 다운로드 제휴/제안 바로가기

2018.10.12 네이버랩스

GPS가 통하지 않는 실내에서 길을 찾아주는 인도어 AR 내비게이션

쇼핑몰과 같은 대규모 실내 공간에서는 종종 길을 헤매기도 합니다. 하지만 GPS가 통하지 않기 때문에 스마트폰도 별다른 도움이 되지 않는 경우가 많습니다. 마침 실내지도가 있더라도, 지금 내 위치가 어디인지부터가 문제입니다. 결국 정밀한 실내 지도를 제작하고, 실내에서 GPS 없이 위치를 정확하게 인식하는 기술이 있어야 실내 내비게이션이 작동합니다. 네이버랩스는 이번에 공개한 코엑스 쇼핑몰에서의 indoor AR navigation 필드 테스트 데모에서는, 다양한 센서 데이터와 함께 visual localization 기술을 사용해 측위 문제를 해결했습니다. 스마트폰 카메라로 이미지를 분석해 현재 위치를 파악하는 기술입니다. 매핑로봇 M1이 제작한 고정밀 실내 지도와 위치 데이터가 내비게이션과 측위를 위한 핵심 데이터로 활용되었습니다. 또한 더욱 직관적인 사용을 위해 TBT (turn-by-turn) 길 안내 정보를 AR로 제공하는 기술도 적용했습니다. 우리의 로봇을 통한 고정밀 지도 제작 기술과 visual & sensor-fusion localization 기술은, 실내 공간에서 별도의 하드웨어 인프라 구축 없이도 사용자의 위치와 방향을 정확하게 인식하는 길 안내 서비스를 제공하기 위한 것입니다.  

2018.10.12 네이버랩스

DEVIEW 2018에서 'xDM platform' 발표 - 사람과 자율주행 머신을 위한 location & mobility intelligence

우리의 삶에는 여전히 풀지 못한 공간과 이동에 대한 문제들이 많이 남아있습니다. 네이버랩스에서 고민하는 것들입니다. 그 고민의 경과와 연구 성과들을 이번 DEVIEW 2018 키노트를 통해 공개했습니다.  "AI, not artificial intelligence, but ambient intelligence" 이번 키노트의 화두입니다. Ambient intelligence는 '상황과 환경을 인지하고 이해해, 필요한 정보나 액션을 적시에 자연스럽게 제공하는 기술'을 의미하며, 우리의 기술비전이기도 합니다. 이를 바탕으로 우리는 이번 DEVIEW를 통해 사람과 자율주행 머신을 위한 location과 mobility 통합 솔루션인 'xDM platform'을 공개했습니다. xDM은 'eXtended definition & dimension map'의 약자입니다. 그간 연구해 온 mapping, localization, navigation 관련 기술과 고정밀 데이터를 통합했습니다.  스마트폰과 자율주행 머신을 위한 실내외 3차원 고정밀 지도를 만들고, 지도를 자동 업데이트하는 기술을 구축합니다. 실내/실외/도로 등을 아우르며 음영 지역이 없는 정밀한 측위 기술, 그리고 실시간/실공간 데이터를 담고 맥락을 이해하는 이동 정보를 제공합니다. 이러한 기술들을 통합한 xDM platform은 크게 두 가지 패키지로 구성됩니다. 사람의 위치 인식과 실내외 길찾기 등을 위한 'Wayfinding', 그리고 차량과 로봇의 자율주행을 위한 'Autonomous mobility' platform입니다.  사람을 위한 Wayfinding platform Wayfinding은 사람들이 더욱 쉽고 빠르게 이동하기 위한 솔루션입니다. Location API를 통해 smart geofencing, mobility pattern analysis, personalized localization 등의 사용자 위치/이동에 대한 세밀한 정보를 제공합니다. 또한 도보/AR 내비게이션 API를 통해 POI 정보가 수시로 바뀌고 GPS가 통하지 않는 대규모 실내 공간에서 쉽고 빠르게 길을 안내합니다. 매핑 로봇 M1이 만든 3차원 실내 지도 위에서 visual & sensor-fusion localization 기술을 기반으로 별도의 인프라 구축 없이도 정확하게 위치를 인식하고, 지형지물을 통해 TBT (turn-by-turn) 정보를 제공하며, AR navigation API를 통해 더욱 직관적인 길 안내를 할 수 있습니다. 이번 키노트에서는 코엑스에서 테스트한 AR navigation 데모를 공개했으며, 프리미어 파트너사인 HERE와 인천공항공사와의 협력 계획도 함께 발표했습니다. 우리는 더 많은 파트너를 기다리고 있습니다. 실내 지도의 최신성을 자동으로 유지하는 SSIM (scalable & semantic indoor mapping)도 선보였습니다. 네이버랩스의 robotics, computer vision, visual localization, machine learning 등을 활용해 실내 지도 생성과 데이터 수집, 유지보수의 과정을 자동화하는 기술입니다. 현재는 실내를 자율주행하는 서비스 로봇이 POI의 변화를 자동으로 인식하고, 감지된 변경사항을 지도상에 자동으로 업데이트하는 POI change detection 단계에 집중하고 있습니다.향후 POI recognition, semantic mapping으로 확장될 예정이며, 같은 기술을 실외/도로에도 응용할 계획입니다. 스스로 이동하는 차와 로봇을 위한 Autonomous mobility platform 이제 이동을 위한 솔루션은 사람에게 한정되지 않습니다. 차는 물론 로봇을 위한 자율주행 기술도 곧 우리의 일상 속으로 파고들 것입니다. Autonomous mobility platform은 바로 자율주행 머신들을 위한 솔루션입니다. 이번 키노트에서는 자율주행차를 위한 새로운 HD맵 기술을 공개했습니다. HD맵은 자율주행차가 정확한 위치를 파악하고 최적화된 경로를 탐색하기 위해 필수적인 데이터입니다. 네이버랩스는 'Hybrid HD맵' 솔루션을 통해, 고정밀 항공사진에서 추출한 route network와 네이버랩스의 mobile mapping system인 'R1'으로 수집한 데이터 등을 유기적으로 결합하는 방식으로 도시 단위의 HD맵을 만듭니다. 각각의 2D/3D 데이터에서 매핑을 위한 feature들을 자동 추출하는 알고리즘을 적용해가고 있습니다.  또한 이 HD맵을 기반으로, 자율주행차량의 GPS 센서, IMU 센서, CAN 데이터, LIDAR 신호, 카메라 영상 등의 정보와 결합해 도심처럼 고층건물이 많아 GPS 신호가 좋지 않은 음영지역에서도 끊김없이 안정적이고 정확한 측위를 할 수 있는 솔루션도 함께 개발하고 있습니다. 더불어 퀄컴 및 만도와 Hybrid HD맵과 연계한 ADAS 기술 연구를 비롯한 다양한 자율주행 기술 협업을 병행하고 있습니다. ‘AROUND platform'은 자율주행 서비스 로봇의 대중화를 위한 솔루션입니다. M1으로 제작한 고정밀 3차원 지도와 클라우드 기반의 경로 탐색 알고리즘 기술 등을 바탕으로 로봇의 제작 단가는 낮추면서, 고품질의 자율주행 성능을 유지할 수 있게 해준다는 점이 특징입니다. 지도 생성, 위치 파악, 경로 생성, 장애물 회피 기능 등의 핵심 기능을 직접 수행해야 하는 기존 실내 자율주행 로봇과는 달리, 저가의 센서와 낮은 프로세싱 파워만을 가지고도 정확도 높은 실내 자율주행을 구현할 수 있습니다. 작년 YES24 서점용 AROUND의 공개 이후, 현재는 쇼핑몰이나 공항같은 대규모 실내 공간에서 길 안내 서비스를 제공하는 자율주행 가이드 로봇 'AROUND G'의 개발을 진행 중입니다. AROUND G에는 AR 내비게이션 API가 적용되어 더욱 직관적인 UX로 길 안내를 수행하게 됩니다.   미래가 아닌 현재의 생활환경지능 기술들 이번 키노트를 통해 네이버랩스의 광학 기술 연구 성과도 발표했습니다. 'AHEAD'는 3D AR HUD (head up display)입니다. 운전자의 초점에 맞춰 정보를 제공하는 3D 디스플레이 기술을 적용했습니다. 운전자가 보는 실제 도로와 디스플레이 시점이 동일하기 때문에, 자연스럽고 편리하게 위치 및 이동 정보를 접할 수 있습니다. 향후 xDM platform의 다양한 정보와 서비스가 AHEAD를 통해 운전자에게 자연스럽게 제공될 수 있습니다. 작년 공개했던 로봇팔 AMBIDEX 역시 삶 속에서 사람과 안전하게 인터랙션할 수 있도록 개발을 고도화하고 있습니다. AMBIDEX는 위치 제어 위주의 기존 로봇과는 달리 힘 제어가 중요하기 때문에 기구학 및 동역학 모델링을 위한 시뮬레이터를 개발했습니다. 실제 로봇을 구동하기 전에 시뮬레이터 테스트로 안정성을 높일 수 있을 뿐 아니라, deep reinforcement learning을 위한 다양한 환경 조건에서의 방대한 데이터를 빠르게 획득할 수도 있습니다. 네이버랩스는 기술과 도구가 삶에 자연스럽게 스며드는 세상을 바랍니다. 이번 DEVIEW 2018 키노트에서의 성과 공개와 xDM platform 발표도 같은 맥락입니다. 머무르고 이동하는 모든 공간에서 삶의 맥락을 이해하고, 이를 기반으로 하는 새로운 서비스와 도구로 발전시켜 나가고자 합니다. 사람이 기술을 이해하는 것이 아니라, 언제나 기술이 사람을 이해해야 합니다. 이를 위해 네이버랩스도 멈추지 않고 노력하며, 또한 지속적인 platform 공개를 통해 더 많은 파트너들과 기술을 나누고 함께 성장해 나가겠습니다. 제휴/제안 바로가기

2018.10.11 네이버랩스