POI Change Detection by AI & Robot
Autonomous Service Robot Platform
Indoor 3D/HD Mapping Robot
5G Technology for Cloud Robotics
New Solution for Autonomous Vehicles
eXtended Definition & Dimension Map
네이버랩스의 비전인 생활환경지능은 사용자의 환경을 먼저 이해하고,
사용자가 요구하기 전에 필요한 정보와 서비스를 앞서 제공할 수 있는 기술을 의미합니다.
실제 사람들의 삶이 펼쳐지는 location에 대한 이해, 그리고 그 공간과 공간 사이를
연결해주는 mobility의 지능화에 집중하며 삶에 스며드는 솔루션을 제공하고자 합니다.
GPS가 통하지 않는다는 것 내비나 지도앱을 켜면 바로 내 위치를 알 수 있죠. 익숙한 일상입니다. 여기에는 GPS 덕이 큽니다. 하지만 실내라면? GPS 신호가 사라진 실내에서는 현재 위치를 확인하기가 여전히 어렵습니다. 길 안내 서비스나 실내를 자율주행하는 로봇에겐 풀어야 할 숙제입니다. 여러 기술이나 인프라가 있기는 합니다. 네이버랩스에서는 어떤 기술로 해결하고 있을까요? 사진 한 장으로 위치를 인식하는 기술 우리는 VL (visual localization) 기술을 고도화해 왔습니다. VL은 이미지로 위치를 찾는 기술입니다. 어쩌면 우리의 일상 경험과도 닮았습니다. 사람들도 주변환경을 눈으로 살펴 지금 어디에 있는지를 파악하곤 하니까요. 물론 사람의 눈으로 보는 풍경과는 조금 다릅니다. VL에서는 이미지 속의 특징점들을 찾아 측위를 합니다. Visual localization demo 네이버랩스에서는 매핑로봇 M1을 활용하고 있습니다. M1이 촬영한 3D 데이터에서 특징점을 추출해 feature map을 제작합니다. 이 지도에는 위치 계산을 위한 정보들도 함께 담겨있습니다. 이 feature map을 이용하면, 스마트폰으로 찍은 사진 한 장만으로 바로 측위가 됩니다. GPS와 비교해 오차는 훨씬 작습니다. 게다가 바라보는 방향까지도 정확하게 측정할 수 있습니다. 끊김없는 측위도 중요 일단 VL 기술로 실내에서의 현재 위치를 알 수 있습니다. 하지만 사람도 로봇도 제자리에 가만히 서있는 건 아니죠. 이동을 합니다. 당연히 이동 상황에서의 정밀한 측위 기술도 필수입니다. 이때 사용하는 기술은, 센서와 영상 정보를 분석해 위치를 추적하는 VIO (visual-inertial odometry) 입니다. 최적화 알고리즘도 함께 활용하고 있습니다. 최소한의 네트워크와 저사양 카메라만으로 스마트폰에서 실시간으로 끊김없이 측위하기 위해서입니다. 비교 : (왼쪽부터) VL 단독 → VL+VIO → VL+VIO+최적화알고리즘 즉, VL 기술로 현재 위치를, 이동시에는 최적화 엔지니어링이 적용된 VIO로 실시간 위치 추적을 하게 됩니다. 이러한 측위 기술들이 네이버랩스에서 개발한 실내 AR 내비게이션이나 실내 자율주행 로봇에 적용되어 있습니다. 실내 AR 내비게이션에는 측위 기술이 하나 더 들어갑니다. VOT (visual object tracking) 입니다. 이미지 인식 기술로 움직이는 대상의 위치나 방향을 6DoF(전후상하좌우)로 추정할 수 있는 기술입니다. VL이 제대로 동작하지 않거나 부정확한 환경일 때, VOT를 활용해 사물의 정확한 위치를 인식하거나 특정 영역에 컨텐츠를 증강시킵니다. VOT (visual object tracking) demo 실내 위치 기반 서비스의 시작 - 측위 위치 기반 서비스들의 핵심 컨텍스트는, 너무나 당연하게도 위치입니다. 그래서 GPS가 안잡히는 실내에서의 측위를 해결한다는 것은, 아직 실내에서 경험하지 못했던 새로운 서비스들의 탄생을 촉진한다는 말이기도 합니다. 처음 찾아간 대형쇼핑몰에서 더이상 길을 헤매지 않아도 되고, 로봇들도 스스로 경로를 계획해 이동하며 서비스를 제공할 수 있게 됩니다. 공간 그 자체를 인터페이스로 확장시키는 AR 역시 사용자 위치를 기반으로 다양하고 유용한 서비스들로 이어질 수 있습니다. 우리가 실내 측위 기술 연구를 지속해오는 이유입니다.
What’s ACROSS 네이버랩스의 ACROSS는 도로 HD맵의 최신성을 유지하기 위한 크라우드소싱 맵 (crowdsourcing map) 솔루션을 개발하는 프로젝트입니다. Background “HD맵은 도로 위를 자율주행하기 위해 가장 필수적인 데이터” 자율주행 머신에게 정확한 HD맵은 아주 중요합니다. HD맵을 통해 현재 위치를 더 정확하게 인식할 수 있습니다. 머신에 장착된 센서만으로는 부족한 순간이 있습니다. 이러한 사전 지식은 이동하는 경로를 미리 계획할 때에도, 더 관심 있게 보아야 할 영역이 어디인지 예측할 때에도 활용할 수 있습니다. 따라서 복잡한 대도심에서는 HD맵의 중요성이 더 커집니다. 지금까지 네이버랩스에서 하이브리드 HD 매핑이라는 독창적인 기술로 HD맵을 제작하고 있는 이유입니다. 하이브리드 HD 매핑은 항공사진을 통해 광대한 범위의 도로 레이아웃 정보를 먼저 취득하고, 자체 개발된 MMS (mobile mapping system)인 R1으로 도로 위의 포인트 클라우드 데이터를 수집해 이를 유기적으로 결합하는 방식입니다. 이 솔루션은 대규모 도시 스케일을 더 짧은 기간 내에 더 경제적으로 제작할 수 있는 강점을 가지고 있습니다. 당연히 정밀도는 유지됩니다. 다만 부족한 것이 있습니다. 모든 지도의 숙명이죠. 최신성 유지입니다. 지도는 기본적으로 현실을 반영하지만 현재는 아닙니다. 지도를 만든 시점은 언제나 과거일 수밖에 없죠. 그 사이에 길이 새로 만들어졌을 수 있고, 새로운 건물이 지어졌을 수도 있습니다. 따라서 업데이트 솔루션은 지도의 정확성 유지와 바로 연결됩니다. (앞서 공개했던, 로봇과 AI를 활용한 실내 지도의 최신성 유지 기술인 셀프 업데이팅 매핑도 같은 맥락입니다.) Approach “크라우드소싱의 딜레마, 매핑 디바이스의 센서 비용과 성능의 트레이드오프” 그래서 하이브리드 HD 매핑 기술에도 업데이트 솔루션이 반드시 필요합니다. 이걸 개발하는 연구가 바로 ACROSS 프로젝트입니다. 우리는 크라우드소싱 맵핑 방식을 택했습니다. 매핑 디바이스를 다수 차량에 장착해 넓은 범위에서 동시 다발적으로 도로 정보의 변화를 확인하는 방식입니다. 매핑 디바이스의 센서로 수집된 이미지 데이터를 처리해 기존 HD맵에서 도로 레이아웃(차선정보, 정지선 위치, 도로마커 등)이나 3차원 정보(교통표지판, 건물, 신호등, 가로등 등)의 변화를 감지하여 업데이트하는 솔루션을 개발하고 있습니다. 해결해야 하는 딜레마가 있습니다. 매핑 디바이스를 저비용 센서(카메라, imu, gps)로 아주 컴팩트하게 만들어야 한다는 것입니다. 그래야 더 많은 차량에 장착할 수 있고, HD맵의 변화를 감지하는 커버리지와 주기 문제를 해결할 수 있기 때문입니다. 하지만 저비용 센서와 처리 장치로 매핑 디바이스를 설계하는 것은 당연히 성능과의 트레이드오프가 발생합니다. 결국 확산을 고려한 디바이스 설계와 알고리즘의 최적화, 이것이 ACROSS 프로젝트의 핵심이기도 합니다. 이를 위해 sensor fusion, computer vision, image processing, machine learning 등 네이버랩스에서 연구해 온 다양한 기술들이 활용됩니다. 5G 네트워크도 ACROSS에게는 새로운 기회입니다. 5G의 높은 대역폭을 이용해 맵 정보를 지금보다 빠르게 받고 동시에 업데이트할 수 있는 환경 변화가 생겼습니다. 무엇보다 디바이스와 알고리즘 사이의 최적화를 하기 위해, 클라우드와 엣지 컴퓨팅 사이에서의 더 다양한 시도와 선택이 가능해졌습니다. Challenge “도시와 도로의 고정밀 3차원 데이터들이 실시간으로 업데이트되는 세상” ACROSS 프로젝트의 앞날을 예상해 보자면, 아주 많은 시행착오가 있을 것입니다. 앞서 다 언급하지 못한 아주 많은 숙제들을 하고 있습니다. 다만, 꼭 필요한 시행착오라는 점이 우리에게 중요합니다. 치열한 도전 끝에 HD맵과 도로자율주행을 위한 핵심적인 기술이 얻어질 것입니다. 일단 올해는 ACROSS를 위해 가장 적합한 스펙의 매핑 디바이스를 설계하고, 이를 바탕으로 알고리즘을 최적화하는 것에 집중할 예정입니다. 이 단계를 성공적으로 완수하면, 더 다양한 방식의 시맨틱 매핑 단계를 시도할 것입니다. 결국 자율주행머신은 미래에 우리 삶의 일부가 될 것입니다. 이 머신들을 위한 HD맵이 먼저 있을 것이고, 그 이후로는 자율주행하는 머신들이 스스로 HD맵을 자동 업데이트하는 기능도 갖추게 될 것입니다. 도시와 도로의 고정밀 3차원 데이터들이 유기적으로 선순환 될 것입니다. 더 정확하고, 늘 최신으로. ACROSS는 그런 세상을 준비하는 프로젝트입니다. ACROSS 프로젝트의 경과와 성과는, 앞으로 꾸준히 공유하겠습니다.
1. 5G는 빠른 인터넷 이상의 완전히 새로운 변화이다 흔히 LTE로 부르는 4G의 다음 세대 통신기술인 5G는 모든 면에서 업그레이드 된 초고속, 초연결, 초저지연의 능력을 가지고 있습니다. 빠른 5G 속도와 함께 네트워크 용량은 사실상 무제한이 되고, 지연시간도 거의 느껴지지 않을 정도로 극히 짧아질 것입니다. 이것은 지금 누리고 있는 것들을 빠른 속도로 향상시키는 것만을 의미하는 걸까요? 모바일 네트워크의 역할과 중요도가 크게 증가한 지금, 5G는 이동통신과 주변 생태계 그리고 관련된 산업에 완전히 새로운 변화를 가져올 것으로 예상됩니다. 인공지능, XR 등의 기술발전과 더불어 이전까지 불가능하거나, 제약에 걸려있던 많은 것들이 5G 기술을 통해 새롭게 시도되고 있습니다. 2. 5G를 가장 효과적으로 쓸 수 있는 곳은 로봇이다 전 세계적으로 우리나라가 5G기술을 도입하는 속도는 가장 빠르지만, 아직까지 실제로 5G 기술을 잘 활용한 케이스가 부족합니다. 그래서인지 현재의 대표적인 5G 사용 모습은 일방적인 신호 패턴을 사용하는 대용량 영상 전송 등을 보여주는 것에 그쳐 있습니다. 한편, 로봇이 움직이기 위해서는 센서와 고성능 컴퓨터와의 끊임없는 데이터 교류가 필요한 ‘양방향 신호 패턴’을 가지고 있어 5G의 역할이 반드시 필요합니다. 나아가, 통신의 지연속도가 극히 짧아진다면 로봇의 컴퓨터를 본체와 분리해 통신으로 연결해도 고성능 로봇 제어가 가능할 것이라는 가설을 세울 수 있습니다. 이를 검증하기 위해 네이버랩스에서는 퀄컴과 함께 세계 최초로 5G 기술로 움직이는 로봇 데모를 만들었고, CES에서 시연에 성공했습니다. 5G의 능력을 효과적으로 사용하고, 또한 응용해본 것이죠. 3. 5G로 지금까지 없던 '브레인리스' 로봇을 만들 수 있다 CES에서 퀄컴과 함께 성공한 5G 로봇 시연은 로봇의 본체에서 두뇌의 역할을 하는 고성능 컴퓨터를 본체 밖으로 빼내는 것에 성공한 5G 브레인리스 로봇 (5G brainless robot)입니다. 5G의 짧은 제어주기(law latency)를 이용하면 가장 큰 프로세싱 파워가 필요한 '사람의 소뇌'에 해당하는 영역부터 로봇과 분리를 할 수 있습니다. 5G 시대에는 통신 기지국의 MEC 서버에서 로봇의 자세나 운동 제어를 위한 소뇌 역할을 하게 되고, 클라우드가 로봇의 대뇌 역할을 수행하게 됩니다. 즉, 5G로 연결된 클라우드가 브레인 역할을 하는 '브레인리스' 로봇을 구현할 수 있게 됩니다. 4. 5G 브레인리스 로봇 기술로 로봇의 물리적인 제한이 사라진다 이제 5G 기술을 이용하여 로봇에서 뇌를 분리할 수 있어졌습니다. 그럼 로봇에서는 어떤 것들이 가능해질까요? 지금까지 작은 로봇에는 작은 컴퓨터만 달 수 있었습니다. 말 그대로 물리적 한계였죠. 하지만 클라우드가 로봇의 두뇌 역할을 대신한다면, 로봇의 크기와 무관하게 지능이 아주 뛰어난 로봇도 만들 수 있습니다. 자기 몸집보다 큰, 고성능 컴퓨터의 지능을 가진 손바닥만한 로봇 또한 등장할 수 있는 것이죠. 5G 브레인리스 로봇 기술을 구현하면, 클라우드 기반으로 여러 서비스 로봇을 동시에 제어할 수 있습니다. 난이도가 높은 로봇 알고리즘이 클라우드를 통해 제공 되고 업데이트가 용이할 뿐 아니라, 로봇 하나하나에 고성능 프로세서를 달지 않아도 되니 제작 비용을 합리화시킬 수 있습니다. 더불어, 전력을 많이 소모하는 고성능 프로세싱 파워를 외부에 둘 수 있기 때문에 로봇 자체의 배터리 소모 또한 크게 낮출 수 있습니다. 5. 5G 브레인리스 로봇 기술은 로봇 서비스 대중화의 기폭제이다 로봇 서비스의 대중화를 위해 중요한 점은, 제조 단가를 낮추면서도 필요한 성능을 유지하는 것입니다. 그래야 다양한 산업군과 공간에서 상용화를 위한 접근 허들을 낮출 수 있고, 실제 공간에서의 다양한 시도를 통해 서비스 노하우를 누적하며 대중화를 가속할 수도 있기 때문입니다. 물리적 한계를 극복하고, 보다 저전력으로 한번에 다수의 로봇을 제어할 수 있는 5G와 클라우드 기술은 이러한 서비스 로봇 대중화의 중요한 해법이 됩니다. CES 2019를 통해 네이버랩스는 퀄컴과 함께 세계 최초의 5G 브레인리스 로봇 시연에 성공했습니다. 그리고 MWC19에서는 KT, 인텔, 그리고 네이버비즈니스플랫폼과 함께 5G 기반의 서비스 로봇 공동개발 협력을 시작했습니다. 인텔과 KT의 5G 솔루션을 활용한 초저지연 환경 하에서, 네이버비즈니스플랫폼와 함께 서비스 로봇을 개발하는 구조입니다. 여기서 네이버 클라우드 플랫폼이 로봇들의 두뇌 역할을 하게 될 것입니다. 5G를 통해 서비스 로봇의 대중화는 상상보다 훨씬 더 빠르게 다가오고 있습니다. 네이버랩스는 5G 브레인리스 로봇 기술을 시작으로 서비스 로봇의 대중화를 가속할 수 있는 결과물들을 지속적으로 만들어 갈 것입니다.
