Autonomous Everywhere, Everything, Everyday
POI Change Detection by AI & Robot
Autonomous Service Robot Platform
Indoor 3D/HD Mapping Robot
5G Technology for Cloud Robotics
New Solution for Autonomous Vehicles
네이버랩스의 비전인 생활환경지능은 사용자의 환경을 먼저 이해하고,
사용자가 요구하기 전에 필요한 정보와 서비스를 앞서 제공할 수 있는 기술을 의미합니다.
실제 사람들의 삶이 펼쳐지는 location에 대한 이해, 그리고 그 공간과 공간 사이를
연결해주는 mobility의 지능화에 집중하며 삶에 스며드는 솔루션을 제공하고자 합니다.
로봇, 자율주행차, 그리고 지도 로봇이 우리의 일상 공간을 스스로 돌아다니고, 자율주행차가 도로 위를 안전하게 이동하기 위해 꼭 필요한 데이터가 있습니다. ‘지도’입니다. 사실 이 지도는 우리에게 익숙한 지도앱이나 내비게이션과는 조금 다릅니다. 기계가 읽을 수 있는 3차원 고정밀 지도 (machine readable 3D/HD map)입니다. 이 지도는 로봇이나 자율주행에 아주 중요한 역할을 합니다. 사람은 당연하게 할 수 있는 위치 인식이나 경로 계획을 로봇이나 자율주행차는 이 지도에 의존하기 때문입니다. 고정밀 지도가 자율주행 차량 두뇌의 일부라고 말하는 이유입니다. 그래서 네이버랩스는 3차원 고정밀 지도 제작 솔루션을 계속 개발하고 있습니다. 실내에서는 매핑로봇 M1으로, 도로에서는 모바일 매핑 시스템인 R1과 항공사진을 통해 도로 정밀 지도를 만들고 있습니다. 그런데 한가지 더 풀어야 할 숙제가 있습니다. 바로, 업데이트입니다. 세상의 모습은 늘 변화하고 있죠. 그래서 지도는 최신성이 곧 정확성입니다. 로봇이나 자율주행차를 위한 지도도 다르지 않습니다. 네이버랩스에서도 로봇, 인공지능, 항공사진, MMS (모바일 매핑 시스템) 등을 활용하여 이를 위한 기술들을 연구합니다. 로봇과 AI가 바뀐 상호를 찾아내는 기술 작년에는 대규모 실내 공간에서 상점의 변화를 자동으로 찾아내는 '셀프 업데이팅 맵 (self-updating map)' 기술을 개발하였습니다. 로봇이 넓고 복잡한 상업 공간을 이동하며 변경된 상호를 정확하게 골라내는 기술입니다. 로봇이 수집한 이미지를 자동으로 분석하기 위해 컴퓨터 비전과 딥 러닝 기술도 활용했습니다. 그런데 쇼핑몰에는 너무나 많은 시각적 정보가 가득하기 때문에, 광고물이나 보행자 등과 구분하여 상점 정보를 정확하게 인식하는 것이 중요했습니다. 이를 위해 네이버랩스에서 개발한 알고리즘은 매장이 새롭게 열리거나, 닫히거나, 상호만 바뀌었다는 정보를 아주 정확히 인식할 수 있고, 이 결과를 컴퓨터비전·패턴인식(CVPR) 콘퍼런스에서 발표하기도 했습니다. 도로 정밀 지도를 자동 업데이트하는 기술 올해는 이러한 업데이트 기술을 도로 위로 확장시키기 위해 ACROSS 프로젝트를 진행하고 있습니다. 물론 실내와는 환경이나 조건이 많이 다릅니다. ACROSS에서는 저비용 센서로 구성된 매핑 디바이스를 다수의 차량에 장착해 넓은 지역에서 동시 다발적으로 도로 정보의 변화를 확인하는 방식을 사용합니다. 매핑 디바이스의 센서로 수집된 이미지 데이터는 마찬가지로 인공지능이 분석을 합니다. 기존 고정밀 지도의 도로 레이아웃(차선정보, 정지선 위치, 도로마커 등)이나 3차원 정보(교통표지판, 건물, 신호등, 가로등 등)의 변화를 감지합니다. 실제로는 계절과 시간, 날씨의 변화도 잘 감지해야 하고, 도로 위 차량들과도 잘 구분해야 합니다. 여러모로 도전적인 과제이지만 계속 풀어나가고 있습니다. 앞으로 로봇이나 자율주행 기술들은 점차 연구실을 벗어나 우리 삶으로 스며들 것입니다. 그러기 위해 먼저 준비해야 할 것이 고정밀 지도 제작 기술과 업데이트 솔루션입니다. 더 정확하고, 늘 최신으로! 이를 위한 기술을 연구하고 있습니다.
네이버 최초의 로봇은 M1입니다. 2016년에 첫 공개한 M1은 실내 공간의 3차원 고정밀 지도를 만드는 매핑로봇입니다. 위에 보이는 이미지가 바로 M1이 만든 지도입니다. 우리가 일반적으로 보는 지도와는 많이 다르죠. 이 지도는 누구를 위한 것일까요? 다른 자율주행 로봇들입니다. M1이 지도를 제작해 맵 클라우드에 올려 다른 로봇들의 자율주행에 활용하는 방식입니다. 우리는 이러한 자율주행 로봇 플랫폼을 AROUND라는 이름으로 소개하고 개발을 지속해왔습니다. 결국, M1이 네이버랩스에서 개발하는 클라우드 기반 자율주행 로봇들의 출발선인 셈입니다. 그런데 우리는 점차 M1이 만든 정밀한 3차원 지도로 더 많은 것을 할 수 있다는 걸 알게 되었습니다. 예를들어 GPS가 통하지 않는 실내에서 현재 위치를 파악하는 visual localization이나, 인도어 AR 내비게이션, 로봇과 AI를 활용해 실내 지도를 업데이트하는 셀프업데이팅맵 기술 등에도 M1의 데이터를 활용하기 시작했습니다. 그리고 이러한 목적에 더 잘 맞도록 버전업도 계속해왔습니다. M1X, 정확도와 확장성의 업그레이드 M1X는 기존 M1의 후속 버전입니다. 그 간의 매핑 기술들을 집약했습니다. 데이터는 더 정확해지고, 활용할 수 있는 영역은 더 넓어졌습니다. (심지어 제작비용도 줄었습니다.) 하드웨어 측면에서는 주행안정성을 향상시키는 것에 특히 신경을 썼습니다. 이동 중의 진동을 줄일수록 더 고품질의 데이터를 얻을 수 있기 때문입니다. 예를 들어 M1X의 데이터를 활용한 측위 정확도는 이전 버전과 비교해 약 30% 이상 개선된 수치를 얻을 수 있게 되었습니다. 이번 업그레이드에서는 활용 영역의 확장성도 중요했습니다. 단 한번의 매핑만으로 자율주행 로봇 뿐 아니라, 사람이 사용하는 스마트폰과 같이 여러 디바이스나 서비스에서 활용할 수 있도록 센서 구성과 방식을 다양화했습니다. 이를 위한 최적화 노하우가 우리의 경쟁력이기도 합니다. 그런데 사실 이 부분은 남들이 쉽게 따라하기 어렵습니다. 이유는 아주 단순합니다. 우리는 단지 매핑만을 하는 것이 아니라, 네이버랩스 내의 여러 프로젝트에서 그 데이터를 활용해 개발이나 리서치를 병행하고 있기 때문이죠. 언제나 분명한 목적과 다양한 데이터 활용 피드백이 있기 때문에 매핑로봇의 업그레이드도 매우 실질적이며 효율적인 솔루션에 집중하게 됩니다. 새로운 공간 기반 서비스들의 시작이 되는 기술 M1은 네이버랩스에서 개발하고 있는 다양한 미래 기술 중에서도 매우 상징적인 로봇입니다. 우리는 공간의 고정밀 데이터를 기반으로 자율주행, 로봇, AI 등의 기술을 결합해 실제 삶에서 도움을 줄 수 있는 기술을 연구하고 있기 때문입니다. 실제로 M1에서 M1X까지 이르는 매핑 기술의 업그레이드 과정에서 실내 측위 기술과 자율주행 로봇 플랫폼, AR 내비게이션 등의 중요한 성과들이 함께 이어질 수 있었습니다. 그래서 우리는 지금까지 일상 공간의 데이터를 더욱 빠르게, 그리고 오차 없이 얻어내는 기술에 많은 시간과 노력을 투자해 왔습니다. 공간을 디지털라이즈하는 혁신적인 매핑 기술이 미래에 찾아올 새로운 공간 기반 서비스들의 시작점이라고 믿기 때문입니다.
A-CITY는 네이버랩스의 기술로 도전하는 미래 도시상입니다. 도심의 각 공간들을 다양한 자율주행 머신들로 연결하고, 인공지능이 방대한 데이터를 분석해 예측하며, 공간 데이터를 정보화하고 업데이트하여 배송과 물류 등의 서비스들까지 자동화 되는 도시를 위한 기술을 연구합니다. 이를 위해 우리는 도심을 구성하고 있는 다양한 공간의 데이터를 모아 머신들을 위한 고정밀 지도를 만들고, 장소/환경/목적에 따라 변용 가능한 지능형 자율주행 머신 플랫폼 개발하고 있습니다. 또한 자연스러운 HMI (human-machine interaction)를 연구해 일상의 공간에서 사람들에게 유용한 서비스를 제공하는 것이 목표입니다. A-CITY라는 미래 도시상을 앞당기기 위해 지금 우리가 집중해 고도화하고 있는 핵심 기술들입니다. 매핑 로봇 M1, 실내 자율주행을 위한 시작 M1은 실내 공간의 3차원 고정밀 지도를 제작하는 매핑 로봇입니다. LiDAR로 수집한 포인트 클라우드에 SLAM 기술을 적용하여 만든 고정밀 지도는 실내 자율주행 서비스 로봇을 비롯해 다양한 위치 기반 서비스의 핵심 데이터로 사용됩니다. 현재 M1의 업그레이드 버전인 M1X를 통해 정확도를 높이는 동시에 데이터 활용성을 더욱 확장하고 있습니다. M1 자세히 보기 도로 자율주행을 위한 핵심 데이터, 하이브리드 HD매핑 자율주행머신을 위한 도로 HD맵을 제작하는 독창적인 솔루션입니다. 도심 단위 대규모 지역을 촬영한 항공사진 이미지에서 도로 면의 레이아웃 정보를 추출하고, 자체 개발된 MMS (mobile mapping system)인 R1이 수집한 데이터를 유기적으로 결합하는 방식으로 광대한 영역의 HD맵을 빠르고 정확하게 제작하는데 효과적인 방식입니다. 하이브리드 HD매핑 자세히 보기 HD맵을 자동으로 업데이트하는 기술들 머신을 위한 지도 역시 최신성은 중요합니다. 네이버랩스에서는 도로 HD맵을 위한 ACROSS 프로젝트와 실내 지도를 위한 셀프업데이팅맵 기술을 연구합니다. ACROSS는 다수의 차량에 장착한 매핑 디바이스로 도로 레이아웃(차선 정보, 정지선 위치, 도로 마커 등)이나 3차원 정보(교통표지판, 건물, 신호등, 가로등 등)의 변화를 감지하여 업데이트하는 기술입니다. 셀프업데이팅맵은 자율주행로봇과 AI를 통해 대규모 쇼핑몰의 POI 변화를 자동으로 인식하는 기술입니다. ACROSS 프로젝트 자세히 보기 셀프업데이팅맵 기술 자세히 보기 노면과 환경이 불규칙한 인도(sidewalk) 매핑 & 측위 실내와 도로의 중간 지대라 할 수 있는 인도(sidewalk)는 계절이나 날씨의 영향을 많이 받습니다. 또한 노면도 훨씬 불규칙합니다. 그래서 네이버랩스는 인도에서의 매핑과 측위 기술 개발을 위해 'COMET'이라는 프로젝트를 진행 중입니다. 인도 환경에 적합한 센서 구성의 디바이스를 제작하고, 이 매핑 장비로 취득한 데이터를 처리하기 위한 알고리즘도 개발하고 있습니다. 단기적으로는 사람이 장착하며 테스트를 하겠지만, 향후 다양한 노면에서 이동이 가능한 4족 보행 로봇이 직접 데이터를 취득할 수 있게 테스트할 예정입니다. 네이버랩스의 펀딩으로 MIT에서 개발한 치타3와 미니치타가 활용될 것입니다. 또한 네이버랩스 유럽에서 진행 중인 날씨/계절/시간/조명 등의 환경 변화에도 특정 위치를 정확히 파악하는 VL 연구(R2D2)도 아주 혁신적인 기술입니다. 이 기술은 CVPR 2019의 Long-Term Visual Localization 부문 Local Feature Challenge에서 1위를 수상하기도 했습니다. R2D2 프로젝트 더 보기 도로 위의 끊김 없는 정밀 측위 (localization) 기술 도심의 복잡한 환경에서도 자율주행 머신이 자신의 위치를 실시간으로 정밀하게 추정하는 기술을 연구합니다. 빌딩숲이나 터널 등 GPS 신호에 의존할 수 없는 지역에서도 끊김 없이 안정적인 측위를 하기 위해 자체 개발 HD맵을 하나의 가상 센서처럼 활용하고 LiDAR, Camera, 관성센서, Wheel Encoder 등 다양한 센서로부터 획득된 정보를 종합하여 가장 정확한 좌표를 추출하는 기술을 고도화하고 있습니다. 올해 말까지 오차범위 10cm 이내의 정밀도를 목표로 각 알고리즘의 완성도를 높이는 한편, 서울/경기 주요 지역의 실제 도로에서 지속적으로 검증해 나갈 계획입니다. HD map aided localization 더 보기 실내에서 사진 한 장으로 위치를 인식하는 VL 기술 VL (visual localization) 기술은 이미지를 분석해 현재 위치를 인식하는 기술입니다. GPS가 통하지 않는 실내에서도 아주 정밀하게 현재 위치를 알 수 있습니다. 네이버랩스의 이VL 기술은 M1이 촬영한 3D 데이터에서 특징점을 추출하고 비교해 위치를 인식하는 솔루션으로 최고 수준의 글로벌 경쟁력을 가지고 있습니다. 현재 실내 자율주행 로봇 플랫폼에 이 기술이 적용되어 있으며, VL 외에 센서와 영상 정보를 분석해 위치를 추적하는 VIO (visual-inertial odometry), 사물을 인식해 위치나 방향을 6DoF(전후상하좌우)로 추정하는 VOT (visual object tracking) 기술 등과 결합한 AR 기술도 함께 개발하고 있습니다. AR은 공간 그 자체를 인터페이스로 활용하기 위해 아주 중요한 기술이기도 합니다. VL 기술 자세히 보기 사람의 팔과 유사한 구조의 로봇팔, AMBIDEX 일상 공간에서 사람들에게 직접 서비스를 제공하기 위해서는 아주 정교한 동작이 가능하면서 동시에 안전한 로봇팔이 필수입니다. 네이버랩스와 코리아텍이 산학협력으로 개발한 AMBIDEX는 와이어 구조의 혁신적인 동력 전달 메커니즘으로 사람들과 안전하게 인터랙션 할 수 있는 로봇 팔입니다. 또한 AMBIDEX의 활동 반경을 확장하기 위해 허리부를 추가했습니다. 더 똑똑하고 정교한 서비스 시나리오를 수행할 수 있도록 시뮬레이터를 통한 강화 학습 등을 함께 연구하고 있습니다. AMBIDEX 자세히 보기 도로 위의 자율주행 머신들을 위한 온로드 머신 플랫폼 네이버랩스는 2017년 IT업계 최초로 국토부 자율주행 임시운행을 허가 받은 이후 실제 도로 위에서 측위, 인지, 플래닝과 컨트롤에 이르는 모든 영역의 도로 자율주행 기술들을 종합적으로 고도화하고 있습니다. 또한 하이브리드 HD매핑과 ACROSS 솔루션으로 도로 자율주행을 위한 HD맵을 제작합니다. 이러한 기술들과 데이터를 통합하여 이후 물류/배송/ 무인샵 등 다양한 목적으로 커스터마이즈할 수 있는 도로 자율주행 머신 플랫폼을 개발하고 있습니다. 네이버랩스 자율주행 기술 더 보기 맵 클라우드와 강화학습을 통한 실내 자율주행, AROUND 플랫폼 AROUND플랫폼은 자율주행 서비스 로봇 대중화를 목표로 네이버랩스가 개발한 독자적인 솔루션입니다. 매핑 로봇 M1이 만든 맵 클라우드(map cloud)를 기반으로 위치를 인식하여 경로를 계획하고, 심층 강화학습 (deep reinforcement learning) 알고리즘을 적용해 레이저스캐너의 도움 없이 매끄러운 자율주행이 가능하다는 것이 특징입니다. 지도 생성, 위치 파악, 경로 생성, 장애물 회피 등의 핵심 기능을 직접 수행해야 하는 기존 많은 자율주행 로봇과는 달리, 저가의 센서와 낮은 프로세싱 파워만으로 정확도 높은 실내 자율주행을 구현했습니다. AROUND 자세히 보기 로봇 서비스의 새로운 가능성, 5G 브레인리스 로봇 플랫폼 네이버랩스는 CES 2019에서 세계 최초로 5G 브레인리스 로봇 시연에 성공한 바 있습니다. 로봇의 두뇌 역할을 하는 컴퓨터를 클라우드로 옮기고 5G로 연결하는 기술입니다. 다수의 로봇을 동시에 제어할 수 있어 제작 비용을 효과적으로 줄일 수 있고, 클라우드가 로봇의 두뇌 역할을 대신하기 때문에 크기가 작으면서 지능도 뛰어난 로봇을 만들 수도 있습니다. 우리는 이 기술을 AROUND 플랫폼과 연계하는 연구로 확대하고 있습니다. 이를 통해 네이버 데이터센터 ‘각’이 여러 로봇들의 두뇌가 되어 다양한 방식의 로봇 서비스를 제공하고자 합니다. 5G 브레인리스 로봇 기술 자세히 보기
