Indoor Autonomous Mapping Robot
3D AR HUD for vehicles
Robot Arm with Innovative Cable-Driven Mechanisms
Autonomous Guide Robot
eXtended Definition & Dimension Map
네이버랩스의 비전인 생활환경지능은 사용자의 환경을 먼저 이해하고,
사용자가 요구하기 전에 필요한 정보와 서비스를 앞서 제공할 수 있는 기술을 의미합니다.
실제 사람들의 삶이 펼쳐지는 location에 대한 이해, 그리고 그 공간과 공간 사이를
연결해주는 mobility의 지능화에 집중하며 삶에 스며드는 솔루션을 제공하고자 합니다.
스스로 동작하는 로봇의 두뇌를 본체 밖으로 꺼내는 기술 지난 CES 2019에서 우리가 5G를 활용한 로봇 기술을 선보인다고 했을 때, 로봇과 멀리 떨어진 곳에 있는 사람이 ‘원격 조종’하는 시연을 떠올린 분들이 많았습니다. 물론 그것도 멋진 기술입니다. 하지만 네이버랩스가 퀄컴과 함께 시도한 것은 더 도전적인 과제인 ‘5G 브레인리스 로봇 (5G brainless robot)’입니다. <네이버랩스-퀄컴 협업을 통해 CES 2019에서 선보인 5G 브레인리스 로봇 시연> 이 기술은 한마디로, 스스로 동작하는 로봇에서 두뇌에 해당하는 고성능 컴퓨터를 본체 밖으로 빼내는 것입니다. 생소한 것 같지만, 실은 SF 영화에서 종종 보았던 것입니다. 만약 영화 ‘어벤져스’에서 적의 모선이 파괴되자 사이보그인 치타우리 군단이 일시에 쓰러지는 장면을 보며 어색함을 느끼지 않았다면, 이미 브레인리스 로봇 기술에 대한 기본 이해가 되어있는 것입니다. 사이보그들이 헐크를 공격하거나 토르의 공격을 막는 세세한 판단들은 모두 모선에서 이루어져 무선 네트워크로 전달되는 구조입니다. 그런데 아마도 이 무선 네트워크는 최소한 5G 이상일 것입니다. 그렇지 않고 기존 3G나 4G 통신 수준이었다면, 캡틴 아메리카의 주먹이 날아오는 것을 인식해 명령을 전달해도 피하기 전에 맥없이 맞는 수밖에 없습니다. 지연시간(latency) 때문입니다. 5G의 초저지연 성능을 적용한 로봇 기술 지연시간이란 쉽게 말해 명령을 내리고 반응하는데 걸리는 시간입니다. 5G는 지연시간이 1㎳ (0.001초)에 불과한 초저지연(ultra-reliable and low latency communications)입니다. 많은 기업에서 주목하는 5G의 핵심 기술 중 하나죠. 그런데 이러한 5G의 초저지연 특성을 로봇의 제어주기에 대입하면 아주 흥미로운 시도가 가능해집니다. (제어주기란, 센서에서 수집한 신호를 처리해 모터로 명령을 전달하는데 걸리는 시간입니다.) 많은 휴머노이드형 로봇들이 100여개의 센서와 30여개의 모터로 구성되곤 하는데, 센서에서 수집된 데이터를 처리해 다시 모터로 명령을 주는 주기는 약 5ms정도 입니다. 그런데 5G 통신은 지연시간이 1ms이므로, 이 제어주기보다 짧습니다. 자세/운동 제어를 위한 고성능 컴퓨터를 로봇 자체가 아닌 외부에 달아 통신으로 연결하는 것이 가능해집니다. 즉, 5G로 연결된 MEC서버나 클라우드가 로봇의 두뇌 역할을 대신하는 브레인리스 로봇을 구현할 수 있다는 이야기입니다. 이번 CES에서 네이버랩스의 5G 브레인리스 로봇 기술이 큰 주목을 받은 이유도, 초저지연 성능을 활용한 고성능 로봇 제어에 성공했기 때문입니다. 이론처럼 쉬운 일은 아니었습니다. 5G는 여전히 도전할 영역이 더 많은 분야입니다. 특히 5G를 통한 로봇의 고정밀 제어는 신호와 프로세싱 데이터가 찰나에도 수없이 왕복하며 이루어지기 때문에 난이도가 매우 높아집니다. <네이버랩스-퀄컴 협업을 통해 CES 2019에서 선보인 5G 브레인리스 로봇 시연> 로봇팔 AMBIDEX의 폴밸런싱 (pole balancing) 시연을 보더라도, 무게중심이 기울어져 있는 막대를 센서로 감지하고 균형을 바로잡는 명령이 극히 짧은 주기로 5G 네트워크상에서 수없이 반복 전달됩니다. 그렇다면 기술적인 난이도는 차치하고, 과연 이 기술이 실제로 우리에게 어떤 가능성을 주게 될까요? 로봇의 두뇌를 외부에 두면 뭐가 좋을까 네이버랩스의 로보틱스팀은 스스로 이동하거나 동작하며 사람들에게 서비스를 제공하는 로봇 연구에 집중하고 있습니다. 이런 로봇들은 대부분 본체에 고성능 컴퓨터를 탑재해야 했습니다. 당연히 비싸겠죠. 이 제작 비용을 줄이는 것이 로봇 대중화를 위해 필수적입니다. 클라우드 기반의 서비스 로봇 플랫폼이 하나의 솔루션입니다. (매핑로봇 M1이 제작한 맵 클라우드를 기반으로 실내 자율주행을 하는 네이버랩스의 AROUND 플랫폼 역시 같은 맥락에서 개발되었습니다.) 그런데 5G의 초저지연 성능을 활용하면, 프로세싱 파워가 많이 필요한 중뇌에 해당하는 영역까지 로봇과 분리를 할 수 있습니다. 외부의 서버가 여러 로봇들을 동시에 제어할 수 있기 때문에, 로봇 하나하나마다 고성능 프로세서를 달지 않아도 됩니다. 제작비 뿐 아니라, 유지비도 절감됩니다. 클라우드로 다수의 로봇들이 수집한 데이터를 통합해 분석하고, 새롭게 학습된 알고리즘으로 동시에 업데이트하는 방식이 용이해질 것이기 때문입니다. 게다가 로봇의 전력 소모도 효율화 됩니다. 로봇의 메인컴퓨터는 배터리 소모량이 아주 많습니다. 마치 뇌 신경세포에서 전체 에너지의 약 20%를 사용하는 사람과도 비슷합니다. 자율주행 로봇이 메인컴퓨터에서 소모하는 에너지 비율은 40%까지도 올라갑니다. 즉, 고성능 프로세싱 파워를 외부로 빼내는 것만으로 배터리 소모를 크게 낮출 수 있다는 것입니다. 실제로 배터리 충전 주기는 서비스 로봇 사용 시나리오상에서 아주 중요한 요소로 작용합니다. 그리고 재미있는 장점도 있습니다. 크기가 아주 작으면서도 고성능 컴퓨터를 탑재한 로봇이 가능할까요? 과거엔 작은 로봇에는 작은 컴퓨터만 달 수 있었습니다. 말 그대로 물리적 한계였죠. 하지만 클라우드가 로봇의 두뇌 역할을 대신한다면, 로봇의 크기와 무관하게 지능이 아주 뛰어난 로봇도 만들 수 있습니다. 서비스 로봇 대중화를 위한 기술 네이버랩스는 사람들이 살아가는 물리적 공간과 조응하며 정보와 서비스를 자연스럽게 제공하는 생활환경지능 (ambient intelligence) 기술들을 연구하고 있습니다. 서비스 로봇도 이를 위한 핵심 플랫폼입니다. 그리고 5G와 클라우드 기술은 서비스 로봇 대중화를 위한 중요한 해법이 됩니다. 앞서 CES 2019를 통해 네이버랩스와 퀄컴, 양사 엔지니어들이 자존심을 걸고 세계 최초의 5G 브레인리스 로봇 시연이라는 도전적인 과제를 훌륭하게 성공했습니다. 그리고 이번 MWC19에서는 KT, 인텔, 그리고 네이버비즈니스플랫폼과 함께 5G 기반의 서비스 로봇 공동개발 협력을 시작하기로 했습니다. 인텔이 제공하는 다양한 5G 솔루션을 활용해 함께 서비스 로봇을 개발하고, KT의 5G 통신망과 엣지 클라우드 인프라를 활용한 초저지연 환경 하에서 로봇 서비스를 제공하는 그림입니다. 또한 네이버 클라우드 플랫폼이 이 로봇들의 두뇌 역할을 하게 될 것입니다. 각 사의 뛰어난 엔지니어들이 치열하게 머리를 맞대고 나면, 또 한번 흥미로운 일들이 벌어질 것 같습니다. 과거에 상상했던 것을 현재의 기술이 따라잡는 순간은 언제나 짜릿합니다. 앞으로도 훌륭한 파트너들과의 열정적인 협력을 통해 놀라운 결과물들을 만들어 가겠습니다.
우리는 작년 DEVIEW를 통해 xDM 플랫폼을 처음 공개했습니다. xDM 플랫폼은 네이버랩스에서 연구하는 로봇과 AI 기반의 HD 매핑, 측위, 내비게이션 기술과 고정밀 데이타를 통합한 위치 및 이동 통합 기술입니다. 이를 활용하여 다양한 모빌리티와 공간 기반 서비스를 개발하는 것이 xDM 플랫폼의 목표입니다. 이를 위해 CES 2019에서는 xDM 플랫폼을 통한 네이버랩스의 AR 내비게이션, 자율주행차, 서비스 로봇, ADAS 등 다양한 위치 기반 서비스와 자율주행 서비스를 함께 선보였습니다. 그리고 오늘, LG전자의 클로이 로봇(CLOi RoBot)에 xDM 플랫폼의 적용을 위해 네이버랩스는 LG전자와 공동 협력를 시작합니다. 로보틱스 연구에서 xDM 플랫폼을 활용하면 저가의 센서와 낮은 프로세싱 파워 만을 활용해 정밀한 실내 자율주행을 구현할 수 있습니다. 지도 생성은 매핑로봇으로, 위치 파악과 경로 생성은 xDM cloud로 역할과 기능을 분산하는 방식입니다. 이번 LG전자와의 파트너십을 통해 이와 같은 xDM 플랫폼의 장점을 활용하여 ’클로이 로봇'의 기능 효율 및 정밀함을 극대화하고, 새롭게 수집한 데이터를 바탕으로 xDM을 보다 정교한 위치 및 이동 통합 기술 플랫폼으로 만들어 갈 것입니다. 이후 네이버랩스는 LG전자와 함께 xDM 플랫폼 적용을 위한 공동 연구개발을 지속하며, 성능 향상 및 최적화를 위한 실증 사업을 수행하고 xDM 플랫폼을 활용한 '클로이 로봇'을 통해 수집된 데이터의 활용 방법 등을 함께 모색할 예정입니다. 각 사가 보유한 독자적 기술력의 융합으로 새로운 기술 혁신과 큰 시너지를 기대합니다. 네이버랩스의 생활환경지능 연구는 실제 삶의 공간에 스며드는 자연스럽고 유용한 서비스 제공을 목표로 합니다. 머무르고 이동하는 모든 공간에서 삶의 맥락을 이해하고, 이를 기반으로 하는 새로운 서비스와 도구로 발전시켜 나가고자 합니다. 훌륭한 파트너와 함께 지속적으로 실현해 나가겠습니다.
네이버랩스는 CES 2019에서 생활환경지능 기반의 최신 location & autonomous mobility intelligence 기술들을 전시합니다. 전시 부스 위치 및 개요 보기 ■ xDM Platform eXtended Definition & Dimension Map xDM platform은 스마트폰과 자율주행 머신을 위한 location과 mobility 통합 솔루션입니다. 네이버랩스에서 연구하는 로봇과 AI 기반의 HD 매핑, 측위, 내비게이션 기술과 고정밀 데이타를 통합했습니다. 3D/HD 지도를 만들고 자동 업데이트하는 기술, 실내외를 아우르는 정밀한 측위, 그리고 실시간/실공간 데이터로 맥락을 이해하는 이동 정보를 담았습니다. 이 플랫폼을 통해 AR 내비게이션, 자율주행차, 서비스 로봇, ADAS 등 다양하고 새로운 위치 기반 서비스와 자율주행 서비스를 개발할 수 있습니다. ■ Mapping Solutions M1, Indoor Autonomous Mapping Robot M1 은 3차원 실내 정밀 지도 제작 로봇입니다. 실내공간을 자율주행하며 고성능 카메라와LiDAR를 통해 실내 공간의 고해상도 이미지와 3D 공간 데이터를 수집합니다. 사람이 직접 해야했던 지도 제작 과정을 더욱 빠르고 효율적으로 수행합니다. 이를 통해 만들어진 고정밀 지도는 실내 공간의 자율주행 서비스 로봇, AR 내비게이션 등을 비롯한 다양한 위치 기반 서비스의 핵심 데이터가 됩니다. Self-Updating Map 네이버랩스는 지도의 최신성을 자동으로 유지하는 기술을 연구하고 있습니다. 현재 실내 자율주행 서비스 로봇이 수집한 데이터를 분석하여 최신 지도로 업데이트할 수 있는 기술을 보유하고 있습니다. 이를 위해 네이버랩스와 네이버랩스 유럽의 로보틱스, 컴퓨터 비전 기술, 딥 러닝과 머신 러닝 등 최첨단 AI 기술들이 활용되었습니다. 대규모 쇼핑몰에서 각 상점의 정보를 인식해 업데이트하는 POI change detection 기술을 확보했으며, 현재 POI attribute recognition 기술을 연구하고 있습니다. 향후 semantic mapping 기술까지 단계적으로 확장할 계획입니다. ■ Autonomous Robots AROUND Platform, Autonomous Service Robot Platform AROUND platform은 자율주행 서비스 로봇의 대중화를 목표로 합니다. 로봇의 자율주행에 필요한 주요 기능을 매핑로봇과 xDM 클라우드로 분산시켜 로봇 제작 단가를 현저히 낮췄습니다. 먼저 매핑로봇 M1이 실내를 자율주행하며 공간 데이터를 수집합니다. 이렇게 수집된 map data는 xDM 클라우드에 업데이트 되며, 이를 활용해 클라우드 기반의 visual localization과 path planning을 통해 서비스 로봇이 자율주행하게 됩니다. AROUND platform은 심층 강화학습 (deep reinforcement learning)을 활용한 장애물 회피 기술로 돌발적인 상황 대응과 장애물/보행자 회피를 하며 목적지까지 원활한 이동을 할 수 있습니다. 서점에서 책을 나르거나 대형쇼핑몰에서 길 안내를 하는 것과 같이 공간 특성과 사용자 니즈에 맞게 커스터마이징이 가능합니다. AROUND G, Autonomous Guide Robot AROUND G는 AROUND platform을 통해 개발한 실내 자율주행 가이드 로봇입니다. 쇼핑몰, 공항, 호텔 등 복잡한 대규모 실내 공간에서 자율주행하며 가이드를 하고, AR 내비게이션을 통해 직관적인 정보를 제공합니다. xDM platform의 고정밀 실내 지도와 visual & sensor localization을 활용해 실내에서도 현재 위치를 정확하게 파악할 수 있으며, 가장 가까운 이동경로를 정확히 예측해 사용자를 안내합니다. 길을 안내하는 동안에는 본체 디스플레이의 AR 내비게이션을 통해 이동 및 공간 정보를 생생하게 전달합니다. 우리는 AROUND G를 통해 새로운 도구가 공간 속으로 자연스럽게 스며드는 생활환경지능을 실현하고자 합니다. 사용자가 목적지까지 안내를 받는 동안, 눈 앞의 로봇이라는 물리적 대상이 사라지고 가장 자연스러운 서비스와 유용한 정보만이 남는 경험을 만들고자 합니다. ■ Autonomous Driving Hybrid HD Map & R1 네이버랩스는 자체 자율주행기술과 3D/HD mapping 기술을 접목해 hybrid HD map이라는 독자적인 매핑 기술을 연구하고 있으며, 이는 항공 사진과 모바일 매핑 시스템의 데이터를 활용한 솔루션입니다. 먼저 3D 매핑 기술로 항공촬영 이미지(aerial image)를 합성해 도로 면의 정보를 추출하고, 자체 개발된 lightweight MMS (mobile mapping system)인 R1이 이동하며 수집한 포인트 클라우드(point cloud)를 유기적으로 결합하는 방식으로 HD맵을 제작합니다. Hybrid HD map은 기존 값비싼 MMS 장비로 제작하는 HD맵에 비해 제작 비용을 절감하면서도 높은 정확도를 유지할 수 있습니다. NAVER LABS ADAS CAM NAVER LABS ADAS CAM은 자율주행차 연구에서 사용하는 딥러닝 기반 알고리즘의 ADAS (advanced drivers’ assistance system) 기능을 제공합니다. 싱글 카메라만으로 강력하게 동작되는 FCW (forward-collision warning)와 LDW (lane-departure warning) 기능을 제공합니다. 또한 xDM 플랫폼의 hybrid HD map과 연동하면 복잡한 환경에서도 더 정밀한 기능 제공이 가능해집니다. 다양한 환경 조건에서 도로 상황을 정확히 인식할 수 있도록 HDR (high dynamic range) & flicker free 기능을 가진 카메라 모듈을 자체 개발하여 적용하였습니다. ■ NAVER Maps & Wayfinding NAVER Maps & Wayfinding 네이버지도는 공간 정보 검색과 대중교통 길 찾기 및 자동차 내비게이션 등의 생활밀착형 서비스를 제공합니다. 실내외의 모든 공간을 끊김없이 연결하고 더욱 정확한 공간 정보를 제공하기 위한 연구를 지속하고 있으며, 특히 xDM platform을 통해 다양한 영역으로 확장될 수 있는 차세대 지도 서비스들을 개발하고 있습니다. Indoor AR Navigation 네이버랩스의 indoor AR navigation은 xDM platform의 매핑로봇 M1이 제작한 실내 지도와 visual & sensor localization 기술을 기반으로 GPS 신호가 없는 실내공간에서 별도의 hardware 인프라 구축 없이 사용자 위치와 방향을 정확하게 인식해 길 안내를 할 수 있습니다. 가시거리 내의 POI를 기준으로 TBT (turn-by-turn) 정보와 진행 방향을 제공합니다. AKI, Location & Geofencing Technology AKI는 xDM platform에서 제공하는 정확한 실내외 위치인식 기술, geofencing 기술, 그리고 개인화된 위치인식 등을 활용한 스마트 키즈워치입니다. 아이의 이동 패턴과 상황을 학습하며, 정확한 위치 정보를 보호자에게 적시에 제공합니다. AWAY, In-Vehicle Infotainment Platform AWAY는 차량용 인포테인먼트 플랫폼입니다. 운전자의 안전을 고려한 UI, 음성으로 조작할 수 있는 네이버지도 내비게이션, 음악과 뉴스 등 주행 환경에 최적화된 미디어 서비스를 제공합니다. 이번 CES에서 소개하는 AWAY 헤드유닛은 24:9 비율의 스플릿 뷰 기반으로 미디어 콘텐츠와 내비게이션 등 여러 기능을 동시에 확인할 수 있는 것이 특징이며, 현재 카셰어링 서비스 ‘그린카’ 차량에 탑재되어 있습니다. AHEAD, 3D AR HUD AHEAD는 차량용 3D AR HUD (head-up display)입니다. 기존 HUD는 디스플레이되는 가상의 이미지와 실제 도로 사이의 초점이 달라 운전자의 집중을 흐릴 수 있었습니다. AHEAD는 운전자의 시점에서 근거리에서 원거리까지 실제 도로에 융합된 정보를 제공하는 3D 광학 기술을 실현했습니다. 운전자는 AHEAD에 표시되는 이미지가 마치 도로 위에 존재하는 것처럼 자연스러운 시선으로 정보를 제공받을 수 있습니다. 리플릿 다운로드 ■ Robotics AMBIDEX, Robot Arm with Innovative Cable-Driven Mechanisms 사람과 공존할 수 있는 로보틱스 연구의 하나로 진행된 AMBIDEX는 와이어 구조의 혁신적인 동력 전달 매커니즘으로 사람과 안전하게 인터랙션 할 수 있는 로봇 팔입니다. 한 팔의 무게는 고작 2.6kg로, 이는 일반적인 성인 남성의 한 팔 무게보다 가볍습니다. 그럼에도 최대 3kg의 하중을 버티고, 최대 5m/s의 속도로 동작할 수 있습니다. 산업용 로봇 수준의 정밀한 제어가 가능하기 때문에 짐을 옮기는 아주 간단한 작업부터, 사람과의 정밀한 협업을 통해 복잡한 작업을 수행하는 것까지 다양한 활용이 가능합니다. 또한 5G네트워크의 low latency와 high throughput 성능을 이용하여 원격지에서도 무선으로 실시간 고속 제어가 가능하게 설계되어 있습니다. AIRCART, Human-Power Amplification Technology AIRCART는 근력증강 로보틱스 기술(robotics for human power augmentation)을 응용해 개발한 카트입니다. 이 기술은 단순해보이지만, 이를 일상 공간에서 누구나 쉽게 사용할 수 있는 도구에 적용해 상용화했다는 점이 중요합니다. AIRCART에는 pHRI (physical human-robot interaction) 기술이 적용되어 무거운 물체를 실어도 누구나 가볍게 운반할 수 있습니다. 운전자의 조작 의도를 손잡이의 힘 센서로 파악해 카트의 움직임을 제어하기 때문에, 따로 조작 방법을 배울 필요없이 쉽게 사용할 수 있습니다. 또한 사고가 발생하기 쉬운 비탈길에서도 자동 브레이크 시스템으로 안전하게 이동합니다. 현재 서점이나 도서관, 공장 등 활용처를 다양화하고 있습니다.
