자율주행

고정밀 지도를 자동으로 업데이트하는 기술

로봇, 자율주행차, 그리고 지도 로봇이 우리의 일상 공간을 스스로 돌아다니고, 자율주행차가 도로 위를 안전하게 이동하기 위해 꼭 필요한 데이터가 있습니다. ‘지도’입니다. 사실 이 지도는 우리에게 익숙한 지도앱이나 내비게이션과는 조금 다릅니다. 기계가 읽을 수 있는 3차원 고정밀 지도 (machine readable 3D/HD map)입니다. 이 지도는 로봇이나 자율주행에 아주 중요한 역할을 합니다. 사람은 당연하게 할 수 있는 위치 인식이나 경로 계획을 로봇이나 자율주행차는 이 지도에 의존하기 때문입니다. 고정밀 지도가 자율주행 차량 두뇌의 일부라고 말하는 이유입니다. 그래서 네이버랩스는 3차원 고정밀 지도 제작 솔루션을 계속 개발하고 있습니다. 실내에서는 매핑로봇 M1으로, 도로에서는 모바일 매핑 시스템인 R1과 항공사진을 통해 도로 정밀 지도를 만들고 있습니다. 그런데 한가지 더 풀어야 할 숙제가 있습니다. 바로, 업데이트입니다. 세상의 모습은 늘 변화하고 있죠. 그래서 지도는 최신성이 곧 정확성입니다. 로봇이나 자율주행차를 위한 지도도 다르지 않습니다. 네이버랩스에서도 로봇, 인공지능, 항공사진, MMS (모바일 매핑 시스템) 등을 활용하여 이를 위한 기술들을 연구합니다.   로봇과 AI가 바뀐 상호를 찾아내는 기술 작년에는 대규모 실내 공간에서 상점의 변화를 자동으로 찾아내는 '셀프 업데이팅 맵 (self-updating map)' 기술을 개발하였습니다. 로봇이 넓고 복잡한 상업 공간을 이동하며 변경된 상호를 정확하게 골라내는 기술입니다. 로봇이 수집한 이미지를 자동으로 분석하기 위해 컴퓨터 비전과 딥 러닝 기술도 활용했습니다. 그런데 쇼핑몰에는 너무나 많은 시각적 정보가 가득하기 때문에, 광고물이나 보행자 등과 구분하여 상점 정보를 정확하게 인식하는 것이 중요했습니다. 이를 위해 네이버랩스에서 개발한 알고리즘은 매장이 새롭게 열리거나, 닫히거나, 상호만 바뀌었다는 정보를 아주 정확히 인식할 수 있고, 이 결과를 컴퓨터비전·패턴인식(CVPR) 콘퍼런스에서 발표하기도 했습니다.   도로 정밀 지도를 자동 업데이트하는 기술 올해는 이러한 업데이트 기술을 도로 위로 확장시키기 위해 ACROSS 프로젝트를 진행하고 있습니다. 물론 실내와는 환경이나 조건이 많이 다릅니다. ACROSS에서는 저비용 센서로 구성된 매핑 디바이스를 다수의 차량에 장착해 넓은 지역에서 동시 다발적으로 도로 정보의 변화를 확인하는 방식을 사용합니다. 매핑 디바이스의 센서로 수집된 이미지 데이터는 마찬가지로 인공지능이 분석을 합니다. 기존 고정밀 지도의 도로 레이아웃(차선정보, 정지선 위치, 도로마커 등)이나 3차원 정보(교통표지판, 건물, 신호등, 가로등 등)의 변화를 감지합니다. 실제로는 계절과 시간, 날씨의 변화도 잘 감지해야 하고, 도로 위 차량들과도 잘 구분해야 합니다. 여러모로 도전적인 과제이지만 계속 풀어나가고 있습니다. 앞으로 로봇이나 자율주행 기술들은 점차 연구실을 벗어나 우리 삶으로 스며들 것입니다. 그러기 위해 먼저 준비해야 할 것이 고정밀 지도 제작 기술과 업데이트 솔루션입니다. 더 정확하고, 늘 최신으로! 이를 위한 기술을 연구하고 있습니다.

2019.08.22 NAVER LABS

A-CITY를 준비하는 네이버랩스의 주요 기술들

A-CITY는 네이버랩스의 기술로 도전하는 미래 도시상입니다. 도심의 각 공간들을 다양한 자율주행 머신들로 연결하고, 인공지능이 방대한 데이터를 분석해 예측하며, 공간 데이터를 정보화하고 업데이트하여 배송과 물류 등의 서비스들까지 자동화 되는 도시를 위한 기술을 연구합니다. 이를 위해 우리는 도심을 구성하고 있는 다양한 공간의 데이터를 모아 머신들을 위한 고정밀 지도를 만들고, 장소/환경/목적에 따라 변용 가능한 지능형 자율주행 머신 플랫폼 개발하고 있습니다. 또한 자연스러운 HMI (human-machine interaction)를 연구해 일상의 공간에서 사람들에게 유용한 서비스를 제공하는 것이 목표입니다. A-CITY라는 미래 도시상을 앞당기기 위해 지금 우리가 집중해 고도화하고 있는 핵심 기술들입니다.   매핑 로봇 M1, 실내 자율주행을 위한 시작 M1은 실내 공간의 3차원 고정밀 지도를 제작하는 매핑 로봇입니다. LiDAR로 수집한 포인트 클라우드에 SLAM 기술을 적용하여 만든 고정밀 지도는 실내 자율주행 서비스 로봇을 비롯해 다양한 위치 기반 서비스의 핵심 데이터로 사용됩니다. 현재 M1의 업그레이드 버전인 M1X를 통해 정확도를 높이는 동시에 데이터 활용성을 더욱 확장하고 있습니다. M1 자세히 보기   도로 자율주행을 위한 핵심 데이터, 하이브리드 HD매핑 자율주행머신을 위한 도로 HD맵을 제작하는 독창적인 솔루션입니다. 도심 단위 대규모 지역을 촬영한 항공사진 이미지에서 도로 면의 레이아웃 정보를 추출하고, 자체 개발된 MMS (mobile mapping system)인 R1이 수집한 데이터를 유기적으로 결합하는 방식으로 광대한 영역의 HD맵을 빠르고 정확하게 제작하는데 효과적인 방식입니다. 하이브리드 HD매핑 자세히 보기   HD맵을 자동으로 업데이트하는 기술들 머신을 위한 지도 역시 최신성은 중요합니다. 네이버랩스에서는 도로 HD맵을 위한 ACROSS 프로젝트와 실내 지도를 위한 셀프업데이팅맵 기술을 연구합니다. ACROSS는 다수의 차량에 장착한 매핑 디바이스로 도로 레이아웃(차선 정보, 정지선 위치, 도로 마커 등)이나 3차원 정보(교통표지판, 건물, 신호등, 가로등 등)의 변화를 감지하여 업데이트하는 기술입니다. 셀프업데이팅맵은 자율주행로봇과 AI를 통해 대규모 쇼핑몰의 POI 변화를 자동으로 인식하는 기술입니다. ACROSS 프로젝트 자세히 보기 셀프업데이팅맵 기술 자세히 보기   노면과 환경이 불규칙한 인도(sidewalk) 매핑 & 측위 실내와 도로의 중간 지대라 할 수 있는 인도(sidewalk)는 계절이나 날씨의 영향을 많이 받습니다. 또한 노면도 훨씬 불규칙합니다. 그래서 네이버랩스는 인도에서의 매핑과 측위 기술 개발을 위해 'COMET'이라는 프로젝트를 진행 중입니다. 인도 환경에 적합한 센서 구성의 디바이스를 제작하고, 이 매핑 장비로 취득한 데이터를 처리하기 위한 알고리즘도 개발하고 있습니다. 단기적으로는 사람이 장착하며 테스트를 하겠지만, 향후 다양한 노면에서 이동이 가능한 4족 보행 로봇이 직접 데이터를 취득할 수 있게 테스트할 예정입니다. 네이버랩스의 펀딩으로 MIT에서 개발한 치타3와 미니치타가 활용될 것입니다. 또한 네이버랩스 유럽에서 진행 중인 날씨/계절/시간/조명 등의 환경 변화에도 특정 위치를 정확히 파악하는 VL 연구(R2D2)도 아주 혁신적인 기술입니다. 이 기술은 CVPR 2019의 Long-Term Visual Localization 부문 Local Feature Challenge에서 1위를 수상하기도 했습니다. R2D2 프로젝트 더 보기   도로 위의 끊김 없는 정밀 측위 (localization) 기술 도심의 복잡한 환경에서도 자율주행 머신이 자신의 위치를 실시간으로 정밀하게 추정하는 기술을 연구합니다. 빌딩숲이나 터널 등 GPS 신호에 의존할 수 없는 지역에서도 끊김 없이 안정적인 측위를 하기 위해 자체 개발 HD맵을 하나의 가상 센서처럼 활용하고 LiDAR, Camera, 관성센서, Wheel Encoder 등 다양한 센서로부터 획득된 정보를 종합하여 가장 정확한 좌표를 추출하는 기술을 고도화하고 있습니다. 올해 말까지 오차범위 10cm 이내의 정밀도를 목표로 각 알고리즘의 완성도를 높이는 한편, 서울/경기 주요 지역의 실제 도로에서 지속적으로 검증해 나갈 계획입니다. HD map aided localization 더 보기   실내에서 사진 한 장으로 위치를 인식하는 VL 기술 VL (visual localization) 기술은 이미지를 분석해 현재 위치를 인식하는 기술입니다. GPS가 통하지 않는 실내에서도 아주 정밀하게 현재 위치를 알 수 있습니다. 네이버랩스의 이VL 기술은 M1이 촬영한 3D 데이터에서 특징점을 추출하고 비교해 위치를 인식하는 솔루션으로 최고 수준의 글로벌 경쟁력을 가지고 있습니다. 현재 실내 자율주행 로봇 플랫폼에 이 기술이 적용되어 있으며, VL 외에 센서와 영상 정보를 분석해 위치를 추적하는 VIO (visual-inertial odometry), 사물을 인식해 위치나 방향을 6DoF(전후상하좌우)로 추정하는 VOT (visual object tracking) 기술 등과 결합한 AR 기술도 함께 개발하고 있습니다. AR은 공간 그 자체를 인터페이스로 활용하기 위해 아주 중요한 기술이기도 합니다. VL 기술 자세히 보기   사람의 팔과 유사한 구조의 로봇팔, AMBIDEX 일상 공간에서 사람들에게 직접 서비스를 제공하기 위해서는 아주 정교한 동작이 가능하면서 동시에 안전한 로봇팔이 필수입니다. 네이버랩스와 코리아텍이 산학협력으로 개발한 AMBIDEX는 와이어 구조의 혁신적인 동력 전달 메커니즘으로 사람들과 안전하게 인터랙션 할 수 있는 로봇 팔입니다. 또한 AMBIDEX의 활동 반경을 확장하기 위해 허리부를 추가했습니다. 더 똑똑하고 정교한 서비스 시나리오를 수행할 수 있도록 시뮬레이터를 통한 강화 학습 등을 함께 연구하고 있습니다. AMBIDEX 자세히 보기   도로 위의 자율주행 머신들을 위한 온로드 머신 플랫폼 네이버랩스는 2017년 IT업계 최초로 국토부 자율주행 임시운행을 허가 받은 이후 실제 도로 위에서 측위, 인지, 플래닝과 컨트롤에 이르는 모든 영역의 도로 자율주행 기술들을 종합적으로 고도화하고 있습니다. 또한 하이브리드 HD매핑과 ACROSS 솔루션으로 도로 자율주행을 위한 HD맵을 제작합니다. 이러한 기술들과 데이터를 통합하여 이후 물류/배송/ 무인샵 등 다양한 목적으로 커스터마이즈할 수 있는 도로 자율주행 머신 플랫폼을 개발하고 있습니다. 네이버랩스 자율주행 기술 더 보기   맵 클라우드와 강화학습을 통한 실내 자율주행, AROUND 플랫폼 AROUND플랫폼은 자율주행 서비스 로봇 대중화를 목표로 네이버랩스가 개발한 독자적인 솔루션입니다. 매핑 로봇 M1이 만든 맵 클라우드(map cloud)를 기반으로 위치를 인식하여 경로를 계획하고, 심층 강화학습 (deep reinforcement learning) 알고리즘을 적용해 레이저스캐너의 도움 없이 매끄러운 자율주행이 가능하다는 것이 특징입니다. 지도 생성, 위치 파악, 경로 생성, 장애물 회피 등의 핵심 기능을 직접 수행해야 하는 기존 많은 자율주행 로봇과는 달리, 저가의 센서와 낮은 프로세싱 파워만으로 정확도 높은 실내 자율주행을 구현했습니다. AROUND 자세히 보기   로봇 서비스의 새로운 가능성, 5G 브레인리스 로봇 플랫폼 네이버랩스는 CES 2019에서 세계 최초로 5G 브레인리스 로봇 시연에 성공한 바 있습니다. 로봇의 두뇌 역할을 하는 컴퓨터를 클라우드로 옮기고 5G로 연결하는 기술입니다. 다수의 로봇을 동시에 제어할 수 있어 제작 비용을 효과적으로 줄일 수 있고, 클라우드가 로봇의 두뇌 역할을 대신하기 때문에 크기가 작으면서 지능도 뛰어난 로봇을 만들 수도 있습니다. 우리는 이 기술을 AROUND 플랫폼과 연계하는 연구로 확대하고 있습니다. 이를 통해 네이버 데이터센터 ‘각’이 여러 로봇들의 두뇌가 되어 다양한 방식의 로봇 서비스를 제공하고자 합니다. 5G 브레인리스 로봇 기술 자세히 보기

2019.06.26 NAVER LABS

CVPR 2019서 논문 발표 및 Long-Term Visual Localization 챌린지 1위

네이버랩스가 세계 최대 '컴퓨터 비전 및 패턴 인식' 컨퍼런스인 CVPR (IEEE Conference on Computer Vision and Pattern Recognition) 2019에서 'Did it change? Learning to Detect Point-Of-Interest Changes for Proactive Map Updates' 논문을 발표한다. 네이버랩스와 네이버랩스 유럽 연구진들이 약 1년여 시간에 걸쳐 공동으로 연구한 ‘셀프 업데이팅 맵 (self-updating map)’에 대한 결과이다. 자율주행 로봇이 수집한 대규모 실내 공간 데이터를 분석 후 바뀐 상호를 인식하여 지도 정보를 최신으로 업데이트하는 기술로, 로보틱스, 컴퓨터 비전, 딥 러닝 등 네이버랩스의 핵심 기술들이 활용되었다. <출처: CVPR 2019> 한편, 네이버랩스 유럽이 Long-Term Visual Localization 챌린지의 Local Feature Challenge 카테고리에서 높은 점수로 1위에 올랐다. 해당 챌린지는 특정 랜드마크의 주간 촬영 이미지와 촬영 위치를 기반으로 야간 촬영 이미지의 현재 위치를 찾아내는 것으로, 이번에 네이버랩스 유럽 연구진들은 local feature 분야에서 근 15년 간 사용되던 SIFT를 능가하는 고성능의 딥 러닝 기반 feature를 개발하는데 성공했다. 향후 visual localization 외 컴퓨터 비전 관련 다양한 분야에 응용이 가능할 것으로 예상하고 있다. 관련 아티클 및 사이트 셀프 업데이팅 맵, AI와 로봇이 바뀐 상호를 찾아주는 기술 셀프 업데이팅 맵 - 딥러닝을 할용한 실내 매장 변화 검출 알고리즘 개발기 데이터셋 공개 - NAVER LABS' Indoor Dataset - COEX POI Change Detection (Jun. 2018 and Sep. 2018)  CVPR 2019 워크샵 - Long-Term Visual Localization under Changing Conditions Paper 바로가기  

2019.06.19 NAVER LABS

ACROSS 프로젝트, 도로자율주행용 HD맵을 최신으로 유지하는 기술

What’s ACROSS 네이버랩스의 ACROSS는 도로 HD맵의 최신성을 유지하기 위한 크라우드소싱 맵 (crowdsourcing map) 솔루션을 개발하는 프로젝트입니다. Background “HD맵은 도로 위를 자율주행하기 위해 가장 필수적인 데이터” 자율주행 머신에게 정확한 HD맵은 아주 중요합니다. HD맵을 통해 현재 위치를 더 정확하게 인식할 수 있습니다. 머신에 장착된 센서만으로는 부족한 순간이 있습니다. 이러한 사전 지식은 이동하는 경로를 미리 계획할 때에도, 더 관심 있게 보아야 할 영역이 어디인지 예측할 때에도 활용할 수 있습니다. 따라서 복잡한 대도심에서는 HD맵의 중요성이 더 커집니다. 지금까지 네이버랩스에서 하이브리드 HD 매핑이라는 독창적인 기술로 HD맵을 제작하고 있는 이유입니다. 하이브리드 HD 매핑은 항공사진을 통해 광대한 범위의 도로 레이아웃 정보를 먼저 취득하고, 자체 개발된 MMS (mobile mapping system)인 R1으로 도로 위의 포인트 클라우드 데이터를 수집해 이를 유기적으로 결합하는 방식입니다. 이 솔루션은 대규모 도시 스케일을 더 짧은 기간 내에 더 경제적으로 제작할 수 있는 강점을 가지고 있습니다. 당연히 정밀도는 유지됩니다. 다만 부족한 것이 있습니다. 모든 지도의 숙명이죠. 최신성 유지입니다. 지도는 기본적으로 현실을 반영하지만 현재는 아닙니다. 지도를 만든 시점은 언제나 과거일 수밖에 없죠. 그 사이에 길이 새로 만들어졌을 수 있고, 새로운 건물이 지어졌을 수도 있습니다. 따라서 업데이트 솔루션은 지도의 정확성 유지와 바로 연결됩니다. (앞서 공개했던, 로봇과 AI를 활용한 실내 지도의 최신성 유지 기술인 셀프 업데이팅 매핑도 같은 맥락입니다.) Approach “크라우드소싱의 딜레마, 매핑 디바이스의 센서 비용과 성능의 트레이드오프” 그래서 하이브리드 HD 매핑 기술에도 업데이트 솔루션이 반드시 필요합니다. 이걸 개발하는 연구가 바로 ACROSS 프로젝트입니다. 우리는 크라우드소싱 맵핑 방식을 택했습니다. 매핑 디바이스를 다수 차량에 장착해 넓은 범위에서 동시 다발적으로 도로 정보의 변화를 확인하는 방식입니다. 매핑 디바이스의 센서로 수집된 이미지 데이터를 처리해 기존 HD맵에서 도로 레이아웃(차선정보, 정지선 위치, 도로마커 등)이나 3차원 정보(교통표지판, 건물, 신호등, 가로등 등)의 변화를 감지하여 업데이트하는 솔루션을 개발하고 있습니다. 해결해야 하는 딜레마가 있습니다. 매핑 디바이스를 저비용 센서(카메라, imu, gps)로 아주 컴팩트하게 만들어야 한다는 것입니다. 그래야 더 많은 차량에 장착할 수 있고, HD맵의 변화를 감지하는 커버리지와 주기 문제를 해결할 수 있기 때문입니다. 하지만 저비용 센서와 처리 장치로 매핑 디바이스를 설계하는 것은 당연히 성능과의 트레이드오프가 발생합니다. 결국 확산을 고려한 디바이스 설계와 알고리즘의 최적화, 이것이 ACROSS 프로젝트의 핵심이기도 합니다. 이를 위해 sensor fusion, computer vision, image processing, machine learning 등 네이버랩스에서 연구해 온 다양한 기술들이 활용됩니다. 5G 네트워크도 ACROSS에게는 새로운 기회입니다. 5G의 높은 대역폭을 이용해 맵 정보를 지금보다 빠르게 받고 동시에 업데이트할 수 있는 환경 변화가 생겼습니다. 무엇보다 디바이스와 알고리즘 사이의 최적화를 하기 위해, 클라우드와 엣지 컴퓨팅 사이에서의 더 다양한 시도와 선택이 가능해졌습니다. Challenge “도시와 도로의 고정밀 3차원 데이터들이 실시간으로 업데이트되는 세상” ACROSS 프로젝트의 앞날을 예상해 보자면, 아주 많은 시행착오가 있을 것입니다. 앞서 다 언급하지 못한 아주 많은 숙제들을 하고 있습니다. 다만, 꼭 필요한 시행착오라는 점이 우리에게 중요합니다. 치열한 도전 끝에 HD맵과 도로자율주행을 위한 핵심적인 기술이 얻어질 것입니다. 일단 올해는 ACROSS를 위해 가장 적합한 스펙의 매핑 디바이스를 설계하고, 이를 바탕으로 알고리즘을 최적화하는 것에 집중할 예정입니다. 이 단계를 성공적으로 완수하면, 더 다양한 방식의 시맨틱 매핑 단계를 시도할 것입니다. 결국 자율주행머신은 미래에 우리 삶의 일부가 될 것입니다. 이 머신들을 위한 HD맵이 먼저 있을 것이고, 그 이후로는 자율주행하는 머신들이 스스로 HD맵을 자동 업데이트하는 기능도 갖추게 될 것입니다. 도시와 도로의 고정밀 3차원 데이터들이 유기적으로 선순환 될 것입니다. 더 정확하고, 늘 최신으로. ACROSS는 그런 세상을 준비하는 프로젝트입니다. ACROSS 프로젝트의 경과와 성과는, 앞으로 꾸준히 공유하겠습니다. 네이버랩스의 자율주행 기술 자세히보기

2019.05.22 On-road Intelligence

네이버랩스, 자율주행차량용 HD맵의 민관 협력 체계에 참여

네이버랩스가 국토교통부·국토지리정보원·한국도로공사 및 관련 분야 기업 등 17개 공공기관 및 민간기업과, 자율주행차량용 HD맵 구축·갱신을 위한 공동 협력 체계에 함께합니다. HD맵은 그 자체로 자율주행차에게 하나의 ‘센서’이자 '두뇌'의 역할까지 하는 필수적 인프라입니다. 우리는 그간 자율주행차량을 위한 HD맵의 중요성을 인지하고 연구에 집중해왔습니다. 지난 2017년부터 국토교통부로부터 임시허가를 취득해 실제 도로에서 자율주행을 시험하며, HD맵 기반으로 고층 건물이 많은 도심에서 안정적으로 위치를 인식하는 기술처럼 새로운 자율주행 솔루션들을 고도화하고 있습니다. 특히 CES 2019에서는 항공사진과 MMS 데이터를 결합하는 ‘하이브리드 HD맵’이라는 아주 독창적인 HD맵 제작 솔루션을 공개하기도 했습니다. 이번 MOU에서 국토교통부는 공동구축체계 마련을 위한 연구 및 시범사업 지원을, 도로관리청은 시범사업 구간 및 주요도로의 구축 및 갱신에 협력합니다. 많은 기업들도 함께합니다. 네이버랩스 역시 축적해 온 연구 성과들을 기반으로 여러 기관/기업들과 자율주행 인프라 구축에 협력할 예정입니다.

2019.04.25 네이버랩스

셀프 업데이팅 맵, AI와 로봇이 바뀐 상호를 찾아주는 기술

오랜만에 찾은 곳이 다른 가게로 바뀌어 발걸음을 돌렸던 경험이 한두 번쯤 있을 것입니다. 실제로 국내의 공간 정보는 해마다 30% 이상 변한다고 합니다. 이처럼 세상의 모습은 이 순간에도 계속 변하고 있습니다. 그래서 지도의 최신성이란, 지도의 정확성을 의미하는 다른 이름입니다. 지도 데이터 관리가 수작업에 한정될 경우 업데이트 주기가 느리고 제작 비용이 크게 증가합니다. 따라서, 지도를 사용하는 유저뿐만 아니라 제작하는 온라인 지도 서비스 업체들에게도 지도의 최신성 유지와 자동화 기술의 개발은 주요한 고민거리 중 하나입니다. 이와 관련해 네이버랩스와 네이버랩스 유럽의 연구진들은 ‘셀프 업데이팅 맵 (self-updating map)’에 대한 기술을 공동 연구해 발표한 바 있습니다. 자율주행 로봇이 수집한 대규모 실내 공간 데이터를 분석 후 바뀐 상호를 인식하여 지도 정보를 최신으로 업데이트하는 기술입니다. 이를 위해 로보틱스, 컴퓨터 비전, 딥 러닝 등 네이버랩스의 핵심 기술들이 활용되고 있습니다. 인공지능과 로봇을 활용해 변경된 상호를 자동으로 업데이트 우리는 우선 대형 쇼핑몰을 중심으로 지도 업데이트 기술에 대한 테스트를 진행했습니다. 테스트가 진행된 장소는 수시로 새로운 매장이 생기거나, 혹은 바뀌는 공간입니다. 셀프 업데이팅 맵 기술은 넓고 복잡한 실내 공간에서 변화가 발생한 상점들만 정확하게 골라내어 지도 정보를 자동으로 업데이트하는데 기여합니다. 전체 시스템은 다음과 같이 구성이 됩니다. 먼저 자율주행 로봇이 스스로 이동하며 쇼핑몰 내부의 영상과 측위 정보를 함께 수집합니다. 그리고 시간이 흐른 후 동일한 장소를 재차 촬영합니다. 두 영상에서 지도와 위치 정보를 비교해 같은 지점을 찾아내고, 딥 러닝을 응용해 변화 발생 여부를 즉각 판단합니다. 물론 이때도 간판인지, 광고판인지 잘 구분해야 합니다. 쇼핑몰은 노출된 정보 영역이 너무나 많은 공간이기 때문입니다. <POI Change Detection in the shopping mall> 우리가 개발한 알고리즘은 각 쇼핑몰에서 시간이 지남에 따라 매장이 새롭게 열리거나, 닫았거나, 바뀌었거나, 상호만 바뀌었다는 정보를 정확히 인식했습니다. 컴퓨터 비전과 딥 러닝 기술, 그리고 자율주행 로봇을 활용해 대단위의 POI 정보를 효율적으로 관리하고, 실내 지도 정보의 최신성을 유지하기에 적합하다는 것을 확인했습니다. 자율주행 서비스 로봇이 아직은 대중화되지 않았지만, 근시일 내에 많은 사람들이 로봇과 어울러 지내는 공간에서 생활하게 될 것입니다. 그 서비스 로봇들은 배송, 보안, 안내와 같은 다양한 서비스를 제공하며, 동시에 셀프 업데이팅 맵 기술을 활용해 실내 지도 정보를 항상 최신으로 유지하는 임무도 수행할 수 있을 것입니다. 네이버랩스와 네이버랩스 유럽의 공동연구 결과, CVPR에서 발표 이 기술은 네이버랩스와 네이버랩스 유럽의 연구진들이 약 1년여 시간에 걸쳐 함께 개발했습니다. 연구 결과는 오는 6월 미국 캘리포니아에서 열리는 컴퓨터비전·패턴인식(CVPR) 콘퍼런스에서 ‘Did it change? Learning to detect point-of-interest changes for proactive map updates' (번역, 맵 업데이트를 위해 관심 분야 변화를 감지하는 능동 학습 방법)라는 제목으로 발표될 예정입니다. 우리는 이 결과를 바탕으로 앞으로 더 많은 시도들을 해볼 수 있을 것입니다. 상호 외에도 세일 정보 등을 비롯한 다양한 공간 데이터를 지도에 실시간으로 반영하거나, 실내가 아닌 도로 위에서도 공간 정보 변화를 인식해 업데이트하는 시도를 해볼 수 있습니다. 세상의 모습은 지금도 계속 변하고 있습니다. 그 변화 주기를 빠르게 따라잡기 위한 기술도 계속 함께 발전하고 있습니다.

2019.04.08 네이버랩스

네이버랩스, CES 2019 전시물 소개

네이버랩스는 CES 2019에서 생활환경지능 기반의 최신 location & autonomous mobility intelligence 기술들을 전시합니다. 전시 부스 위치 및 개요 보기 ■ xDM Platform eXtended Definition & Dimension Map xDM platform은 스마트폰과 자율주행 머신을 위한 location과 mobility 통합 솔루션입니다. 네이버랩스에서 연구하는 로봇과 AI 기반의 HD 매핑, 측위, 내비게이션 기술과 고정밀 데이타를 통합했습니다. 3D/HD 지도를 만들고 자동 업데이트하는 기술, 실내외를 아우르는 정밀한 측위, 그리고 실시간/실공간 데이터로 맥락을 이해하는 이동 정보를 담았습니다. 이 플랫폼을 통해 AR 내비게이션, 자율주행차, 서비스 로봇, ADAS 등 다양하고 새로운 위치 기반 서비스와 자율주행 서비스를 개발할 수 있습니다.   ■ Mapping Solutions M1, Indoor Autonomous Mapping Robot M1 은 3차원 실내 정밀 지도 제작 로봇입니다. 실내공간을 자율주행하며 고성능 카메라와 LiDAR를 통해 실내 공간의 고해상도 이미지와 3D 공간 데이터를 수집합니다. 사람이 직접 해야했던 지도 제작 과정을 더욱 빠르고 효율적으로 수행합니다. 이를 통해 만들어진 고정밀 지도는 실내 공간의 자율주행 서비스 로봇, AR 내비게이션 등을 비롯한 다양한 위치 기반 서비스의 핵심 데이터가 됩니다. Self-Updating Map 네이버랩스는 지도의 최신성을 자동으로 유지하는 기술을 연구하고 있습니다. 현재 실내 자율주행 서비스 로봇이 수집한 데이터를 분석하여 최신 지도로 업데이트할 수 있는 기술을 보유하고 있습니다. 이를 위해 네이버랩스와 네이버랩스 유럽의 로보틱스, 컴퓨터 비전 기술, 딥 러닝과 머신 러닝 등 최첨단 AI 기술들이 활용되었습니다. 대규모 쇼핑몰에서 각 상점의 정보를 인식해 업데이트하는 POI change detection 기술을 확보했으며, 현재 POI attribute recognition 기술을 연구하고 있습니다. 향후 semantic mapping 기술까지 단계적으로 확장할 계획입니다.   ■ Autonomous Robots AROUND Platform, Autonomous Service Robot Platform AROUND platform은 자율주행 서비스 로봇의 대중화를 목표로 합니다. 로봇의 자율주행에 필요한 주요 기능을 매핑로봇과 xDM 클라우드로 분산시켜 로봇 제작 단가를 현저히 낮췄습니다. 먼저 매핑로봇 M1이 실내를 자율주행하며 공간 데이터를 수집합니다. 이렇게 수집된 map data는 xDM 클라우드에 업데이트 되며, 이를 활용해 클라우드 기반의 visual localization과 path planning을 통해 서비스 로봇이 자율주행하게 됩니다. AROUND platform은 심층 강화학습 (deep reinforcement learning)을 활용한 장애물 회피 기술로 돌발적인 상황 대응과 장애물/보행자 회피를 하며 목적지까지 원활한 이동을 할 수 있습니다. 서점에서 책을 나르거나 대형쇼핑몰에서 길 안내를 하는 것과 같이 공간 특성과 사용자 니즈에 맞게 커스터마이징이 가능합니다. AROUND G, Autonomous Guide Robot AROUND G는 AROUND platform을 통해 개발한 실내 자율주행 가이드 로봇입니다. 쇼핑몰, 공항, 호텔 등 복잡한 대규모 실내 공간에서 자율주행하며 가이드를 하고, AR 내비게이션을 통해 직관적인 정보를 제공합니다. xDM platform의 고정밀 실내 지도와 visual & sensor localization을 활용해 실내에서도 현재 위치를 정확하게 파악할 수 있으며, 가장 가까운 이동경로를 정확히 예측해 사용자를 안내합니다. 길을 안내하는 동안에는 본체 디스플레이의 AR 내비게이션을 통해 이동 및 공간 정보를 생생하게 전달합니다. 우리는 AROUND G를 통해 새로운 도구가 공간 속으로 자연스럽게 스며드는 생활환경지능을 실현하고자 합니다. 사용자가 목적지까지 안내를 받는 동안, 눈 앞의 로봇이라는 물리적 대상이 사라지고 가장 자연스러운 서비스와 유용한 정보만이 남는 경험을 만들고자 합니다.   ■ Autonomous Driving Hybrid HD Map & R1 네이버랩스는 자체 자율주행기술과 3D/HD mapping 기술을 접목해 hybrid HD map이라는 독자적인 매핑 기술을 연구하고 있으며, 이는 항공 사진과 모바일 매핑 시스템의 데이터를 활용한 솔루션입니다. 먼저 3D 매핑 기술로 항공촬영 이미지(aerial image)를 합성해 도로 면의 정보를 추출하고, 자체 개발된 lightweight MMS (mobile mapping system)인 R1이 이동하며 수집한 포인트 클라우드(point cloud)를 유기적으로 결합하는 방식으로 HD맵을 제작합니다. Hybrid HD map은 기존 값비싼 MMS 장비로 제작하는 HD맵에 비해 제작 비용을 절감하면서도 높은 정확도를 유지할 수 있습니다. NAVER LABS ADAS CAM NAVER LABS ADAS CAM은 자율주행차 연구에서 사용하는 딥러닝 기반 알고리즘의 ADAS (advanced drivers’ assistance system) 기능을 제공합니다. 싱글 카메라만으로 강력하게 동작되는 FCW (forward-collision warning)와 LDW (lane-departure warning) 기능을 제공합니다. 또한 xDM 플랫폼의 hybrid HD map과 연동하면 복잡한 환경에서도 더 정밀한 기능 제공이 가능해집니다. 다양한 환경 조건에서 도로 상황을 정확히 인식할 수 있도록 HDR (high dynamic range) & flicker free 기능을 가진 카메라 모듈을 자체 개발하여 적용하였습니다. ■ NAVER Maps & Wayfinding NAVER Maps & Wayfinding 네이버지도는 공간 정보 검색과 대중교통 길 찾기 및 자동차 내비게이션 등의 생활밀착형 서비스를 제공합니다. 실내외의 모든 공간을 끊김없이 연결하고 더욱 정확한 공간 정보를 제공하기 위한 연구를 지속하고 있으며, 특히 xDM platform을 통해 다양한 영역으로 확장될 수 있는 차세대 지도 서비스들을 개발하고 있습니다. Indoor AR Navigation 네이버랩스의 indoor AR navigation은 xDM platform의 매핑로봇 M1이 제작한 실내 지도와 visual & sensor localization 기술을 기반으로 GPS 신호가 없는 실내공간에서 별도의 hardware 인프라 구축 없이 사용자 위치와 방향을 정확하게 인식해 길 안내를 할 수 있습니다. 가시거리 내의 POI를 기준으로 TBT (turn-by-turn) 정보와 진행 방향을 제공합니다. AKI, Location & Geofencing Technology AKI는 xDM platform에서 제공하는 정확한 실내외 위치인식 기술, geofencing 기술, 그리고 개인화된 위치인식 등을 활용한 스마트 키즈워치입니다. 아이의 이동 패턴과 상황을 학습하며, 정확한 위치 정보를 보호자에게 적시에 제공합니다. AWAY, In-Vehicle Infotainment Platform AWAY는 차량용 인포테인먼트 플랫폼입니다. 운전자의 안전을 고려한 UI, 음성으로 조작할 수 있는 네이버지도 내비게이션, 음악과 뉴스 등 주행 환경에 최적화된 미디어 서비스를 제공합니다. 이번 CES에서 소개하는 AWAY 헤드유닛은 24:9 비율의 스플릿 뷰 기반으로 미디어 콘텐츠와 내비게이션 등 여러 기능을 동시에 확인할 수 있는 것이 특징이며, 현재 카셰어링 서비스 ‘그린카’ 차량에 탑재되어 있습니다. AHEAD, 3D AR HUD AHEAD는 차량용 3D AR HUD (head-up display)입니다. 기존 HUD는 디스플레이되는 가상의 이미지와 실제 도로 사이의 초점이 달라 운전자의 집중을 흐릴 수 있었습니다. AHEAD는 운전자의 시점에서 근거리에서 원거리까지 실제 도로에 융합된 정보를 제공하는 3D 광학 기술을 실현했습니다. 운전자는 AHEAD에 표시되는 이미지가 마치 도로 위에 존재하는 것처럼 자연스러운 시선으로 정보를 제공받을 수 있습니다. 리플릿 다운로드 ■ Robotics AMBIDEX, Robot Arm with Innovative Cable-Driven Mechanisms 사람과 공존할 수 있는 로보틱스 연구의 하나로 진행된 AMBIDEX는 와이어 구조의 혁신적인 동력 전달 매커니즘으로 사람과 안전하게 인터랙션 할 수 있는 로봇 팔입니다. 한 팔의 무게는 고작 2.6kg로, 이는 일반적인 성인 남성의 한 팔 무게보다 가볍습니다. 그럼에도 최대 3kg의 하중을 버티고, 최대 5m/s의 속도로 동작할 수 있습니다. 산업용 로봇 수준의 정밀한 제어가 가능하기 때문에 짐을 옮기는 아주 간단한 작업부터, 사람과의 정밀한 협업을 통해 복잡한 작업을 수행하는 것까지 다양한 활용이 가능합니다. 또한 5G네트워크의 low latency와 high throughput 성능을 이용하여 원격지에서도 무선으로 실시간 고속 제어가 가능하게 설계되어 있습니다. AIRCART, Human-Power Amplification Technology AIRCART는 근력증강 로보틱스 기술(robotics for human power augmentation)을 응용해 개발한 카트입니다. 이 기술은 단순해보이지만, 이를 일상 공간에서 누구나 쉽게 사용할 수 있는 도구에 적용해 상용화했다는 점이 중요합니다. AIRCART에는 pHRI (physical human-robot interaction) 기술이 적용되어 무거운 물체를 실어도 누구나 가볍게 운반할 수 있습니다. 운전자의 조작 의도를 손잡이의 힘 센서로 파악해 카트의 움직임을 제어하기 때문에, 따로 조작 방법을 배울 필요없이 쉽게 사용할 수 있습니다. 또한 사고가 발생하기 쉬운 비탈길에서도 자동 브레이크 시스템으로 안전하게 이동합니다. 현재 서점이나 도서관, 공장 등 활용처를 다양화하고 있습니다.

2019.01.07 NAVER LABS

NAVER & NAVER LABS @ CES 2019

네이버는 생활환경지능(ambient intelligence) 기술로 새로운 연결(connect)과 발견(discover)의 가능성을 만듭니다. 인식과 이해, 추천과 개인화, 자연스러운 인터페이스를 기반으로 정보와 서비스를 제공합니다. 그리고 이를 더 다양한 삶의 공간에서 끊김없이 연결하기 위해, 네이버랩스의 최첨단 매핑 솔루션, 로보틱스, 자율주행 모빌리티, AI 기술 등을 고도화하고 있습니다. CES 2019에서 최신 location & autonomous mobility intelligence 기술들을 만나보세요. ■ About CES 2019년 1월 8일부터 11일까지 미국 네바다주 라스베이거스에서 개최되는 세계 최대 규모의 가전 박람회인 ‘CES (Consumer Electronics Show) 2019’는 전세계 4500여개 전자/IT/자동차 업체가 참가해 AI와 5G, 자율주행, IoT 등의 분야에서 최신 기술을 선보이는 행사입니다. 전시회가 열리는 나흘간 약 20만명의 관람객이 행사장을 찾아 수많은 글로벌 기업들의 새로운 기술력을 경험하게 됩니다. ■ Booth Location Tech East, LVCC, Central Plaza – CP 14 ■ CES 2019 Innovation Awards Honorees CES Innovation Awards는 엔지니어와 디자이너 등으로 구성된 심사위원단이 탁월한 기술력과 디자인 경쟁력을 갖춘 제품들을 선정해 수여하는 상입니다. 네이버랩스는 CES 2019 Innovation Awards에서 총 3개 부문에 출품하여 4개 제품을 수상했습니다. R1, Mobile Mapping System (Vehicle intelligence and self-driving technology) AWAY, In-vehicle Infotainment Platform (In-vehicle audio/video) AHEAD, 3D AR HUD (In-vehicle audio/video) AMBIDEX, Robot Arm with Innovative Cable-Driven Mechanisms (Robotics and drones) ■ Exhibitions xDM platform, eXtended Definition & Dimension Map xDM platform은 스마트폰과 자율주행 머신을 위한 location과 mobility 통합 솔루션입니다. 네이버랩스에서 연구하는 로봇과 AI 기반의 HD 매핑, 측위, 내비게이션 기술과 고정밀 데이터를 통합했습니다. 3D/HD 지도를 만들고 자동 업데이트하는 기술, 실내외를 아우르는 정밀한 측위, 실시간/실공간 데이터로 맥락을 이해하는 이동 정보를 담았습니다. 이 플랫폼을 통해 AR 내비게이션, 자율주행차, 서비스 로봇, ADAS 등 다양하고 새로운 위치 기반 서비스와 자율주행 서비스를 개발할 수 있습니다. Mapping Solutions M1, Indoor Autonomous Mapping Robot Self-Updating Map Autonomous Robots AROUND Platform, Autonomous Service Robot Platform AROUND G, Autonomous Guide Robot Autonomous Driving Hybrid HD Map & R1 ADAS CAM NAVER Maps & Wayfinding Indoor AR navigation AWAY, In-Vehicle Infotainment Platform AKI, Smart Watch for Kids AHEAD, 3D AR HUD Robotics AMBIDEX, Robot Arm with Innovative Cable-Driven Mechanisms AIRCART, Human-Power Amplification Technology ■ Demonstration Schedule (1/8-1/10) AROUND G  11:00 / 13:00 / 15:00 / 17:00 AMBIDEX  11:30 / 13:30 / 15:30 / 17:30 ■ Contact 제휴 제휴/제안 바로가기 with_labs@naverlabs.com PR/미디어 Ryan Hyeonwoo Lee dl_ces@navercorp.com (LINE) hlee293 Dong-keun Han dl_ces@navercorp.com (LINE) drake3323

2018.12.11 NAVER LABS

퀄컴과 로보틱스, 자율주행 등 기술 협력

네이버랩스가 퀄컴과의 기술 협력을 시작합니다. 퀄컴은 첨단 디지털 무선통신 기술, 제품 및 서비스의 세계적 선도 기업입니다. 우리는 퀄컴의 자회사인 퀄컴 테크놀로지 Inc.와의 MOU를 시작으로 로보틱스, 자율주행, AR 등을 비롯한 다방면의 기술 영역에서 서로의 역량을 적극적으로 결합시키고자 합니다. 이번 기술 협력을 통해, 퀄컴이 글로벌 칩 시장을 선도하며 쌓아온 노하우 및 솔루션을 기반으로 네이버랩스의 자율주행, IVI, 로봇, 고정밀 측위, AR 내비게이션, 등의 기술을 한단계 더 발전시킬 기회를 마련했습니다. 뿐만 아니라, 생활환경지능 연구의 새로운 확장도 기대하고 있습니다. 시너지라는 것은 고도화의 형태일 수도 있지만, 때론 지금까지 없었던 새로운 가능성으로 이어지기도 합니다. 양사간의 유기적인 협력을 통해 삶의 가장 가까운 곳에서 누리게 될 놀라운 기술 혁신의 새로운 이야기들을 만들어가겠습니다. 그 경과와 성과들 역시 지속적으로 공개해 가도록 하겠습니다.

2018.11.20 네이버랩스

쏘카와 ADAS 및 HD맵 관련 파트너십 체결

네이버랩스가 쏘카(SOCAR)와 새로운 협력을 시작합니다. 우리는 14일, 쏘카와 자율주행 기술 기반의 ADAS (advanced driver assistance system)와 HD맵 관련 파트너십을 체결합니다. 우리가 그간 축적해 온 자율주행기술 노하우를 ADAS로 구현하여, 쏘카의 안전운행에 기여할 예정입니다. 더불어 지난 DEVEIW 2018에서 발표한 xDM platform과 쏘카 차량을 연동시켜, 실제 교통상황을 실시간으로 보여주는 다이나믹 지도를 구현하려고 합니다. 이를 통해 쏘카의 고객들이 더욱 빠르고 편안하게 목적지까지 도달할 수 있도록 할 계획입니다. 잘 알려진 바와 같이 쏘카는 1만 1천여대 차량을 직접 운영하는 대한민국 최대의 카셰어링 기업입니다. 쏘카의 대규모 차량 데이터 및 지도 정보는 네이버랩스가 보유한 기술과 결합해, 실제 도로환경의 실시간 정보들이 xDM platform에서 직접 업데이트되는 디지털 트윈 (digital twin) 생태계 구축을 앞당길 것입니다. 좋은 협력은 언제나 새로운 가능성을 만듭니다. 일상에 스며드는 기술, 일상의 문제를 직접 해결해나가는 혁신의 파트너십을 함께 만들어 가겠습니다.

2018.11.14 네이버랩스

CES 2019 Innovation Awards에서 'AHEAD', 'R1' 등 4개 제품 수상

네이버랩스의 생활환경지능 연구 성과들이 CES 2019 Innovation Awards 수상으로 이어졌습니다. CES Innovation Awards는 엔지니어와 디자이너 등으로 구성된 심사위원단이 탁월한 기술력과 디자인 경쟁력을 갖춘 제품들을 선정해 수여하는 상입니다. 네이버랩스는 총 3개 부문에 출품하여 4개 제품을 수상했습니다. In-vehicle audio/video 부문에 'AHEAD'와 'AWAY'가, vehicle intelligence and self-driving technology 부문에서 'NAVER LABS R1', robotics and drones 부문에 'AMBIDEX'가 각기 수상했습니다. AHEAD, 3D AR HUD AHEAD는 지난 DEVIEW 2018에서 첫 공개를 했던 3D AR HUD입니다. 정해진 단일 초점 거리에 가상 이미지를 생성하는 일반 HUD와 달리, 운전자의 초점에 맞춰 실제 도로와 자연스럽게 융합되는 방식으로 정보를 제공합니다. 운전자는 마치 실제 이미지가 도로 위에 존재하는 것처럼 자연스럽게 내비게이션 정보, 전방 추돌 경고, 차선 이탈 경고, 안전 거리 경고 등을 제공받을 수 있습니다. AWAY, in-vehicle infotainment platform AWAY는 네이버랩스에서 개발한 차량용 인포테인먼트 플랫폼입니다. 운전자의 안전을 고려한 UI, 다양한 지역정보, 음성 에이전트로 목적지 검색이 가능한 전용 내비게이션, 네이버뮤직과 오디오클립 등 주행 환경에 최적화된 미디어 서비스를 제공합니다. 이번 CES에 출품한 AWAY 헤드유닛 디스플레이는 24:9 비율의 스플릿 뷰 기반으로 미디어 콘텐츠와 내비게이션 등 여러 기능을 시각적 간섭 없이 동시에 확인할 수 있는 것이 특징입니다. NAVER LABS R1, mobile mapping system NAVER LABS R1은 자율주행차용 hybrid HD맵 제작을 위한 모바일 매핑 시스템입니다. 우리의 독자적 매핑 솔루션인 hybrid HD맵은, 미리 촬영된 정밀 항공 사진의 정보와 R1 차량이 수집한 point cloud 정보를 유기적으로 결합하는 방식으로 HD맵을 제작합니다. 각 2D/3D 데이터에서 HD맵 제작을 위한 feature들을 자동 추출하는 알고리즘을 적용했기 때문에 일반 MMS 장비보다 제작 비용을 줄이면서도 동일 수준의 정확도를 얻을 수 있으며, 최신성 유지에도 효과적이라는 점이 특징입니다. AMBIDEX, robot arm with Innovative cable-driven mechanisms AMBIDEX는 와이어 구조의 혁신적인 동력 전달 매커니즘을 통해 사람과 안전하게 인터랙션을 할 수 있는 로봇팔입니다. 한 팔의 무게는 고작 2.6kg로, 성인 남성의 한 팔보다 가볍습니다. 그럼에도 최대 3kg의 하중을 버티고, 최대 5m/s의 속도로 동작할 수 있습니다. 동시에 7개의 관절에서 강도를 증폭할 수 있고, 정밀한 제어가 가능하며, 딥러닝을 통해 수행 능력을 발전시킬 수 있기 때문에, 일상 공간에서 사람들에게 직접 도움을 주는 다양한 서비스를 제공할 수 있습니다. 네이버랩스는 내년 1월 8일부터 미국 라스베가스에서 개최되는 CES 2019에 참가합니다. 이번 CES 2019 Innovation Awards 수상 제품 외에도 AI, 자율주행, 로보틱스 등 다양한 분야의 생활환경지능 성과들을 함께 선보일 계획입니다. 이를 계기로 글로벌 무대의 더 많은 파트너들과 함께 location & mobility 영역에서 새로운 가능성의 기회를 만들어가고자 합니다.

2018.11.09 네이버랩스

도로자율주행을 위한 지도, 하이브리드 HD 매핑

자율주행차에는 많은 센서가 있습니다. 그리고 이 센서를 통해 들어오는 수많은 데이터들을 처리하며 달립니다. 그런데 자율주행차에게 데이터인 동시에 센서인 것이 있습니다. 바로 HD맵입니다. HD맵을 자율주행차의 또 다른 센서라고 표현하는 이유가 있습니다. 자율주행차는 HD맵을 센서 데이터들과 함께 활용해 현재 위치를 더 정확하게 알고, 경로 계획도 효과적이고 안전하게 세울 수 있습니다. 그래서 HD맵은 자율주행차의 성능과 안전에 있어 매우 중요한 요소입니다. 우리가 자율주행차를 위한 새로운 고정밀 지도 (machine readable HD map) 솔루션 개발에 집중하고 있는 이유입니다. 이번에 공개한 하이브리드 HD 매핑 기술은 매우 독창적인 솔루션입니다. 도심 단위 대규모 지역의 항공 사진, 그리고 모바일 매핑 시스템의 데이터를 유기적으로 결합하는 방식입니다. 먼저 항공촬영 이미지(aerial image)에서 도로 면의 레이아웃 정보를 추출합니다. 그리고 자체 개발된 lightweight MMS (mobile mapping system)인 R1이 이동하며 수집한 포인트 클라우드(point cloud)를 유기적으로 결합하는 방식으로 HD맵을 제작합니다. 기존 MMS 차량이 만드는 HD맵과 비교해 제작 비용 및 기간을 크게 절감할 수 있습니다. 물론 정확도는 유지됩니다. 네이버랩스는 직접 자율주행차를 연구하고 있으며, 국토부 임시허가를 받았습니다. 따라서 하이브리드 HD 매핑의 결과물을 직접 비교 테스트하며 개발할 수 있습니다. HD맵 기반의 로컬라이제이션 기술 연구도 활발히 진행되고 있습니다. 이 기술은 GPS 신호가 끊기기 쉬운 도심의 빌딩 숲 안에서도 자율주행차가 정확하고 안전하게 현재 위치를 파악할 수 있게 합니다. 앞으로 다양한 자율주행 머신들과 서비스들이 속속 등장할 수록 HD맵의 중요성은 더 높아질 것입니다. HD맵 기반의 알고리즘도 고도화되고 다양해질 것입니다. 우리는 하이브리드 HD맵 기술을 통해 데이터의 정확성과 제작 비용의 합리성을 동시에 충족하는 새로운 HD맵 솔루션을 제공하고자 합니다. 네이버랩스 자율주행 기술 자세히보기

2018.10.12 네이버랩스

DEVIEW 2018에서 'xDM platform' 발표 - 사람과 자율주행 머신을 위한 location & mobility intelligence

우리의 삶에는 여전히 풀지 못한 공간과 이동에 대한 문제들이 많이 남아있습니다. 네이버랩스에서 고민하는 것들입니다. 그 고민의 경과와 연구 성과들을 이번 DEVIEW 2018 키노트를 통해 공개했습니다.  "AI, not artificial intelligence, but ambient intelligence" 이번 키노트의 화두입니다. Ambient intelligence는 '상황과 환경을 인지하고 이해해, 필요한 정보나 액션을 적시에 자연스럽게 제공하는 기술'을 의미하며, 우리의 기술비전이기도 합니다. 이를 바탕으로 우리는 이번 DEVIEW를 통해 사람과 자율주행 머신을 위한 location과 mobility 통합 솔루션인 'xDM platform'을 공개했습니다. xDM은 'eXtended definition & dimension map'의 약자입니다. 그간 연구해 온 mapping, localization, navigation 관련 기술과 고정밀 데이터를 통합했습니다.  스마트폰과 자율주행 머신을 위한 실내외 3차원 고정밀 지도를 만들고, 지도를 자동 업데이트하는 기술을 구축합니다. 실내/실외/도로 등을 아우르며 음영 지역이 없는 정밀한 측위 기술, 그리고 실시간/실공간 데이터를 담고 맥락을 이해하는 이동 정보를 제공합니다. 이러한 기술들을 통합한 xDM platform은 크게 두 가지 패키지로 구성됩니다. 사람의 위치 인식과 실내외 길찾기 등을 위한 'Wayfinding', 그리고 차량과 로봇의 자율주행을 위한 'Autonomous mobility' platform입니다.  사람을 위한 Wayfinding platform Wayfinding은 사람들이 더욱 쉽고 빠르게 이동하기 위한 솔루션입니다. Location API를 통해 smart geofencing, mobility pattern analysis, personalized localization 등의 사용자 위치/이동에 대한 세밀한 정보를 제공합니다. 또한 도보/AR 내비게이션 API를 통해 POI 정보가 수시로 바뀌고 GPS가 통하지 않는 대규모 실내 공간에서 쉽고 빠르게 길을 안내합니다. 매핑 로봇 M1이 만든 3차원 실내 지도 위에서 visual & sensor-fusion localization 기술을 기반으로 별도의 인프라 구축 없이도 정확하게 위치를 인식하고, 지형지물을 통해 TBT (turn-by-turn) 정보를 제공하며, AR navigation API를 통해 더욱 직관적인 길 안내를 할 수 있습니다. 이번 키노트에서는 코엑스에서 테스트한 AR navigation 데모를 공개했으며, 프리미어 파트너사인 HERE와 인천공항공사와의 협력 계획도 함께 발표했습니다. 우리는 더 많은 파트너를 기다리고 있습니다. 실내 지도의 최신성을 자동으로 유지하는 SSIM (scalable & semantic indoor mapping)도 선보였습니다. 네이버랩스의 robotics, computer vision, visual localization, machine learning 등을 활용해 실내 지도 생성과 데이터 수집, 유지보수의 과정을 자동화하는 기술입니다. 현재는 실내를 자율주행하는 서비스 로봇이 POI의 변화를 자동으로 인식하고, 감지된 변경사항을 지도상에 자동으로 업데이트하는 POI change detection 단계에 집중하고 있습니다.향후 POI recognition, semantic mapping으로 확장될 예정이며, 같은 기술을 실외/도로에도 응용할 계획입니다. 스스로 이동하는 차와 로봇을 위한 Autonomous mobility platform 이제 이동을 위한 솔루션은 사람에게 한정되지 않습니다. 차는 물론 로봇을 위한 자율주행 기술도 곧 우리의 일상 속으로 파고들 것입니다. Autonomous mobility platform은 바로 자율주행 머신들을 위한 솔루션입니다. 이번 키노트에서는 자율주행차를 위한 새로운 HD맵 기술을 공개했습니다. HD맵은 자율주행차가 정확한 위치를 파악하고 최적화된 경로를 탐색하기 위해 필수적인 데이터입니다. 네이버랩스는 'Hybrid HD맵' 솔루션을 통해, 고정밀 항공사진에서 추출한 route network와 네이버랩스의 mobile mapping system인 'R1'으로 수집한 데이터 등을 유기적으로 결합하는 방식으로 도시 단위의 HD맵을 만듭니다. 각각의 2D/3D 데이터에서 매핑을 위한 feature들을 자동 추출하는 알고리즘을 적용해가고 있습니다.  또한 이 HD맵을 기반으로, 자율주행차량의 GPS 센서, IMU 센서, CAN 데이터, LIDAR 신호, 카메라 영상 등의 정보와 결합해 도심처럼 고층건물이 많아 GPS 신호가 좋지 않은 음영지역에서도 끊김없이 안정적이고 정확한 측위를 할 수 있는 솔루션도 함께 개발하고 있습니다. 더불어 퀄컴 및 만도와 Hybrid HD맵과 연계한 ADAS 기술 연구를 비롯한 다양한 자율주행 기술 협업을 병행하고 있습니다. ‘AROUND platform'은 자율주행 서비스 로봇의 대중화를 위한 솔루션입니다. M1으로 제작한 고정밀 3차원 지도와 클라우드 기반의 경로 탐색 알고리즘 기술 등을 바탕으로 로봇의 제작 단가는 낮추면서, 고품질의 자율주행 성능을 유지할 수 있게 해준다는 점이 특징입니다. 지도 생성, 위치 파악, 경로 생성, 장애물 회피 기능 등의 핵심 기능을 직접 수행해야 하는 기존 실내 자율주행 로봇과는 달리, 저가의 센서와 낮은 프로세싱 파워만을 가지고도 정확도 높은 실내 자율주행을 구현할 수 있습니다. 작년 YES24 서점용 AROUND의 공개 이후, 현재는 쇼핑몰이나 공항같은 대규모 실내 공간에서 길 안내 서비스를 제공하는 자율주행 가이드 로봇 'AROUND G'의 개발을 진행 중입니다. AROUND G에는 AR 내비게이션 API가 적용되어 더욱 직관적인 UX로 길 안내를 수행하게 됩니다.   미래가 아닌 현재의 생활환경지능 기술들 이번 키노트를 통해 네이버랩스의 광학 기술 연구 성과도 발표했습니다. 'AHEAD'는 3D AR HUD (head up display)입니다. 운전자의 초점에 맞춰 정보를 제공하는 3D 디스플레이 기술을 적용했습니다. 운전자가 보는 실제 도로와 디스플레이 시점이 동일하기 때문에, 자연스럽고 편리하게 위치 및 이동 정보를 접할 수 있습니다. 향후 xDM platform의 다양한 정보와 서비스가 AHEAD를 통해 운전자에게 자연스럽게 제공될 수 있습니다. 작년 공개했던 로봇팔 AMBIDEX 역시 삶 속에서 사람과 안전하게 인터랙션할 수 있도록 개발을 고도화하고 있습니다. AMBIDEX는 위치 제어 위주의 기존 로봇과는 달리 힘 제어가 중요하기 때문에 기구학 및 동역학 모델링을 위한 시뮬레이터를 개발했습니다. 실제 로봇을 구동하기 전에 시뮬레이터 테스트로 안정성을 높일 수 있을 뿐 아니라, deep reinforcement learning을 위한 다양한 환경 조건에서의 방대한 데이터를 빠르게 획득할 수도 있습니다. 네이버랩스는 기술과 도구가 삶에 자연스럽게 스며드는 세상을 바랍니다. 이번 DEVIEW 2018 키노트에서의 성과 공개와 xDM platform 발표도 같은 맥락입니다. 머무르고 이동하는 모든 공간에서 삶의 맥락을 이해하고, 이를 기반으로 하는 새로운 서비스와 도구로 발전시켜 나가고자 합니다. 사람이 기술을 이해하는 것이 아니라, 언제나 기술이 사람을 이해해야 합니다. 이를 위해 네이버랩스도 멈추지 않고 노력하며, 또한 지속적인 platform 공개를 통해 더 많은 파트너들과 기술을 나누고 함께 성장해 나가겠습니다. 제휴/제안 바로가기

2018.10.11 네이버랩스

네이버랩스, 만도와 자율주행기술 연구 협력

차량센서 분야에서 최고 레벨의 기술을 보유하고 있는 만도와 '자율주행기술 공동 연구개발'을 위한 전략적 파트너십을 시작합니다. 만도는 자동차부품기술 분야에서 훌륭한 기술과 역사를 가진 회사입니다. 특히 ADAS 분야에서 레이더, 카메라 등 센싱기술과 데이터를 바탕으로 주요 영역에서 독자적인 위치를 구축하고 있으며, 전방 감지용 장거리 레이더 센서와 같은 자율주행차 핵심 원천기술을 내재화하여 양산하고 있기도 합니다. 2017년에는 국토교통부에서 부여하는 자율주행차 임시운행 허가를 받고 자체 개발한 센서를 장착한 자율주행차를 선보인 후 연구를 지속하고 있습니다. 2017년은 네이버랩스가 국내 IT업체 최초로 자율주행 임시운행 허가를 받은 해이기도 합니다. 우리는 그동안 딥러닝 기반의 이미지 인식 기술과 실제 주행 환경에서의 데이터를 결합하여 복잡한 도심의 도로 환경에서 자율주행 기술 완성도를 끊임없이 높여 왔습니다. 더불어 자율주행 핵심기술을 고도화하고 있는 파트너들과의 협력 가능성도 계속 열어 두었습니다. 이번 만도와의 파트너십은 양사의 자율주행기술 연구 속도를 높이는 멋진 계기가 될 것입니다. 각 사가 보유한 독자적 기술의 결합이 만들어 낼 큰 시너지를 예상할 수 있습니다. 네이버랩스는 비전 기술과 머신러닝 기술을 비롯한 인공지능 분야에서, 만도는 레이더 및 카메라 등 자율주행을 위한 차량센서 기술 분야에서 쌓은 노하우와 데이터를 바탕으로 상호 협력을 이어가고자 합니다. 이를 통해 안정적인 개발 환경을 구축하고, 서로에게 새로운 영감을 주며 기술적 완성도를 더욱 높여갈 수 있을 것입니다.​

2018.05.25 Autonomous Driving

네이버랩스 2017년 특허 출원 현황, 연간 총 56건

올해 초 별도법인으로 독립 이후, 사람과 환경을 이해하는 기술과 제품 개발을 위해 생활환경지능 기반의 연구를 지속해 왔습니다. 그 결과의 일환으로, 올 한해 동안 총 56건의 국내 특허를 출원하였습니다. 출원한 분야 중에는 이미 서울모터쇼 혹은 DEVIEW 등을 통해 발표한 바 있는 각 연구성과들을 다수 포함하고 있습니다. 운전자 환경과 주행 상황에 대해 연구해 온 차량용 인포테인먼트 플랫폼 AWAY에서도 총 8건의 특허 출원이 있었으며, 위치측위에 특화된 생활환경지능 디바이스 AKI, 자율주행차 연구, 하드웨어 및 기타 선행 연구 분야 등에서도 다수의 특허를 출원했습니다. 특히 로보틱스 분야에서는 실내 자율주행 서비스 로봇의 대중화라는 목표로 제작된 AROUND, 누구나 가볍고 안전하게 짐을 옮길 수 있도록 개발된 AIRCART 등을 비롯해 20여 건의 특허를 출원하였습니다. 별도법인으로 독립 후 아직 1년이 안된 기간 동안 어떻게 이렇게 많은 특허를 출원하게 되었을까요? AIRCART를 예로 들어보겠습니다. AIRCART는 웨어러블 로봇 기술을 응용한 전동카트입니다. 사람의 힘을 모터로 증폭시키는 전동카트들은 예전부터 시장에 출시되어 왔습니다. 그러나 AIRCART에는 실제의 사용성에 집중하여 개발된 여러 개선 기술과 응용 기술이 적용되었습니다. 힘 센서를 어떻게 배치하면 사용자 조작감을 향상시킬 수 있을까? 오작동 가능성은 어떻게 줄일 수 있을까? 카트 사용자의 오랜 작업 시간을 고려하여 전력 소모량을 낮출 수 있는 방법은 없을까? 사용자마다 영점 조절을 더 직관적으로 쉽고 정확하게 할 수는 없을까? 평지보다 경사진 곳에서 위험성이 높아지는 카트를 더 안전하게 사용하는 방법은? 이러한 문제들이 하나씩 발견되고, 그 문제를 해결하기 위한 새로운 기술들이 개발되며 마침내 지금의 AIRCART가 나왔습니다. 특허 출원이란 이러한 문제 확인과 해결의 결과물일 뿐입니다. AIRCART 뿐만 아니라 AROUND, AWAY, AKI 등에서도 일상의 환경과 삶의 모습들을 깊게 관찰하고 이해하고자 했습니다. 그리고 끊임없이 문제를 제기하고 최적화된 솔루션을 제안하는 과정을 통한 특허 출원도 이어져 왔습니다. 우리는 이런 방식으로 location & mobility 분야에 집중하며 기술 내재화를 지속해가고 있습니다. 특히 내년에는 비전, 머신러닝 등의 인공지능을 연구하는 네이버랩스 유럽 멤버들의 각 성과들을 비롯해 다양한 분야에서의 해외 특허 출원을 통해 글로벌 기술 경쟁력을 더욱 높여가고자 합니다.

2017.12.11 김병수 / Legal affairs

이미지기반의 차선변경 알고리즘(SLC)은 무엇을 보면서 판단을 할까?

자율주행차와 운전자의 안전한 차선변경 조작을 돕기 위해서 고안된 이미지기반의 차선변경 학습 알고리즘(Image based Safe Lane-Change, 이하 SLC)1은 인접 차로의 점유상태(free 또는 blocked)를 판단하는 이진 분류기(binary classifier)이다. SLC는 정확한 이미지 분류를 위해 ConvNet (convolution neural network)을 사용하는데, 이는 많은 양의 훈련 데이터를 통해 판단의 근거가 되는 이미지 특징들을 스스로 학습한다. ConvNet은 이전에 사람이 알고리듬을 고안하는 과정에서 미처 생각하지 못했던 미묘하고 섬세한 영역의 이미지 특징들까지 효율적으로 활용함으로써 높은 성능을 나타낸다. 하지만 ConvNet에 의해 계산된 이미지 특징들이 인간의 직관과 일치하지 않는 경우에 우리는 경이로움과 동시에 두려움을 느끼게 된다. 설계한 ConvNet의 동작원리를 제대로 파악하지 못하는 경우, 예외 상황에서 나타날 수 있는 결과를 예측하고 대응하기 힘들기 때문이다. 특히, 자율주행차의 실험은 매순간 상황이 변하는 실제 도로 환경에서 이루어진다. 보다 안정적이고 예측 가능한 결과를 생성하기 위해, 우리는 ConvNet의 동작원리를 제대로 이해하고 분석하려는 노력이 필요하다. 우리는 최근 weakly-supervised object localization 연구에서 ConvNet의 의사결정 과정을 해석할 수 있는 단서를 얻었다. 본 글에서는 CAM (class activation mapping)2을 활용하여 SLC의 동작원리를 분석하고자 한다. Weakly-supervised object localization은 무엇인가? 일반적으로 널리 알려진 지도 학습(supervised learning)의 경우, 모델을 학습하기 위해서 해결하고자 하는 문제와 상응하는 정답셋이 요구된다. 예를 들어, 이미지 분류(image classification)문제에 대한 정답은 입력 영상에 대한 키워드로 주어지고, 사물인식(object detection)의 정답은 찾고자 하는 사물의 종류와 이미지 상에서의 좌표 값이 된다(그림 1). 문제의 난이도가 높아질 수록 정답셋을 구축하는 과정에 소요되는 시간과 비용은 증가되기 때문에, 기존의 데이터셋을 재활용하는 방법에 대한 다양한 연구들이 진행되고 있다. 약지도학습(weakly-supervised learning)은 반쪽짜리 정답셋을 이용하여 지도 학습과 동일한 임무를 수행하는 것을 목표로 한다. 대표적으로 weakly-supervised object localization은 사물의 종류만 알려진 이미지 분류 데이터셋을 활용해서 사물의 정확한 위치를 예측하는 문제이다. 그림1: 해결하려는 문제에 따라 같은 이미지에 대한 정답셋의 형식이 다를 수 있다. 이미지 분류 데이터셋(좌)과 사물인식 데이터셋(우)의 정답셋 예시.   실제로 모델 학습은 어떻게 이루어질까? 이미지 분류를 위한 ConvNet 모델들은 크게 영상 특징을 추출하기 위한 convolution 레이어와 이를 활용하여 영상의 클래스를 구분하기 위한 fully-connected 레이어로 구분된다(그림 2). 그림2: 기본적인 ConvNet 구조는 이미지특징을 추출하는 convolution 레이어와 추출된 특징을 이용하여 클래스를 구분하기위한 fully-connected 레이어로 구분된다. 지도 학습의 경우, 주어진 정답(y)과 예측값(x)의 격차를 줄여나가는 방식으로 학습이 진행된다.   Convolution 레이어들을 거친 뒤 얻어진 중간 특징값은 입력 영상 특징들을 공간적으로 보존한 상태이지만, fully-connected 레이어의 입력으로 그 형태가 변환되는 과정에서 원래 갖고 있던 공간 정보를 상실하게 된다. 사물의 정확한 위치를 알지 못하는 weakly-supervised object localization 문제에서는 convolution 레이어까지 통과한 중간 결과물을 활용하여 판단 과정에서 영상의 어느 영역이 주로 활성화가 되는지에 주목한다. 즉, 주어진 사물의 클래스에 대해서 보다 많은 영상 특징들을 포함하는 영역 안에 해당 사물이 위치할 것이라는 단순한 원리이다. CAM의 구현3 4은 다음과 같다. 구체적으로 (224,224) 크기의 입력 영상에 대한 VGG16 네트워크의 마지막 convolution 레이어는 (512,7,7) 형태의 출력을 나타내는데, 이를 조금 다르게 해석하면 512개의 채널을 가진 (7,7)의 작은 특징 지도(feature map)로 생각할 수 있을 것이다. 이 때, 각 채널은 사물의 클래스를 판별하는데 각자 서로 다른 기여를 할 것이다. 따라서 CAM의 fully-connected 레이어는 학습 과정에서 각 채널에 대한 가중치 값들을 배우게 된다. 주어진 클래스의 종류에 따라 특징 지도 채널들의 가중합을 이용하면 ConvNet이 판단을 할 때 영상의 어떠한 영역을 주로 활용하는지에 대한 해석이 가능하다(그림 3). 그림3: Weakly supervised object localization 문제에서는 사물의 위치에 대한 정답이 누락된 상태이므로, 지도학습법과 동일한 방식으로 모델을 학습할 수 없다. Fully-connected 레이어의 파라미터와 convolution레이어를 거쳐 생성된 영상특징지도의 가중합으로 우리는 네트워크가 결정을 할 때 어느 영역의 영상정보를 보다 많이 활용하는지 이해할 수 있다.   다시 자율주행차 연구로 돌아가보자 SLC 모델을 학습시키기 위해서 우리는 아래의 기준으로 다양한 도로상황에서 취득한 측후방 영상들을 분류했다. Blocked: 차량이 물리적으로 해당 공간으로 이동 또는 진입이 불가능한 경우 Free: 차량이 이동하기에 충분한 공간이 확보된 경우 Undefined: 차량이 이미 차선변경 상태이거나, 교차로, 또는 특이한 도로에 있는 경우 즉, 인간 운전자가 방향지시등 신호를 입력하고 사이드 미러를 통해 차선변경 가능 여부를 판단하는 것과 동일한 기준을 적용한 것이다. 또한 SLC 데이터셋은 다양한 운전자의 운전 성향을 반영하기 위해서 같은 장면에 대해서 여러 명의 작업자가 동일한 판단을 했을 때, 그것을 정답으로 인정하고 있다. 그렇다면 SLC모델은 전혀 가보지 않았던 새로운 도로에서도 정확한 판단을 할 수 있을까? 일반화 측면에서 SLC모델의 성능을 검증 위해서 우리는 학습과정에서 노출되지 않은 영상들을 따로 모아 테스트를 진행했으며, 96.98%의 높은 정확도를 얻었다. 이번에는 앞서 소개한 CAM을 이용해서 SLC모델이 실제로 우리가 의도대로 동작하는지 분석을 해보자. 우리는 이미 학습이 완료된 SLC모델의 convolution 레이어들의 모델 파라미터들은 고정하고, 기존의 fully-connected 레이어들은 512 차원의 새로운 fully-connected 레이어로 치환한 다음 재학습을 실시했다(재학습 과정에서 사용된 데이터셋은 초기 SLC모델 학습에 이용한 것과 동일하다). 아래의 그림에서 확인할 수 있듯이, 우리는 SLC모델이 사람 운전자의 판단과정과 유사하게 인접 차로의 빈 공간 유무를 통하여 차선변경 가능여부를 판단함을 알게 되었다. 그림4: SLC의 분류결과(좌), CAM을 통해 SLC가 집중하는 영역을 시각화(우) 아래 영상은 복잡한 도심 속 도로 환경에서 자율주행 상태로 주행 중인 차량의 실내와 인식 알고리듬들이 작동하는 모습을 동시에 녹화한 것이다. SLC알고리듬을 적용한 네이버랩스의 자율주행차는 실제 도로에서 여유 공간을 확보한 다음 안전한 차선 변경을 시도하고 있음을 확인할 수 있다. 참고자료 1. S.-G. Jeong, J. Kim, S. Kim, and J. Min, End-to-end Learning of Image based Lane-Change Decision, in Proc. IEEE IV’17 2. B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba, Learning Deep Features for Discriminative Localization, in Proc. IEEE CVPR’16 3. matcaffe Implementation of class activation mapping: https://github.com/metalbubble/CAM 4. Keras Implementation of class activation mapping: https://github.com/jacobgil/keras-cam

2017.11.17 정성균 / Autonomous driving

네이버랩스, DEVIEW 2017 통해 location & mobility 관련 연구 성과 공개

DEVIEW 2017 키노트에서 네이버랩스의 생활환경지능 제품과 연구 성과들을 공개했습니다. 생활환경지능은 생활에서 사람과 상황/환경을 인지/이해하여 적시에 자연스럽게 필요한 정보나 액션을 제공해주는 기술을 의미합니다. 송창현 네이버랩스 CEO 겸 네이버 CTO는 키노트를 통해 ‘도구와 정보들이 넘치는 세상에서, 기술은 사람과 생활환경을 더 잘 이해해야 한다. 기술의 진정한 가치는 기술이 생활 속으로 사라졌을 때 나온다.’는 말로 생활환경지능 연구의 이유를 재차 강조했습니다. 작년 DEVIEW에서 발표했던 생활환경지능 기반 CLOVA (작년 발표 시 명칭은 AMICA), PAPAGO, WHALE 등의 진행 성과 발표에 이어, 올해 네이버랩스의 연구 및 개발 성과들을 함께 공개하였습니다. 핵심은 'location과 mobility 연구를 통해 일상으로 확장되는 생활환경지능’입니다. 1. Location intelligence 자율주행 로봇 서비스의 대중화를 위한 M1, map cloud & AROUND 먼저 DEVIEW 2016에서 공개한 바 있는 매핑로봇 M1은, 에피폴라의 기술이 적용된 개선 버전을 통해 만든 COEX/롯데월드몰 실내공간의 3차원 포인트 클라우드를 공개했습니다. 이 데이터는 고정밀 3차원 실내지도 제작에 활용될 예정입니다. M1이 작년 공개한 예고편이었다면, 본편은 이번 DEVIEW를 통해 공개한 실내 자율주행 서비스 로봇 AROUND입니다. AROUND는 실내 자율주행 로봇의 대중화를 위한 시도입니다. 그 동안 수많은 자율주행 로봇들이 공개되었지만, 지도 생성, 위치 파악, 경로 생성, 장애물 회피 등 자율주행에 요구되는 기능들을 로봇 자체에서 모두 직접 수행해야 했기 때문에 제작비용이 높다는 단점이 있었습니다. 네이버랩스에서는 지도 생성은 사전에 M1이, 위치 파악과 경로 생성은 map cloud가 역할을 대신하여, AROUND 본체에서는 저가의 센서와 낮은 프로세싱 파워로 장애물 회피 등의 기본적인 기능만 갖추고도 정확도 높은 자율주행을 할 수 있는 솔루션을 개발했습니다. 이러한 솔루션을 바탕으로 로봇의 제작 비용을 큰 폭으로 낮출 수 있기 때문에, 사람들의 삶 가까이에서 도움을 제공할 수 있는 실내 자율주행 서비스 로봇의 대량 보급이 가능해집니다. 또한, 공간의 특성이나 목적에 맞는 형태의 로봇으로 쉽게 커스터마이징하여 설계/제작할 수 있기 때문에, 향후 다양한 방식과 형태의 서비스를 제공할 수 있을 것으로 기대하고 있습니다. AROUND는 부산의 복합 공간 F1963에 위치한 YES24 오프라인 서점에서 직원과 고객들에게 도움을 주며 실제 사용됩니다. 위치측위에 특화된 생활환경지능 디바이스 AKI 이어서 위치측위에 특화된 생활환경지능 디바이스 'AKI'를 공개했습니다. AKI는 초등학교 저학년 아이와 부모 사이에서 비롯되는 관계에 주목합니다. 부모와 아이의 공간/위치에 따른 상황을 이해해, 필요한 정보와 서비스를 적시에 제공할 수 있도록 제작되었습니다. AKI는 실내에서도 정확한 위치를 제공하는 자체 WPS DB, 행동을 인지하여 자동으로 조절되는 저전력 위치 탐지, 그리고 위치 개인화(personalized Wi-Fi fingerprinting) 등의 정확한 위치측위 관련 기술이 적용되었습니다. 아이의 location을 정확히 파악하고, 아이의 이동중인 상황을 인지(activity detector, move classifier)하고, 아이가 반복적으로 방문하고 머무는 장소/시간/상황을 분석해 아이의 생활 패턴을 학습하여, 이동 상태 확인이나 비정상 알림과 같이 부모가 아이에 대해 알고 싶은 정보들을 적시에 제공할 수 있도록 설계하였습니다. AKI는 향후 일반 고객들이 직접 구매하고 사용할 수 있도록 출시될 예정입니다. 2. Mobility intelligence 세계 최초 4륜 밸런싱 전동 스케이트보드 다양한 이동성 관련 프로젝트를 진행중인 Robotics 팀은 personal last-mile mobility 연구 과제 중 하나로 개발중인 세계 최초로 4륜 밸런싱 기술이 적용된 전동 스케이트보드를 소개했습니다. 이 보드는 사람이 단순히 몸을 기울이는 것만으로 가속, 감속, 방향 전환이 모두 가능하며, 4륜 지지 구조를 갖추고 있어 안정성이 높고, 40km/hr 이상으로 고속 주행할 수 있습니다. 두 개의 기울기센서를 이용해 1초에 1000번 기울기를 측정하여 무게중심을 항상 제어하기 때문에 급격한 가감속시에도 안정적이며 경사로 주행도 가능합니다. 근력증강 웨어러블 로봇 기술 응용한 AIRCART AIRCART는 우리와 가장 가까운 일상의 공간에서 노동의 어려움을 덜어주기 위해 시작된 프로젝트입니다. 근력증강 웨어러블 로봇에 사용되는 physical human-robot interaction (pHRI) 기술이 적용되었습니다. 운전자의 조작 의도를 카트 손잡이에 달린 힘센서에서 파악해 실시간으로 카트의 움직임(추진력과 방향)을 제어하기 때문에, 누구든 따로 조작 방법을 배울 필요없이 직관적인 사용이 가능한 것이 특징입니다. 특히 더 위험할 수 있는 내리막길에서도 자동 브레이크 시스템으로 안전하게 이동할 수 있습니다. AIRCART는 AROUND와 함께 YES24 오프라인 서점에서 실제 사용됩니다. AWAY, 단말 제조용 툴킷 및 extensions 계획 이동 및 차량에 필요한 정보를 자연스럽게 연결하고, 안전하고 즐겁게 미디어와 컨텐츠를 즐기기 위한 in-vehicle infotainment 플랫폼 'AWAY'는 서비스/콘텐츠 제공사 및 단말을 위해 제공될 툴킷 공개 계획을 밝혔습니다, 내년 오픈 플랫폼으로서의 지원이 본격화될 것이며, 별도의 애프터마켓 제품도 출시 예정입니다. 자율주행차, 연내 도심지에서 SAE 4단계 달성 목표 자율주행차 연구는 도심 내 GPS 음영지역에서도 자율주행이 가능하도록 차선 기반 자기 위치 인식 연구를 강화하고 있으며, KAIST와 산학협력으로 대단위 도심 지역에서 빠르고 정확하게 도로와 표지판 정보 등을 자동으로 추출하는 연구도 착수했습니다. 특히 이번 DEVIEW 키노트를 통해서는 도심의 도로 환경에 실제 자율주행 중인 연구 영상을 공개하며, 2017년 말까지 도심지에서의 SAE 4단계 달성을 목표로 연구에 매진하고 있음을 밝혔습니다. 3. 생활환경지능의 중장기 구현을 위한 산학협력 계단을 비롯한 다양한 생활환경에서의 이동성 연구 이번 키노트의 로보틱스 발표에는 생활환경지능 연구의 중장기 과제 해결을 위한 다양한 산학협력의 결과들도 함께 공개하였습니다. 네이버랩스에서는 사람들이 살아가는 공간에서 실제 도움을 주는 로봇 개발을 목표로 하며, 이를 위해서는 일상 공간에서 자유롭게 움직일 수 있는 이동성, 삶의 맥락을 이해할 수 있는 인공지능, 그리고 다양한 노동력과 서비스를 제공할 팔과 손이 필수적입니다. 이를 위한 연구는 네이버랩스 자체적으로 진행되는 동시에 각 대학과의 협력을 통해서도 함께 진행중입니다. MIT와 협력 중인 Cheetah 3, UIUC와 협력 중인 Jumping robot은 생활 환경 내에서 계단과 같은 단차를 극복하며 자연스럽게 이동할 수 있는 다리 로봇 개발을 위한 장기 산학 연구 과제로 진행 중입니다. 마찬가지의 목적으로 계단을 올라가는 바퀴 달린 로봇 터스크봇(Tuskbot), 물체 인식 및 자율주행하는 TT-bot이 네이버랩스의 인턴 프로젝트로 함께 소개되었습니다. 일상으로 팔을 뻗는 로봇팔 AMBIDEX AMBIDEX는 실생활에서 사람과 자연스럽게 인터렉션하며 다양한 노동력과 서비스를 제공하기 위한 목적으로 네이버랩스와 코리아텍이 장기 산학 연구 중인 로봇팔입니다. 로봇팔은 로보틱스 연구 중에서도 특히 역사가 깊지만 주로 산업 현장에서 정밀/반복/고하중 작업에 적합한 형태로 발전되었기 때문에, 무게, 안전 등의 문제로 일상의 영역에 적용되기는 어려웠습니다. 네이버랩스는 로봇팔을 일상의 영역으로 활용범위를 확대하기 위해 하드웨어/제어/인식/지능 등에 대해 연구하며 세계 최고 수준의 로봇팔 메커니즘 설계능력을 갖춘 코리아텍의 김용재 교수와 산학협력을 통해 사람의 팔보다도 가볍고, 사람과의 접촉에서도 안전한 AMBIDEX를 제작하여 공개했습니다. AMBIDEX는 팔의 경량화를 위해서 무거운 구동기는 모두 어깨와 몸체 부분에 배치하고, 와이어를 이용해서 가벼운 팔을 구동하는 독창적인 와이어 구조를 가지고 있으며, 모든 관절에 강도/강성을 증폭하는 혁신적인 동력 전달 메커니즘을 적용해, 기존 산업용 로봇과 유사한 수준의 제어 성능과 정밀도를 갖췄습니다. AMBIDEX는 로봇이 실제로 사람들에게 도움을 되는 노동력을 제공하고자 할 때, 안전하고 유연하면서도 정밀한 작업이 가능한 로봇 하드웨어로서 새로운 솔루션이 될 것입니다. 이번 키노트를 통해서 발표된 네이버랩스의 각 연구 경과와 성과들은 모두 생활환경지능이라는 비전하에 전개되고 있습니다. 먼 미래의 것처럼 느껴지는 손에 잡히지 않는 기술이 아니라, 실제 생활환경에서의 location과 mobility 연구를 통해 일상에서 직접 혜택을 누릴 수 있는 기술과 제품, 서비스를 연구하고자 합니다. 이를 통해 네이버랩스가 바라는 미래상은 사람들과 사회가 도구에 얽매이지 않고 인생에서 더 중요한 일에 몰입할 수 있는 세상입니다.

2017.10.16 원충열 / PDX

네이버랩스, IV 2017서 인지 기술 통한 차선변경 판단 알고리즘 발표

네이버랩스에서 고안한 자동차 주행환경 인지 알고리즘이 지난 6월 14일 국제 지능형 자동차공학 학회인 IEEE IV (intelligent vehicles symposium) 2017에서 논문 형태로 발표됐다. 정성균, 김지원, 김수정, 민재식(이상 네이버랩스) 공저인 'End-to-End Learning of Image based Lane-Change Decision'이다. IV는 학계와 글로벌 기업을 아우르는 규모의 미래 자동차 기술 공학회다. 네이버랩스가 이번에 이곳에 발표한 논문은 딥러닝을 통해 주행중인 자동차의 안전한 차선 변경을 돕는 방법을 다루고 있다. 차량 외부에 달린 카메라에서 얻어진 측후방 영상을 통해 인접 차선이 옮겨갈 만한 상황인지를 순간적으로 판단하는 알고리즘이 핵심 내용이다. 자율주행차뿐만 아니라 사람이 운전하는 일반 차량에도 적용 가능하다. 실제로 해당 알고리즘은 현재 네이버랩스의 자율주행차량에도 적용되어 있다. 네이버랩스 Mobility팀의 정성균 연구원은 "사람이 차선변경을 실행하기 직전에 사이드미러로 측후방 상태를 보고 판단하는데서 영감을 얻어 해당 알고리즘을 개발했다"고 말했다. IV 2017 : http://iv2017.org Paper URL: http://arxiv.org/abs/1706.08211

2017.06.26 김동환 / PDX

네이버랩스, 2017 서울모터쇼 현장 스케치

킨텍스에서 진행된 '2017 서울모터쇼'가 지난 4월 9일 막을 내렸다. 이번 모터쇼에서 자율주행차, 3차원 실내 정밀지도 제작 로봇 'M1', IVI (in-vehicle infotainment) 플랫폼과 헤드유닛 디스플레이를 공개했던 네이버랩스 역시 전시와 시연을 성공리에 마쳤다. 로봇 M1이 현장에서 자율주행하며 지도 제작 과정을 시연하고, 자율주행차의 라이다(LIDAR)를 통한 인지 기술을 직접 볼 수 있도록 전시하는 등, 어렵게 느껴질 수 있는 생활환경지능 기술을 일반 관람객들도 흥미롭게 체험할 수 있도록 했다. 특히 직접 기기를 체험할 수 있도록 공개한 IVI 헤드유닛 디스플레이 역시 많은 관심을 받았다. 현장에서 만난 관람객들은 대체로 모터쇼에 등장한 네이버가 새롭다는 반응으로, 흥미롭게 부스를 둘러보고 있었다. "모터쇼에서 네이버를 보게 될 줄 몰랐다. 생각보다 스케일이 커서 놀랬고, 막연히 네이버에 갖고있던 인상도 더 좋아졌다." (대학생 김정O) "국내 기업에서 자율주행이나 로봇 같은 미래기술을 연구하고 있다고 해서 놀랐다. 좀 더 한국 현실에 맞는 서비스를 쓸 수 있을 것 같아서 기대된다." (회사원 최재O) 익숙한 자동차 업체들 사이에서 유난히 더 눈에 띄었던 네이버랩스 부스. 어떤 것들이 준비되었고, 실제 현장 분위기는 어땠을까? 10일간 쉬지않고 달려왔던 이들에게 직접 들어보았다. Autonomous Driving : 자율주행차 전시와 라이다(LIDAR) 실시간 탐지기술 시연 "이번 모터쇼에서는 실제 자율주행 차량의 라이다 (LIDAR) 센서를 통해 데이터를 실시간으로 처리하여 이동하는 물체를 탐지하는 시연을 진행했는데요. 차량 위쪽 4면 디스플레이를 통해 주변 환경을 어떻게 인지하고 있는지 일반 관람객들이 한 눈에 보고 이해할 수 있도록 전시했습니다. 이번 전시를 통해 일반 대중들과 다양한 업계의 파트너들에게 우리의 자율주행 기술 수준과 비전을 효과적으로 전달하는 계기가 되었다고 생각합니다. 사람들의 삶을 크게 바꿀 수 있는 기술이기 때문에 많은 이들이 큰 기대와 관심을 가지고 있다는 것을 현장에서 다시 확인할 수 있었습니다. 그러한 기대가 현실이 되는 시점을 앞당기기 위해 연구와 개발에 더욱 집중하려고 합니다." - Mobility 백종윤 In-Vehicle Infotainment : 헤드유닛 디스플레이에서 경험하는 IVI 플랫폼 "현장에서는 네이버랩스의 IVI 플랫폼을 직접 경험해볼 수 있도록 '자체 제작'한 헤드유닛 디스플레이를 준비했습니다. (자체 제작했다는 걸 뒤늦게 알게 되시는 분도 많으시더라고요.) 많은 분들이 음성인식이나 오디오 콘텐츠를 직접 체험해보며 신기해하셨습니다. 자율주행차 보러 왔다가 IVI까지 준비되고 있어서 놀랍다는 반응도 있었습니다. 내부적으로는 7월 출시 예정인 제품을 중간에 선보이기 위해 바쁘고 지치는 시간을 보내기도 했지만, 부스에 방문하신 분들의 많은 관심과 다양한 의견은 분명 큰 힘이 되었습니다. 이번 첫걸음을 통해 현장에서 듣고 목격했던 반응들을 토대로, 더 나은 '운전과 이동의 경험'을 위한 연구를 지속하려고 합니다." - IVI 이창희 Autonomous 3D Indoor Mapping Robot : 3차원 정밀지도 기술을 시연한 로봇 M1 "로봇의 귀여운 외모 덕분에 현장에서 어린아이들의 사랑을 많이 받은 것 같습니다. 선배 연구자로서 찾아와 응원해주셨던 데니스홍 교수님께도 고마웠습니다. 부스에 찾아와 한 시간 넘게 설명을 듣고 아낌없는 조언과 칭찬을 해주셨을 뿐 아니라, 본인의 SNS를 통해 저희가 한 일에 대해 큰 응원을 보내주시기도 했습니다. 사실 이번에 Robotics 팀은 수많은 기자 앞에서, 그리고 그보다 많은 관람객들에게 M1이 자율주행 기반으로 지도를 만드는 것을 실시간으로 시연하는 막중한 임무를 가지고 있었습니다. 완벽한 시연을 위한 준비 과정에도 에피소드가 많았고, 현장은 긴장의 연속이었지만 결국 M1은 전시 기간 중 하루 8시간, 5분 간격으로, 무려 열흘간의 중노동을 고장 없이 성공적으로 수행했습니다. 팀원들의 열정이 없었다면 힘들었을 것입니다. 작년 DEVIEW에 이어 평생 잊지 못할 또 한 번의 좋은 기억이 되었을 것이라 생각합니다." - Robotics 석상옥

2017.04.12 장혜원 / PDX

[서울모터쇼] 송창현 네이버랩스 CEO 프레스데이 키노트

지난 3월 30일, 네이버랩스 송창현 CEO는 2017 서울모터쇼 프레스데이에서 자사의 비전과 기술을 발표했다. 자리를 가득 채운 기자들 앞에서 진행된 키노트 중 자율주행 연구가 미래 이동성과 교통시스템 개선 및 도로 환경의 실시간 정보화를 목표로 한다는 것, 새로 발표한 IVI 플랫폼의 오픈 계획, 네이버랩스가 추구하는 space & mobility 기술의 대표적인 결과물인 3D indoor mapping robot 'M1'의 라이브 시연 등이 특히 관심을 끄는 대목이었지만, 결국 키노트 전체를 관통하는 핵심적인 메시지는 다음과 같다. "이제 사람이 도구와 기술을 배우고 이해할 때는 끝났다. 기술이 사람과 생활환경을 이해해야 한다. 기술의 진정한 가치는 기술이 생활 속으로 사라졌을 때 나온다." 이것이 바로 생활환경지능이라는 기술 비전이 제시된 이유이며, 현재 네이버랩스가 실제 사람들의 삶이 펼쳐지는 space에 대한 이해, 그리고 그 공간과 공간 사이를 연결해주는 mobility의 지능화에 집중하는 이유라는 맥락이다. 송창현 CEO는 M1이나 자율주행차, 그리고 새롭게 공개하는 IVI 플랫폼이 각자 다른 목표를 추구하는 것이 아니라 모두 같은 맥락으로 전개되는 연구 결과들이며, 이를 통해 온라인을 넘어 실생활에서 상황과 환경을 인지하고, 사람들이 필요한 정보를 예측해 적시적소에 제공할 수 있는 기술과 서비스들을 다양한 파트너들과 함께 고도화할 것이라고 강조했다. <2017 서울모터쇼 네이버랩스 송창현 CEO 키노트 전체 영상> 키노트가 끝난 이후, 송창현 CEO는 부스 내에서 언론사 기자들과의 별도 Q&A 시간을 가졌다. 다음은 진행되었던 질문과 답변에 대한 요약 내용이다. Q. 발표를 통해 자율주행차 연구가 자동차 비즈니스를 위한 것이 아니라고 했다. 그간에는 카쉐어링이나 스마트 모빌리티 사업을 하는 것이 아니냐는 예측이 있었다. 이에 대해 명확히 확인 부탁드린다. A. 네이버랩스의 관점은 결국 생활환경지능의 가치를 사람들이 누리도록 하는 것에 맞춰져 있다. 자율주행차 연구도 마찬가지이다. 사용자들이 실제 삶에서 그 가치를 느낄 수 있는 수준으로 기술을 고도화하는 것이 먼저이다. 그 과정에서 서비스를 위한 기술 적용 방식은 계속 고민할 것이다. Q. 주행 테스트를 공개하실 계획이 있는가? A. 아직까지 계획은 없다. 어느 정도 유의미한 데이터 축적에 도달했을 때 공개할 예정이다. Q. 헬스케어나 바이오 분야 진출에 관한 얘기도 있었는데, 혹시 올해 DEVIEW에 이와 관련한 기술을 공개할 계획이 있는지? A. 헬스케어 역시 중요한 domain이지만 지금은 선택과 집중의 단계이다. 현재 네이버랩스는 space & mobility 분야에 집중하는 것으로 방향을 잡았다. Q. 현재 딥러닝을 활용해 자율주행 기술을 고도화하고 있다고 했다. 딥러닝을 활용했을 때의 장점은 어떤 것이 있나? A. 예전 같으면 blind spot detection을 할 때 전통적인 computer vision algorithm을 사용했을 것이다. 이런 방식만으로는 정확도를 높이기 어렵다. 하지만 딥러닝을 통해 판단의 정확성이 비약적으로 상승했다. 수년간 연구한 결과가 단 몇 달 만에 도출되어 나오기도 한다. Q. 네이버 자율주행차가 현재 도심의 도로를 달리고 있는가? A. 실제 도로를 달리고 있다. 현재는 어느 정도 한정된 루트로 테스트 중이다. 복잡한 도로 환경을 완전히 인지하고 안전하게 주행할 수 있기까지는 좀 더 시간이 걸릴 것으로 본다. Q. IVI 관련해, 작년 DEVIEW에서 발표한 AMICA와의 접목은 많아 보이지 않는다. 앞으로 어떤 식으로 발전해 나갈 계획인가? A. 네이버랩스 IVI의 음성 인터페이스는 향후 클로바와 협업해 발전시켜 나갈 것이다. 지금은 한정된 상황에서 아주 특화된 부분만 적용되어 있다. 앞으로 더 많은 상황에 대응할 수 있게 바꿔 나갈 것이다. Q. 앞서 3D 기술 기업 에피폴라 인수가 있었다. 올해 투자 계획은 어떻게 되는지? 혹시 고민하고 있는 업체가 있는지? A. 지금 이 자리에서 바로 공개할 내용은 없지만, 투자에 대한 부분은 늘 검토하고 있다.

2017.04.04 원충렬 / PDX

네이버랩스, 2017 서울모터쇼에서 로봇, 자율주행차, IVI 등 연구성과 공개

네이버랩스는 ‘2017 서울모터쇼’ 프레스데이에서 자율주행, 커넥티드 카, 3차원 실내지도 등 생활환경지능 기반 기술을 공개했다. 또한 향후 '공간(space)'과 '이동(mobility)'에 대한 인텔리전스 연구에 본격적으로 집중하겠다는 기술방향성과 IVI 플랫폼의 공개 계획을 밝혔다. 이 자리는 작년 ‘DEVIEW 2016’에서 공개했던 기술들의 발전 경과를 보여주는 한편, 올해 1월 별도 법인으로 독립한 네이버랩스가 처음으로 회사의 역량과 비전을 공개했다는 의미가 있다. 송창현 CEO는 "이제 computing은 PC와 모바일이라는 제한적 환경을 벗어나, 본격적으로 다양한 디바이스와 생활 속으로 스며들기 시작했으며, 그렇기 때문에 우리는 특정한 인터페이스에 국한되는 것이 아니라 실제 삶의 다양한 환경에서 적용이 가능한 자연스러운 인터페이스가 필요했다. 그래서 나온 개념이 바로 ambient intelligence, 즉 생활환경지능이다. 네이버랩스가 추구하는 기술의 방향성인 생활환경지능은 온라인을 넘어서 실생활에서 상황과 환경을 인지하고 이해하여 필요한 정보를 추천/예측해 적시에 제공해주는 기술을 의미한다"고 밝히며 "특히 우리는 사용자들의 발길이 닿는 무수한 공간과 이동 경로를 데이터화 하며, 그들의 삶을 방해하지 않고 자연스럽게 스며드는 솔루션을 제공하기 위해 space & mobility 분야에 집중하고자 한다"고 설명했다. 이를 위해 네이버랩스는 차세대 이동 솔루션을 연구하고 AI와 로봇기술의 융합을 통한 생활공간의 정보화를 지속하는 한편, 새로 개발 중인 IVI 플랫폼을 오픈해 더 많은 파트너와의 협력을 넓혀가는 방식으로 기술과 서비스의 선순환을 이루겠다는 비전을 제시했다. 자율주행차, 인지 분야에 집중해 자율주행 기술 고도화 나서 <네이버랩스 자율주행 차량> 네이버랩스는 ‘인지’ 분야에 주목해 자율주행 기술을 연구 개발하고 있다. '인지'는 정밀한 자기 위치, 사물의 인식 및 분류, 상황의 판단 등 자율주행에서 핵심적인 감각기관과 두뇌의 역할로, 정보와 데이터의 분석 처리가 중요하다. 송창현 CEO는 "네이버랩스가 이미 역량을 키워왔던 비전 기술과 딥러닝 기술을 바탕으로 자율주행 분야의 R&D 속도를 높이고 있다”며, “특히 기계학습 기반의 기술을 실제 차량 주행에 접목시키는 다양한 실험을 통해, 경제적이고도 정확도가 높은 인지 기술을 개발해 나가는 것이 네이버랩스만의 차별화된 경쟁력”이라고 말했다. <네이버랩스 자율주행차 센서 구조> 이번 모터쇼에서 네이버랩스는 딥러닝 기반의 이미지 인식 기술을 통해 도로 위의 사물과 위치를 정밀하게 파악해 차량의 경로를 계획하고, 측후방 영상에서 빈 공간을 판단해 차선 변경 가능 여부를 확인하는 등의 기술을 선보였다. <딥러닝 기반 차종보행자 인식 기술과 측후방 차선 변경 가능 판단 기술> 네이버랩스는, 자율주행 기술 발전은 실제 도로 주행을 통한 경험과 데이터를 쌓는 것이 필수적이기 때문에 실 주행 거리를 늘려가며 미래 이동성 개선과 도로 정보화 연구를 지속하는 동시에, 다양한 파트너와의 협업을 통해 기술 수준을 더욱 높여 나갈 계획이라 밝혔다. 3차원 정밀지도 기술을 구현한 M1 로봇 시연 <3D 실내정밀지도 제작 로봇 M1> 네이버랩스는 이번 서울모터쇼에서, 도로와 구조물로 이뤄진 모형 전시공간을 마련하고, 3차원 실내 정밀지도 제작 로봇인 ‘M1’이 자율주행으로 해당 공간을 이동하며 3D 정밀지도를 만드는 과정을 시연했다. M1은 ▲real-time 3D SLAM ▲자율주행 ▲photo-realistic 3D map generation 등을 활용해, 레이저로 스캔한 무수히 많은 점 데이터를 mesh라 불리는 3차원 공간 데이터로 변환, 카메라로 촬영한 이미지를 붙여 3차원 지도를 만들어낸다. Real-time 3D SLAM : 레이저 스캐너를 이용하여 실시간으로 3차원 실내 지도를 만들고 지도 상에서 로봇의 위치를 파악하는 기술 Photo-realistic 3D map generation : 로봇이 3차원 레이저 스캐너와 360 카메라로 수집한 데이터를 기반으로 3차원 실내 지도를 만들어내는 기술 <3D 실내정밀지도 제작과정> 네이버랩스는 GPS가 잡히지 않는 실내공간의 디지털화를 위해 로봇 M1을 개발했으며, M1으로 제작한 3D 정밀지도를 통해 대규모 실내공간에서도 현재 위치를 간단히 파악하고 길 찾기가 가능해지면, 부동산 정보·게임·광고를 비롯한 여러 공간 기반 서비스들의 핵심 플랫폼으로 활용될 수 있을 것이라고 덧붙였다. 일반 차량을 '커넥티드 카'로 변신시키는 IVI 플랫폼 공개 <네이버랩스에서 개발한 IVI 헤드유닛 디스플레이> 네이버랩스는 카쉐어링 및 자율주행 시대에 맞춰 차량 내 개인 환경에 최적화된 인포테인먼트인 IVI 플랫폼과 이를 구현한 시제품을 공개했다. IVI는 in-vehicle infotainment의 약자로, 차 안에서 즐길 수 있는 엔터테인먼트와 정보 시스템을 총칭하는 용어로, 음악이나 오디오 콘텐츠 등과 같은 엔터테인먼트 기능과 내비게이션, 모바일 기기와 연동된 다양한 서비스를 제공하는 기기 또는 기술을 말한다.   <네이버랩스 IVI 드라이빙 런처 화면> 이번 모터쇼에서 소개한 네이버랩스의 IVI는 주의분산이 최소화된 UX와 절제된 음성 인터페이스로 운전 환경에 적합하도록 설계되었으며, 네이버 로그인을 통해 스마트폰에서 사용하던 서비스를 어느 차량에서나 동일한 경험으로 연결해준다. 네이버 지도와 연계된 내비게이션으로 저장해 놓은 목적지로 바로 길안내를 받을 수 있으며, 날씨·캘린더·뮤직·라디오 등 상황에 맞는 콘텐츠 활용이 가능하다. 또한 AI기술 적용을 통해 운전자의 음성을 인식해, 목적지 검색과 길 안내를 더 안전하고 편리하게 사용할 수 있도록 도와준다. 네이버랩스는 운전자의 환경과 안전에 초점을 맞추고, 차량 정보와 연결된 IVI 플랫폼을 다양한 파트너들과 함께 지속적으로 개선 발전시킬 계획이다. 네이버랩스는 이번 서울모터쇼를 통해 발표한 space & mobility 분야의 다양한 미래 기술들을 실제 삶에 접목해 나가며, 실제 삶에서 누릴 수 있는 유용하고 가치 있는 서비스로 완성시켜 나갈 계획이라고 강조했다.  

2017.03.30 원충렬 / PDX

네이버랩스, 국토부 자율주행차 임시운행 허가

네이버랩스가 국토부에서 부여하는 자율주행차 임시운행을 허가 받았다. 지난해 DEVIEW 2016을 통해 공개했던 네이버랩스의 자율주행 기술이 실제 도로 상에서 시험이 가능한 수준으로 인정 받은 것이다. 이번 임시운행 허가는 국내 IT업계 최초의 사례로, 기존에는 일부 자동차 관련 업체와 대학 및 연구소 등 7개 기관·기업에서만 허가를 받은 상황이었다. 국토교통부에서는 2016년 초부터 자율주행차의 시험 및 연구를 제도적으로 지원하기 위해 관련 법 및 시행령 등을 개정하여 임시운행 허가 제도를 운용하고 있다. 자율주행차의 임시운행 허가를 받기 위해서는 고장 자동 감지 및 경고 기능, 비상시 수동 전환 기능, 최고속도 제한 및 전방 충돌 방지 기능 등 기본적인 안전운행 기능 요건을 충족해야 하며, 이 허가를 득한 차량에 대해서는 합법적으로 실제 도로에서 자율 주행 기술을 시험하고 연구할 수 있도록 하고 있다. 기존에는 일부 지정된 도로에서만 자율 운행이 가능하였으나, 2016년 11월부터는 일부 교통약자 보호구역을 제외하고, 모든 도로에서의 자율주행 시험이 가능하도록 변경된 바 있다. 현재 네이버랩스는 Mobility팀을 구성하여 미래 이동성 개선과 도로 환경의 정보화를 목표로 자율주행 및 ADAS와 관련된 다양한 기술 분야를 연구하고 있다. 이번 임시운행 허가를 바탕으로 향후 실제 주행 환경에서 데이터 축적과 분석을 통해 자율주행 기술 완성도를 더욱 높이는 한편, 네이버랩스가 추구하는 생활환경지능(ambient intelligence)을 도로 환경에서 구현하기 위한 연구를 본격화한다는 계획이다. 네이버랩스 송창현 CEO는 "자율 주행 기술은 시뮬레이션만을 통해서 개발하는 것에 한계가 있으며, 실제 도로 상에서 데이터를 쌓아가며 주행 테스트를 진행하는 것이 매우 중요하다”며, “실제 도로 주행을 통해 자율 주행 기술 개발에 가속이 붙을 것으로 예상하고 있고, 앞으로 안전하고 편리한 운전 환경과 새로운 이동 수단에 대한 연구를 지속해나갈 것"이라고 밝혔다. 자율주행과 로보틱스 등 생활환경지능 기반의 다양한 모빌리티 기술을 연구하는 네이버랩스는 다양한 기관 및 업체와의 협력을 통해 새로운 이동 환경 생태계를 만들어가는 한편, 관련 기술을 가지고 있는 훌륭한 인재들을 지속적으로 확보할 예정이다. 자율주행차 쇼룸 바로가기

2017.02.20 원충열 / PDX

[Interview] 네이버랩스 Mobility팀 백종윤 PM

네이버랩스가 연구하는 생활환경지능(ambient intelligence)은 한편으로 공간과 이동에 대한 탐구이기도 하다. 사람들이 실제 삶을 향유하는 각 공간에 대한 이해가 중요하고, 그 공간 사이 사이를 잇는 동선에 대한 이해 역시 필수이기 때문이다. 특히 네이버랩스는 차량내 환경을 주목하고 있다. 네이버랩스 Mobility팀의 백종윤 PM (project manager)은 ‘어디서나 정보가 쉽게 연결되는 시대이지만, 도로 위 운전석만은 여전히 예외’라고 강조한다. 그는 현재 연구중인 자율주행 기술을 통해 더욱 안전하고 편리한 이동 솔루션을 개발하고, 차와 정보의 연결이 만들어 낼 많은 가능성들을 새로운 서비스로 구체화하는 것이 목표라고 말한다. 다음은 백종윤 PM과의 인터뷰이다. Q. 네이버랩스가 자율주행에 뛰어든 이유에 대해 많은 사람들이 궁금해 합니다. IT기술이 발전하고 있지만 상대적으로 자동차 안에서는 아직까지 그 IT기술을 충분히 이용하기 어렵습니다. 주로 주행상황에서 행동의 제약 때문인데요. 자율주행 시대가 될 경우 차 자체가 플랫폼으로서 정보를 주고 받는 주체가 될 것이며, 이러한 환경이 되면 네이버를 비롯한 많은 IT기업들이 할 수 있는 역할들이 더 많아질 것이라고 생각합니다. Q. 네이버랩스의 자율주행 연구에서 특별히 더 집중하는 분야가 있나요? 자율주행 기술은 그 범위가 넓습니다. 그 중 네이버랩스는 '인지' 분야에 더 주목하고 있습니다. '인지'는 정밀한 도로지도, 물체의 인식, 상황의 판단 등 자율주행에서 핵심적인 두뇌 역할로, 정보와 데이터의 분석과 처리가 중요합니다. 이 분야는 다양한 영역의 확대와 응용에 매우 중요한 역할을 할 것으로 생각하고 있습니다. Q. 지금까지의 성과라면? 완성차 기업들이 고속도로 환경에서 차량의 안전을 위한 기술들을 개발하는 것에 초점을 맞춘다면, 우리는 보다 복잡한 환경, 즉 도심 환경에서 실제 돌아다니는 물체를 인식하고 회피하면서 다닐 수 있는 자율주행 기술을 개발한다는 것이 차별점입니다. 네이버랩스에서 이미 역량을 키워왔던 비전기술과 딥러닝을 비롯한 머신러닝 기술 등을 바탕으로 빠른 속도로 기술을 적용했으며, 기존 기술도 최대한 활용하여 연구개발 중입니다. Q. 여전히 다른 글로벌 기업들과는 격차가 나는 상황이지 않나요? 자율주행 차를 직접 제조 판매하고자 하는 기업과 네이버의 연구개발 성과를 직접 비교하긴 어렵습니다만, 현재 네이버의 자율주행은 미국 자동차공학회(SAE, Society of Automotive Engineers) 기준 '레벨3' 수준의 자율주행 기술에 진입하였으며, 자율주행(레벨4) 단계를 달성하기 위해 기술 개발 중에 있습니다. 상용화 시점 등 구체적인 일정은 아직 비공개이지만, 다양한 파트너와의 협업을 통해 기술수준을 계속 높여 나가고자 합니다. Q. 향후 어떤 파트너들과의 협업을 고려하고 있습니까? 일단 자동차의 기계 구동이나 차량의 제작 등은 협력 파트너와 함께할 계획입니다. 현재는 R&D 단계로 업계 전문가들과 상호 협력하여 연구 개발에 집중하고 있는데요, 앞으로 더 많은 기업과 협업해야 할 것이고 늘 개방되어 있습니다. 우리의 연구 성과 역시 기회가 될 때마다 계속 공개할 예정입니다.

2017.01.31 원충열 / PDX