POI Change Detection by AI & Robot
Autonomous Service Robot Platform
Indoor 3D/HD Mapping Robot
5G Technology for Cloud Robotics
New Solution for Autonomous Vehicles
eXtended Definition & Dimension Map
네이버랩스의 비전인 생활환경지능은 사용자의 환경을 먼저 이해하고,
사용자가 요구하기 전에 필요한 정보와 서비스를 앞서 제공할 수 있는 기술을 의미합니다.
실제 사람들의 삶이 펼쳐지는 location에 대한 이해, 그리고 그 공간과 공간 사이를
연결해주는 mobility의 지능화에 집중하며 삶에 스며드는 솔루션을 제공하고자 합니다.
오랜만에 찾은 곳이 다른 가게로 바뀌어 발걸음을 돌렸던 경험이 한두 번쯤 있을 것입니다. 실제로 국내의 공간 정보는 해마다 30% 이상 변한다고 합니다. 이처럼 세상의 모습은 이 순간에도 계속 변하고 있습니다. 그래서 지도의 최신성이란, 지도의 정확성을 의미하는 다른 이름입니다. 지도 데이터 관리가 수작업에 한정될 경우 업데이트 주기가 느리고 제작 비용이 크게 증가합니다. 따라서, 지도를 사용하는 유저뿐만 아니라 제작하는 온라인 지도 서비스 업체들에게도 지도의 최신성 유지와 자동화 기술의 개발은 주요한 고민거리 중 하나입니다. 이와 관련해 네이버랩스와 네이버랩스 유럽의 연구진들은 ‘셀프 업데이팅 맵 (self-updating map)’에 대한 기술을 공동 연구해 발표한 바 있습니다. 자율주행 로봇이 수집한 대규모 실내 공간 데이터를 분석 후 바뀐 상호를 인식하여 지도 정보를 최신으로 업데이트하는 기술입니다. 이를 위해 로보틱스, 컴퓨터 비전, 딥 러닝 등 네이버랩스의 핵심 기술들이 활용되고 있습니다. 인공지능과 로봇을 활용해 변경된 상호를 자동으로 업데이트 우리는 우선 대형 쇼핑몰을 중심으로 지도 업데이트 기술에 대한 테스트를 진행했습니다. 테스트가 진행된 장소는 수시로 새로운 매장이 생기거나, 혹은 바뀌는 공간입니다. 셀프 업데이팅 맵 기술은 넓고 복잡한 실내 공간에서 변화가 발생한 상점들만 정확하게 골라내어 지도 정보를 자동으로 업데이트하는데 기여합니다. 전체 시스템은 다음과 같이 구성이 됩니다. 먼저 자율주행 로봇이 스스로 이동하며 쇼핑몰 내부의 영상과 측위 정보를 함께 수집합니다. 그리고 시간이 흐른 후 동일한 장소를 재차 촬영합니다. 두 영상에서 지도와 위치 정보를 비교해 같은 지점을 찾아내고, 딥 러닝을 응용해 변화 발생 여부를 즉각 판단합니다. 물론 이때도 간판인지, 광고판인지 잘 구분해야 합니다. 쇼핑몰은 노출된 정보 영역이 너무나 많은 공간이기 때문입니다. <POI Change Detection in the shopping mall> 우리가 개발한 알고리즘은 각 쇼핑몰에서 시간이 지남에 따라 매장이 새롭게 열리거나, 닫았거나, 바뀌었거나, 상호만 바뀌었다는 정보를 정확히 인식했습니다. 컴퓨터 비전과 딥 러닝 기술, 그리고 자율주행 로봇을 활용해 대단위의 POI 정보를 효율적으로 관리하고, 실내 지도 정보의 최신성을 유지하기에 적합하다는 것을 확인했습니다. 자율주행 서비스 로봇이 아직은 대중화되지 않았지만, 근시일 내에 많은 사람들이 로봇과 어울러 지내는 공간에서 생활하게 될 것입니다. 그 서비스 로봇들은 배송, 보안, 안내와 같은 다양한 서비스를 제공하며, 동시에 셀프 업데이팅 맵 기술을 활용해 실내 지도 정보를 항상 최신으로 유지하는 임무도 수행할 수 있을 것입니다. 네이버랩스와 네이버랩스 유럽의 공동연구 결과, CVPR에서 발표 이 기술은 네이버랩스와 네이버랩스 유럽의 연구진들이 약 1년여 시간에 걸쳐 함께 개발했습니다. 연구 결과는 오는 6월 미국 캘리포니아에서 열리는 컴퓨터비전·패턴인식(CVPR) 콘퍼런스에서 ‘Did it change? Learning to detect point-of-interest changes for proactive map updates' (번역, 맵 업데이트를 위해 관심 분야 변화를 감지하는 능동 학습 방법)라는 제목으로 발표될 예정입니다. 우리는 이 결과를 바탕으로 앞으로 더 많은 시도들을 해볼 수 있을 것입니다. 상호 외에도 세일 정보 등을 비롯한 다양한 공간 데이터를 지도에 실시간으로 반영하거나, 실내가 아닌 도로 위에서도 공간 정보 변화를 인식해 업데이트하는 시도를 해볼 수 있습니다. 세상의 모습은 지금도 계속 변하고 있습니다. 그 변화 주기를 빠르게 따라잡기 위한 기술도 계속 함께 발전하고 있습니다.
근력증강 웨어러블 로봇 기술을 일상 속으로 네이버랩스는 2017년 'AIRCART (에어카트)'라는 이름의 전동카트를 공개했습니다. 이 카트에는 근력증강 웨어러블 로봇 기술이 들어가 있습니다. 무거운 짐을 옮기는 작업을 하거나, 거동에 어려움이 있는 사람이 착용해 근력이나 이동력을 대폭 높이는, 이른바 '입는 로봇'을 개발하는 기술입니다. 로봇 기술로 실제 삶에 도움이 될 수 있도록, 네이버랩스는 사람들이 일반적으로 더 많이 사용하는 수레에 적용했습니다. AIRCART는 적은 힘으로 살짝만 밀어도 무거운 짐을 쉽게 옮길 수 있고, 오르막길도 쉽게 오르며, 내리막길에서는 자동 브레이크로 안전하게 움직입니다. AIRCART는 기술 자체의 복잡성보다 실생활에 잘 응용했기 때문에 많은 주목을 받았습니다. 레퍼런스 모델이 실제 서점에 배치되어 사용되었고, 상용화를 위한 기술 협력이 이어졌으며, 작년에는 이 기술의 특허와 설계를 무상으로 배포한 AIRCART OPENKIT를 6개월간 공개하기도 했습니다. 동시에 내부에서는 AIRCART 기술을 다른 방면에서 다시 응용하는 프로젝트도 진행되었습니다. AIRCART 휠체어 버전입니다. 한 손으로 옆에서 밀며 탑승자와 마주볼 수 있는 휠체어 고령화 사회가 지속되면서 휠체어 수요는 해마다 늘어나고 있습니다. 한 가지 주목할 만한 점은, 휠체어를 미는 보호자나 간병인 역시 고령자가 많다는 점이었습니다. 뿐만 아니라 휠체어 사용자 중 40.3%가 사고 경험이 있다는 걸 알게 되었습니다. (전동보장구 이용실태조사, 2015) AIRCART 기술을 휠체어에 적용했을 때 해결할 수 있는 문제들이었습니다. AIRCART 휠체어는 기존 AIRCART의 핵심인 근력 증강 기술을 이용하여 탑승자의 무게 변화 등에 관계없이 적은 힘으로도 가볍고 안전하게 휠체어를 밀 수 있도록 설계되었습니다. 특히 비탈길을 내려올 때가 아주 위험한데, 끌려 내려가는 것이 아니라 안전하게 밀면서 내려올 수 있도록 일정한 속도를 유지해줍니다. 또한 손잡이를 놓치게 되면, 자동으로 브레이크가 걸립니다. <에어카트 휠체어 버전 테스트 장면 - 비탈길에서 손잡이를 놓아도 자동으로 브레이크가 걸린다.> 이번 프로젝트에서는 사람이 타고/미는 것, 즉 휠체어이기 때문에 AIRCART 근력 증강 기술에서 더 나아가 고민해야했던 많은 부분이 있었습니다. 휠체어를 미는 과정에서는 보호자와 탑승자가 눈을 마주하고 대화하거나 표정을 확인하기 어렵습니다. 이러한 사람 간의 인터랙션 문제를 해결하고자 했습니다. AIRCART 휠체어는 보호자가 측면에서 한 손으로 밀며 이동할 수 있어 마치 옆에서 동행하듯 시선을 맞추며 대화하거나, 보호자가 탑승자의 표정을 확인할 수 있도록 개발되었습니다. <에어카트 휠체어 버전 테스트 장면 - 보호자가 탑승자와 시선을 맞춘 상태로 한 손으로 쉽게 밀며 이동할 수 있다.> 또한 기존의 전동 휠체어에 비해 무게를 줄여 캐리어처럼 쉽게 이동할 수 있도록 만든 자동 폴딩 기능, 각종 위험상황에 대비한 진동 방지 기능과 전복 방지 장치와 같은 안전 기능이 AIRCART의 근력 증강 기술에 더 나아가 적용되었습니다. 서울대 간호대학 CHIC Lab과 협력, ACM/IEEE HRI 국제학회 통해 발표 이 프로젝트는 네이버랩스 6기 인턴들의 결과물입니다. 단지 연구실 안에서 기존 기술을 휠체어에 적용한 것이 아니라, 서울대학교 간호대학 소비자건강정보학 연구실 (Consumer Health Informatics & Communication Lab: CHIC Lab)과 협력해 실사용자의 문제점들을 지속적으로 확인하며 개발했습니다. 이 때문에 경량성이나 휴대성과 같은 요구, 매우 실제적이고 구체적인 위험상황에 대한 대비나 턱 넘기와 같이 자주 맞닥뜨리는 문제들을 찾고 해결할 수 있었습니다. 이 프로젝트는 3월 12일, 로봇관련 분야의 전문가 500여 명이 인간-로봇상호작용 관련 융합 연구 성과를 공유하는 ACM/IEEE HRI 국제학회를 통해 발표되었으며, 학생 디자인 컴퍼티션(SDC) 부문에서도 수상하며 많은 주목을 받았습니다. 삶과 사람을 깊게 이해하려는 기술, 실제 삶의 문제들을 가장 자연스러운 방식으로 해결하고자 하는 기술입니다.
스스로 동작하는 로봇의 두뇌를 본체 밖으로 꺼내는 기술 지난 CES 2019에서 우리가 5G를 활용한 로봇 기술을 선보인다고 했을 때, 로봇과 멀리 떨어진 곳에 있는 사람이 ‘원격 조종’하는 시연을 떠올린 분들이 많았습니다. 물론 그것도 멋진 기술입니다. 하지만 네이버랩스가 퀄컴과 함께 시도한 것은 더 도전적인 과제인 ‘5G 브레인리스 로봇 (5G brainless robot)’입니다. <네이버랩스-퀄컴 협업을 통해 CES 2019에서 선보인 5G 브레인리스 로봇 시연> 이 기술은 한마디로, 스스로 동작하는 로봇에서 두뇌에 해당하는 고성능 컴퓨터를 본체 밖으로 빼내는 것입니다. 생소한 것 같지만, 실은 SF 영화에서 종종 보았던 것입니다. 만약 영화 ‘어벤져스’에서 적의 모선이 파괴되자 사이보그인 치타우리 군단이 일시에 쓰러지는 장면을 보며 어색함을 느끼지 않았다면, 이미 브레인리스 로봇 기술에 대한 기본 이해가 되어있는 것입니다. 사이보그들이 헐크를 공격하거나 토르의 공격을 막는 세세한 판단들은 모두 모선에서 이루어져 무선 네트워크로 전달되는 구조입니다. 그런데 아마도 이 무선 네트워크는 최소한 5G 이상일 것입니다. 그렇지 않고 기존 3G나 4G 통신 수준이었다면, 캡틴 아메리카의 주먹이 날아오는 것을 인식해 명령을 전달해도 피하기 전에 맥없이 맞는 수밖에 없습니다. 지연시간(latency) 때문입니다. 5G의 초저지연 성능을 적용한 로봇 기술 지연시간이란 쉽게 말해 명령을 내리고 반응하는데 걸리는 시간입니다. 5G는 지연시간이 1㎳ (0.001초)에 불과한 초저지연(ultra-reliable and low latency communications)입니다. 많은 기업에서 주목하는 5G의 핵심 기술 중 하나죠. 그런데 이러한 5G의 초저지연 특성을 로봇의 제어주기에 대입하면 아주 흥미로운 시도가 가능해집니다. (제어주기란, 센서에서 수집한 신호를 처리해 모터로 명령을 전달하는데 걸리는 시간입니다.) 많은 휴머노이드형 로봇들이 100여개의 센서와 30여개의 모터로 구성되곤 하는데, 센서에서 수집된 데이터를 처리해 다시 모터로 명령을 주는 주기는 약 5ms정도 입니다. 그런데 5G 통신은 지연시간이 1ms이므로, 이 제어주기보다 짧습니다. 자세/운동 제어를 위한 고성능 컴퓨터를 로봇 자체가 아닌 외부에 달아 통신으로 연결하는 것이 가능해집니다. 즉, 5G로 연결된 MEC서버나 클라우드가 로봇의 두뇌 역할을 대신하는 브레인리스 로봇을 구현할 수 있다는 이야기입니다. 이번 CES에서 네이버랩스의 5G 브레인리스 로봇 기술이 큰 주목을 받은 이유도, 초저지연 성능을 활용한 고성능 로봇 제어에 성공했기 때문입니다. 이론처럼 쉬운 일은 아니었습니다. 5G는 여전히 도전할 영역이 더 많은 분야입니다. 특히 5G를 통한 로봇의 고정밀 제어는 신호와 프로세싱 데이터가 찰나에도 수없이 왕복하며 이루어지기 때문에 난이도가 매우 높아집니다. <네이버랩스-퀄컴 협업을 통해 CES 2019에서 선보인 5G 브레인리스 로봇 시연> 로봇팔 AMBIDEX의 폴밸런싱 (pole balancing) 시연을 보더라도, 무게중심이 기울어져 있는 막대를 센서로 감지하고 균형을 바로잡는 명령이 극히 짧은 주기로 5G 네트워크상에서 수없이 반복 전달됩니다. 그렇다면 기술적인 난이도는 차치하고, 과연 이 기술이 실제로 우리에게 어떤 가능성을 주게 될까요? 로봇의 두뇌를 외부에 두면 뭐가 좋을까 네이버랩스의 로보틱스팀은 스스로 이동하거나 동작하며 사람들에게 서비스를 제공하는 로봇 연구에 집중하고 있습니다. 이런 로봇들은 대부분 본체에 고성능 컴퓨터를 탑재해야 했습니다. 당연히 비싸겠죠. 이 제작 비용을 줄이는 것이 로봇 대중화를 위해 필수적입니다. 클라우드 기반의 서비스 로봇 플랫폼이 하나의 솔루션입니다. (매핑로봇 M1이 제작한 맵 클라우드를 기반으로 실내 자율주행을 하는 네이버랩스의 AROUND 플랫폼 역시 같은 맥락에서 개발되었습니다.) 그런데 5G의 초저지연 성능을 활용하면, 프로세싱 파워가 많이 필요한 중뇌에 해당하는 영역까지 로봇과 분리를 할 수 있습니다. 외부의 서버가 여러 로봇들을 동시에 제어할 수 있기 때문에, 로봇 하나하나마다 고성능 프로세서를 달지 않아도 됩니다. 제작비 뿐 아니라, 유지비도 절감됩니다. 클라우드로 다수의 로봇들이 수집한 데이터를 통합해 분석하고, 새롭게 학습된 알고리즘으로 동시에 업데이트하는 방식이 용이해질 것이기 때문입니다. 게다가 로봇의 전력 소모도 효율화 됩니다. 로봇의 메인컴퓨터는 배터리 소모량이 아주 많습니다. 마치 뇌 신경세포에서 전체 에너지의 약 20%를 사용하는 사람과도 비슷합니다. 자율주행 로봇이 메인컴퓨터에서 소모하는 에너지 비율은 40%까지도 올라갑니다. 즉, 고성능 프로세싱 파워를 외부로 빼내는 것만으로 배터리 소모를 크게 낮출 수 있다는 것입니다. 실제로 배터리 충전 주기는 서비스 로봇 사용 시나리오상에서 아주 중요한 요소로 작용합니다. 그리고 재미있는 장점도 있습니다. 크기가 아주 작으면서도 고성능 컴퓨터를 탑재한 로봇이 가능할까요? 과거엔 작은 로봇에는 작은 컴퓨터만 달 수 있었습니다. 말 그대로 물리적 한계였죠. 하지만 클라우드가 로봇의 두뇌 역할을 대신한다면, 로봇의 크기와 무관하게 지능이 아주 뛰어난 로봇도 만들 수 있습니다. 서비스 로봇 대중화를 위한 기술 네이버랩스는 사람들이 살아가는 물리적 공간과 조응하며 정보와 서비스를 자연스럽게 제공하는 생활환경지능 (ambient intelligence) 기술들을 연구하고 있습니다. 서비스 로봇도 이를 위한 핵심 플랫폼입니다. 그리고 5G와 클라우드 기술은 서비스 로봇 대중화를 위한 중요한 해법이 됩니다. 앞서 CES 2019를 통해 네이버랩스와 퀄컴, 양사 엔지니어들이 자존심을 걸고 세계 최초의 5G 브레인리스 로봇 시연이라는 도전적인 과제를 훌륭하게 성공했습니다. 그리고 이번 MWC19에서는 KT, 인텔, 그리고 네이버비즈니스플랫폼과 함께 5G 기반의 서비스 로봇 공동개발 협력을 시작하기로 했습니다. 인텔이 제공하는 다양한 5G 솔루션을 활용해 함께 서비스 로봇을 개발하고, KT의 5G 통신망과 엣지 클라우드 인프라를 활용한 초저지연 환경 하에서 로봇 서비스를 제공하는 그림입니다. 또한 네이버 클라우드 플랫폼이 이 로봇들의 두뇌 역할을 하게 될 것입니다. 각 사의 뛰어난 엔지니어들이 치열하게 머리를 맞대고 나면, 또 한번 흥미로운 일들이 벌어질 것 같습니다. 과거에 상상했던 것을 현재의 기술이 따라잡는 순간은 언제나 짜릿합니다. 앞으로도 훌륭한 파트너들과의 열정적인 협력을 통해 놀라운 결과물들을 만들어 가겠습니다.
