DUSt3R 연구자 제롬 르보(Jérome Revaud)의 이번 인터뷰에서는 Real2Sim (Reality-to-Simulation)과 로보틱스의 미래에 대해 이야기합니다. Real2Sim은 현실 세계를 로봇이 학습할 수 있는 디지털 시뮬레이션 환경으로 옮기는 기술입니다.
그동안 로보틱스 분야는 가상 공간에서 똑똑해진 로봇을 현실로 끌어오는 Sim2Real(Simulation-to-Reality)에 집중해 왔습니다. 하지만 최근에는 현실을 얼마나 빠르고 정확하게 가상 공간으로 옮길 수 있는지가 핵심 과제로 떠오르고 있습니다. 시뮬레이션에서 아무리 많이 학습해도, 그 환경이 현실을 제대로 반영하지 못하면 실제 로봇에 적용할 수 없기 때문입니다.
문제는 이 과정이 매우 복잡하고 시간이 많이 든다는 점이었습니다. DUSt3R는 카메라 정보나 복잡한 전처리 없이 몇 장의 사진만으로 현실 공간을 즉시 3D로 재구성해, 이 병목을 해결할 게임 체인저로 주목받고 있습니다. 제롬 르보에게 그 가능성과 비전을 들어봤습니다.
다음은 제롬 르보와의 인터뷰에서 다룬 주요 내용을 재구성한 것입니다.
현실을 시뮬레이션으로 옮기는 일은 왜 어려운가?
로봇을 학습시키는 매우 강력한 방법 중 하나는 강화학습입니다. 이 방식은 수백만 번의 시행착오를 필요로 하지만, 현실에는 무한한 시간도 무한한 수의 로봇도 존재하지 않기 때문에 모든 시도를 실제 세계에서 반복하는 것은 사실상 불가능합니다. 그래서 연구자들은 시뮬레이션 안에서 로봇을 학습시키기 시작했습니다. 하지만 시뮬레이션에서 학습한 결과가 현실에서도 그대로 적용되기 위해서는 현실과 최대한 유사한 가상 환경이 필요합니다. 이러한 현실과 가까운 시뮬레이션 환경을 구축하기 위한 과정이 바로 Real2Sim입니다.
문제는 이 과정이 생각보다 훨씬 복잡하다는 점입니다. 공간의 3D 형태를 복원해야 하고, 물체의 재질과 외관도 실제와 가깝게 표현해야 합니다. 여기에 더해 현실처럼 움직이고 상호작용하기 위한 물리 파라미터와 물리 엔진, 센서와 액추에이터 모델까지 정확하게 구성해야 합니다. 이 모든 과정은 오랫동안 높은 비용과 오랜 시간이 필요한 과제였습니다.
DUSt3R가 Real2Sim의 병목을 줄이는 방식
DUSt3R는 Real2Sim 과정에서 해결해야 할 세 가지 핵심 난점에 새로운 가능성을 제시합니다.
① 복잡한 과정 없이 현실 공간을 즉시 3D로 생성
첫째는 공간의 3D 형태를 재현하는 것입니다. DUSt3R가 만들어진 목적이기도 하죠. 몇 장의 사진이나 짧은 영상만으로 현실 공간을 정밀하게 3D로 재구성할 수 있습니다. 특히 데이터 수집과 동시에 3D를 생성할 수 있다는 점은 Real2Sim의 중요한 변화를 의미합니다. 기존에는 복잡한 파이프라인과 많은 시간이 필요했지만, DUSt3R는 이 과정의 병목을 크게 줄였습니다.
DUSt3R가 특히 강점을 보이는 부분은 텍스처가 없는 물체의 복원입니다. 흰 테이블처럼 표면 무늬가 없는 물체는 기존 방식으로 복원하기 어려웠습니다. 방대한 데이터로 학습된 DUSt3R는 수많은 테이블을 보며 그 형태를 배웠기 때문에, 시뮬레이션에 바로 활용할 수 있는 3D 구조를 생성할 수 있습니다.
② 형태를 넘어 재질과 외관까지 이해
두 번째는 현실과 가까운 시각적 표현입니다. 로봇은 카메라를 통해 주변 환경을 인식하기 때문에, 시뮬레이션 속 환경 역시 현실과 충분히 유사한 외관을 가져야 합니다.
최근 3D Gaussian Splatting이나 NeRF와 같은 연구를 통해 사실적인 외관을 재현하는 기술은 크게 발전했습니다. 하지만 이러한 접근법은 현실적인 렌더링에는 강점을 보이는 반면, 로봇이 상호작용하기 위해 필요한 정확한 3D 형태를 복원하는 데는 한계가 있습니다. 다시 말해, 지금까지 형태와 외관을 동시에 정확하게 이해하고 표현할 수 있는 하나의 접근법은 없었습니다.
DUSt3R는 형태를 대규모 데이터 학습을 통해 이해했듯, 앞으로는 재질과 반사 특성까지 학습하고 예측하는 방향으로 확장될 수 있습니다. 예를 들어 수많은 테이블 데이터를 학습한 모델은 테이블이 일반적으로 가지는 재질과 표면 특성에 대한 사전 지식을 갖게 됩니다. 이를 통해 로봇이 실제와 가까운 시각 환경에서 학습할 수 있는 더 정교한 시뮬레이션 구축이 가능해질 것입니다.
③ 현실의 물리적 속성까지 디지털화
세 번째는 물리적 속성입니다. 현실과 같은 시뮬레이션을 구현하기 위해서는 정확한 형태와 외관뿐 아니라, 그 안에서 실제와 같은 물리 현상이 일어나야 합니다. 이를 위해서는 질량 분포, 관성, 마찰 계수, 감쇠와 같은 물리적 속성을 모델링해야 합니다.
DUSt3R가 생성하는 수많은 3D 포인트를 현실을 구성하는 작은 원자(atom)처럼 생각하면 이해하기 쉽습니다. 현재는 위치나 물체 종류와 같은 정보를 담고 있으며, 앞으로는 마찰 계수 같은 다양한 속성까지 함께 예측할 수 있습니다.
이렇게 각 3D 포인트가 풍부한 속성을 갖게 된다면, 단순한 공간 복원을 넘어 시뮬레이션에 필요한 물리적 특성까지 담은 더욱 완전한 디지털 세계를 구축할 수 있게 됩니다.
Real2Sim2Real 루프의 완성
현재 많은 로보틱스 연구자들은 DUSt3R와 같은 파운데이션 모델을 Real2Sim 파이프라인에 통합하는 연구를 이어가고 있습니다. 아직 버튼 하나만 누르면 완벽한 시뮬레이션이 생성되는 수준은 아닙니다. 하지만 DUSt3R의 등장으로 현실을 시뮬레이션으로 옮기는 과정이 획기적으로 단순화되면서, Real2Sim2Real 루프의 완성이 점점 가까워지고 있습니다.
이 루프가 완성된다면, 로봇은 거의 비용 없이 대규모로 학습될 수 있습니다. 처음부터 뛰어난 성능의 로봇을 별도의 파인튜닝 없이 바로 배치할 수 있고, 시뮬레이션에서 학습한 어떤 과제든 현실에서도 수행할 수 있게 됩니다.
Real2Sim의 병목이 사라지는 순간, 현실과 시뮬레이션 사이의 경계는 빠르게 허물어질 것입니다. 로봇 학습의 속도는 지금과 비교할 수 없을 정도로 가속되고, 이는 마치 게임의 규칙 자체가 바뀌는 순간과도 같습니다. 로보틱스의 특이점(Singularity for Robotics)이라고 할 수 있습니다. 그리고 지금 우리는 그 변화가 시작되는 출발점에 서 있습니다.