로봇 청소기나 서빙 로봇과 같이 특정 작업에 특화된 로봇뿐만 아니라, 다양한 일상 작업을 스스로 수행하는 로봇이 점차 현실화되고 있다.

업계 소식에 따르면, 4일에 구글 딥마인드가 ‘오토RT’라는 로봇 학습 및 제어 시스템의 연구 결과를 발표했다. 

오토RT는 다양한 환경에서 자율적으로 활동하며 로봇 학습용 데이터를 생성하는 능력을 갖추고 있다. 이로써 생성된 학습 데이터는 로봇 AI 개발의 속도 향상에 기여할 전망이다.

오토RT는 거대언어모델(LLM)과 로봇 제어 모델인 RT-1 및 RT-2를 융합하여 개발됐다. RT-1은 사무실과 주방 등 다양한 환경에서 17개월 동안 13대의 로봇이 활동하며 얻은 데이터를 기반으로 한 모델이다. 

한편, RT-2는 이미지와 언어 정보 학습을 토대로, 복잡한 현실에서도 간단한 명령으로 임무를 수행할 수 있도록 하는 시각-언어-행동(VLA) 모델로 구성되어 있다.

과거의 로봇 제어 방식은 특정한 행동을 수행하도록 프로그래밍하거나 명령을 입력해야 했다. 그러나 RT-2를 적용한 로봇은 “(공 중의) 축구공을 농구공 옆에 놓아라” 또는 “책상에서 떨어지기 쉬운 가방을 집어라”와 같은 일상어 명령을 받아들이고, 로봇의 카메라를 통해 환경을 분석한 후 적절한 행동을 수행할 수 있다.

또 로봇 훈련 데이터에 없는 물체나 행동을 주변 상황에 맞춰 할 수도 있다. 기존에 보지 못한 장난감을 주어도 장난감을 치우라는 명령에 물체가 장난감인지 판단해 반응할 수 있는 것이다. 

딥마인드에 따르면 RT-2는 "(망치가 없는 상황에서) 망치로 쓸 수 있는 것을 고르라"는 명령에 돌멩이를 집어드는 추론 능력도 일부 갖췄다.

이번에 공개된 오토RT는 더 나아가 자율적으로 명령어를 생성한다. 이 시스템은 자율적으로 활동하는 로봇의 초기 모델 성격도 있지만 기본적으로는 로봇 행동 데이터를 생성·수집하는 것이 목적이다.

예를 들어 책상 위에 걸레, 컵, 물병 등이 있는 상황에 오토RT는 로봇 내장 카메라로 상황을 인식한다. 그리고 상황을 분석 후 이 상황에서 발생할 수 있는 "걸레로 책상을 닦는다", "걸레로 컵을 닦는다", "컵에 물병의 물을 담는다" 같은 명령어를 자동 생성한다. 그리고 로봇이 할 수 있는 것, 위험하지 않은 것 등의 기준으로 적절한 명령어를 걸러내고 알아서 실행해 로봇 행동 데이터를 만들어낸다. 

구글의 시연에서는 음식 상자가 널브러진 상황에서 오토RT는 알아서 "상자를 겹쳐 쌓는다"는 명령어를 생성해 시행했다.

이런 과정으로 사람의 개입 없이도 로봇 행동 데이터가 자동적으로 만들어지는 것이다. 자동 생성된 대규모 로봇 행동 데이터는 AI 로봇 개발 속도를 한층 가속시킬 수 있다. 

딥마인드는 7개월동안 오토RT를 여러 환경에서 운용해 7만7000여개의 로봇 데이터 세트를 만들어냈다. 

딥마인드는 자동 생성된 로봇 데이터에 위험한 행동이 포함돼 사람과 로봇 자신에게 위해를 가하는 상황을 막는 안전 규칙도 시스템에 심었다. 안전 규칙에는 △인간에게 해를 끼칠 수 없음 △칼과 같은 날카로운 물체와 상호 작용 금지 △로봇의 허용 한계 이상으로 무거운 물체 조작 금지 등이다. 

구글 딥마인드는 "오토RT는 데이터 수집 시스템인 동시에 자율 로봇의 초기 사례"라며 "향후 더 강력하고 다양한 학습 규칙을 만들고 활용 방법을 연구할 것"이라고 설명했다.