Physical AI는 어떻게 현실 행동을 배우는가

로봇에게 컵을 집으라고 말하는 일은 쉽습니다. 하지만 실제 컵의 위치와 무게, 미끄러운 표면, 가려진 손잡이, 카메라 각도와 조명까지 이해해 안전하게 집게 만드는 일은 완전히 다른 문제입니다. 언어 모델은 인터넷 규모의 텍스트로 배울 수 있었지만, 로봇은 몸으로 겪어야 할 현실을 같은 방식으로 수집하기 어렵습니다.

2026년 Physical AI 경쟁의 핵심이 더 큰 모델 하나가 아닌 학습 순환 전체로 이동하는 이유입니다. 사람의 손동작을 데이터로 바꾸고, 시뮬레이션에서 수천 가지 변형을 만들고, 세계를 공간적으로 이해하고, 실제 기계로 행동한 뒤, 실패를 다시 데이터로 되돌리는 과정이 연결되어야 합니다.

최근 발표들을 한 줄로 놓으면 이 변화가 선명해집니다. Hugging Face와 Pollen Robotics는 2026년 7월 21일 손으로 조작한 동작을 로봇 학습 데이터로 만드는 오픈소스 장치 Grabette를 공개했습니다. NVIDIA는 SIGGRAPH 2026에서 가상 캐릭터와 실제 휴머노이드에 같은 운동 모델을 적용하는 연구와 엣지용 세계 모델을 소개했습니다. Google DeepMind의 Gemini Robotics-ER 1.6은 여러 카메라를 종합해 작업 완료 여부를 판단하고 아날로그 계기를 읽습니다. ABB는 디지털 트윈에서 학습한 산업용 로봇을 실제 생산 라인에 옮기는 파일럿을 진행하고 있습니다.

이 글은 이들을 하나의 로봇 제품으로 묶지 않습니다. 서로 다른 기술이 데이터 → 시뮬레이션 → 추론 → 행동 → 검증이라는 하나의 파이프라인에서 어떤 역할을 맡는지 살펴봅니다.

1단계: 사람의 동작을 로봇 데이터로 바꾼다

로봇 학습의 첫 병목은 모델보다 데이터입니다. 창고, 주방, 공장처럼 환경이 달라질 때마다 필요한 조작 데이터도 달라집니다. 실제 로봇을 원격 조종해 데이터를 모으는 방법은 정확하지만 장비와 숙련자가 필요하고, 다양한 장소에서 대규모로 반복하기 어렵습니다.

Grabette의 접근은 단순합니다. 사람이 카메라와 센서가 달린 휴대용 집게를 들고 컵을 옮기거나 서랍을 여는 동작을 직접 보여줍니다. 두 카메라와 IMU, 집게 상태를 같은 시간축으로 기록한 뒤 SLAM으로 6자유도 궤적을 복원하고, 결과를 표준 LeRobot 데이터셋으로 변환합니다. 공개된 구성 기준으로 휴대용 장치의 부품 비용은 약 490유로, 로봇 팔에 붙이는 대응 집게는 약 120유로입니다.

사람이 센서가 달린 휴대용 집게로 로봇에게 컵을 잡는 동작을 보여주는 장면

중요한 변화는 로봇 없이도 로봇용 시연 데이터를 만들 수 있다는 점입니다. 공개 예시에서는 200개의 컵 잡기 시연으로 정책을 학습해 실제 로봇 팔에서 실행했습니다. 이것은 모든 물체와 환경에 일반화됐다는 증명이 아니라, 데이터 수집의 입구를 값비싼 로봇 실험실 밖으로 넓힌 사례입니다.

데이터가 많아졌다고 자동으로 좋아지는 것은 아닙니다. 카메라 추적이 끊긴 장면, 손이 물체를 가린 장면, 실패한 시연과 편향된 장소가 섞이면 로봇은 그 오류도 함께 배웁니다. 앞으로의 경쟁력은 단순한 시연 개수보다 다음 정보까지 갖춘 데이터에 가까울 것입니다.

어떤 장비와 시점으로 기록했는가
성공과 실패를 어떻게 판정했는가
힘, 속도와 접촉 상태가 포함됐는가
재사용 가능한 좌표계와 형식인가
위험하거나 비정상적인 장면을 구분할 수 있는가

2단계: 현실에서 겪기 어려운 상황을 가상 세계에서 늘린다

현실 데이터만으로는 긴 꼬리 상황을 충분히 모으기 어렵습니다. 조명이 갑자기 어두워지거나, 상자가 예상과 다르게 쌓이거나, 바닥 마찰이 달라지는 경우를 실제 공장에서 수천 번 재현하는 것은 느리고 위험합니다. 그래서 Physical AI는 디지털 트윈과 합성 데이터로 학습 공간을 확장합니다.

시뮬레이션에서는 같은 동작을 카메라 위치, 물체 재질, 조명, 장애물과 물리 조건을 바꾸며 반복할 수 있습니다. 로봇이 현실에서 실패하기 전에 가상 환경에서 실패하게 만드는 것입니다. NVIDIA는 2026년 SIGGRAPH 자료에서 눈, 모래, 탄성체처럼 다루기 어려운 재료의 물리를 더 현실적으로 계산하는 연구와, 35만 개가 넘는 동작 클립으로 학습한 MotionBricks를 공개했습니다. 같은 운동 표현이 화면 속 캐릭터와 실제 휴머노이드 제어에 이어지는 장면은 그래픽 시뮬레이션과 로봇 학습의 경계가 흐려지고 있음을 보여줍니다.

하나의 로봇 기술을 다양한 물체와 환경에서 반복 학습시키는 합성 데이터 공장

세계 모델도 이 단계에서 중요해집니다. 세계 모델은 지금 보이는 장면만 분류하는 대신, 행동했을 때 다음 상태가 어떻게 변할지 예측하려 합니다. NVIDIA가 공개한 Cosmos 3 Edge는 텍스트·이미지·영상·주변 소리·행동을 함께 다루도록 설계된 40억 파라미터 모델로, 엣지 장치에서 물리 환경을 분석하고 로봇 행동 정책에 연결하는 것을 목표로 합니다.

하지만 합성 데이터는 현실의 대체물이 아닙니다. 시뮬레이터가 모르는 마찰, 센서 노이즈, 케이블의 휘어짐과 사람의 예측 불가능한 움직임은 가상 세계에도 나타나지 않습니다. 좋은 전략은 현실 데이터를 씨앗으로 삼아 가상 변형을 만들고, 실제 배치 결과로 다시 시뮬레이터를 교정하는 것입니다.

3단계: 로봇이 보고, 가리키고, 완료 여부를 판단한다

학습 데이터와 시뮬레이션이 있어도 로봇은 현재 상황을 이해해야 합니다. 언어 지시를 작은 행동으로 나누고, 여러 카메라에서 같은 물체를 찾고, 어디를 잡을지 정하고, 실제로 작업이 끝났는지 판단하는 능력이 필요합니다. 이 영역을 embodied reasoning, 즉 신체를 가진 시스템의 공간·물리 추론이라고 부릅니다.

Gemini Robotics-ER 1.6은 직접 모터 명령을 만드는 단일 로봇 두뇌라기보다 상위 추론 계층에 가깝습니다. 이미지·영상과 지시를 받아 물체 위치를 점으로 표현하고, 이동 경로와 집기 지점을 찾고, VLA 모델이나 사용자 도구를 호출할 수 있습니다. 여러 카메라의 장면을 결합해 펜이 실제로 홀더 안에 들어갔는지 판정하는 성공 감지 기능도 강조됐습니다.

검사 로봇이 여러 시점의 정보를 결합해 아날로그 계기와 설비 상태를 이해하는 장면

가장 현실적인 예는 계기 판독입니다. 공장에는 원형 압력계, 액면계와 디지털 표시기가 혼재합니다. 모델은 바늘과 눈금, 카메라 원근을 구분하고 여러 단계를 거쳐 값을 추정해야 합니다. Google DeepMind가 공개한 자체 평가에서 agentic vision을 사용한 Robotics-ER 1.6은 계기 판독 성공률 93%를 기록했습니다. 이 수치는 Google이 구성한 평가 결과이며 모든 현장 조건을 대표하지 않습니다.

더 중요한 경고는 모델 카드에 있습니다. Google은 이 모델을 의료·운송처럼 오작동이 사망, 부상 또는 재산 피해로 이어질 수 있는 안전 중요 작업에 사용하지 말고, 생산·상업·공공 환경에서는 신중하게 판단하라고 명시합니다. 벤치마크가 높아져도 물리 행동에는 별도의 안전 계층과 사람의 책임이 필요합니다.

4단계: 가상에서 배운 행동을 실제 기계로 옮긴다

시뮬레이션에서 성공한 로봇이 현실에서도 똑같이 움직인다는 보장은 없습니다. 카메라 렌즈, 모터 지연, 부품 공차, 마찰과 진동의 작은 차이가 누적되기 때문입니다. 이를 sim-to-real gap이라고 합니다.

ABB의 RobotStudio HyperReality는 NVIDIA Omniverse 기반 시뮬레이션과 실제 로봇에 쓰이는 것과 같은 펌웨어의 가상 컨트롤러를 결합합니다. ABB는 Foxconn의 전자제품 조립 파일럿에서 가상 학습에서 실제 배치까지 최대 99% 정확도를 주장하고 있으며, 설정 시간과 비용 절감 수치도 제시했습니다. 다만 이는 ABB가 발표한 특정 제품과 파일럿의 성과로, 서로 다른 공장과 작업에 그대로 적용되는 독립적인 일반 성능 수치로 해석하면 안 됩니다.

디지털 트윈과 실제 산업용 로봇의 움직임을 일치시키며 안전하게 배치 전 검증하는 장면

실전 검증은 평균 성공률보다 실패 경계를 찾는 작업에 가깝습니다.

속도와 힘을 낮춘 격리 환경에서 시작합니다.
물체 위치, 조명과 마찰을 의도적으로 바꿉니다.
센서 끊김과 통신 지연 같은 고장을 주입합니다.
로봇이 멈추고 사람에게 넘겨야 하는 조건을 확인합니다.
실제 실패를 재현 가능한 시뮬레이션 사례로 되돌립니다.

로봇이 한 번 성공하는 것보다, 실패했을 때 안전하게 멈추고 원인을 학습 데이터로 남기는 능력이 더 중요합니다.

5단계: 행동 결과를 다시 데이터로 돌려보낸다

Physical AI의 진짜 자산은 특정 모델 하나가 아니라 닫힌 학습 순환입니다.

사람의 시연 → 실제 데이터 → 가상 변형 → 공간 추론 → 로봇 행동 → 안전 평가 → 새로운 데이터

이 순환이 빠를수록 새로운 물체와 환경에 적응하는 비용이 낮아집니다. 반대로 각 단계가 별도 공급사와 포맷에 갇히면 데이터가 이동하지 못하고, 실패 원인이 모델인지 센서인지 제어기인지 구분하기 어려워집니다. Grabette가 표준 LeRobot 형식을 강조하고, 산업계가 OpenUSD 기반 디지털 트윈을 채택하며, 모델이 도구 호출 인터페이스를 제공하는 흐름은 이 연결 비용을 낮추려는 움직임입니다.

Physical AI 도입 전에 확인할 8가지

업무 범위: 한 문장으로 정의할 수 있는 반복 작업인가
데이터 권리: 촬영된 작업자, 장소와 제품 데이터의 사용 권한이 있는가
실패 데이터: 성공뿐 아니라 실패와 중단 사례도 기록하는가
시뮬레이션 차이: 현실에서만 나타나는 물리 조건을 측정하는가
성공 감지: 로봇 스스로 완료를 선언한 결과를 별도 센서로 검증하는가
안전 경계: 속도, 힘, 작업 공간과 사람 접근 규칙이 모델 밖에서 강제되는가
복구 가능성: 통신 단절과 잘못된 행동에서 안전 상태로 돌아갈 수 있는가
회귀 평가: 모델·카메라·그리퍼가 바뀔 때 이전 작업을 다시 시험하는가

로봇의 ChatGPT 순간은 모델 하나로 오지 않는다

범용 로봇이 갑자기 모든 집과 공장에 등장하는 장면은 매력적이지만, 실제 진전은 더 조용한 곳에서 일어나고 있습니다. 시연 데이터를 더 싸게 모으고, 가상 세계에서 더 많은 실패를 경험시키고, 여러 시점에서 완료 여부를 판단하고, 실제 배치 전에 위험을 검증하는 도구들이 서로 연결되고 있습니다.

2026년의 중요한 변화는 로봇이 사람처럼 생각하게 됐다는 선언이 아닙니다. 현실을 데이터로 바꾸고, 데이터에서 행동을 만들고, 행동의 결과를 다시 학습으로 돌리는 산업적 방법이 구체화되고 있다는 것입니다.

앞으로 가장 강한 Physical AI 팀은 가장 큰 모델을 가진 팀이 아닐 수 있습니다. 현실과 시뮬레이션 사이의 차이를 가장 빨리 발견하고, 실패를 가장 안전하게 수집하며, 그 경험을 다음 배치에 재사용하는 팀일 가능성이 큽니다.

참고한 공식 자료

제품 성능과 비용 절감 수치는 각 회사가 공개한 평가 또는 사례에 기반합니다. 실제 결과는 로봇, 센서, 작업 환경과 안전 통제에 따라 달라질 수 있으므로 도입 전 독립적인 현장 검증이 필요합니다.