1줄 정의

실세계 수집 없이 시뮬레이션·생성 모델로 만든 학습 데이터. 피지컬 AI·로봇 학습에서 실데이터 한계를 메우는 공급원.

전체 시스템에서 맡는 역할

피지컬 AI 파이프라인에서 합성 데이터가 앉는 자리는 “학습 데이터의 상류”. 실제 로봇·센서에서 딴 데이터가 하류라면, 합성 데이터는 디지털 트윈 이나 생성 모델 쪽에서 쏟아지는, 또 하나의 공급 라인이다.

이 층이 필요한 이유는 물리 세계의 데이터 수집이 본질적으로 무겁기 때문이다.

• 레어 케이스가 모자람 — 라인 정지·파지 실패·부품 틀어짐은 안전 운영의 결과로 오히려 안 생긴다
• 수집 비용이 선형이 아님 — 1,000 패턴 찍는 것과 10,000 패턴 찍는 것은 후자가 거의 비례 이상으로 무거워진다
• 어노테이션 부하 — 실영상을 픽셀 단위로 라벨링하는 건 사람 손에서 병목
• 센서 차이 — 현장이 다르면 광·시야·렌즈·위치가 다 달라서 재활용성이 낮다

합성 데이터는 이 구멍을 메우러 들어온다. 가상 공간에서 “카메라 설정 한 번 바꿔서 100 가지”, “조명 조건을 0.1 초 단위로 전부”, “파지 실패를 일부러 10,000 번” 같은 망라가 먹힌다. 그리고 생성 시점에 라벨이 같이 나오는 게 실무적으로 크다 — 데이터 생성 = 데이터 라벨링을 접어서 처리할 수 있다.

산업 쪽에서는 NVIDIA Omniverse / Isaac Sim 위에 디지털 트윈을 짜고, 거기서 물체 인식·파지·궤적 최적화용 합성 데이터를 뽑아, 파인튜닝 이나 policy 학습으로 흘리는 패턴이 표준화되고 있다. 이 패턴을 “기존 install-base 위에 데이터 공장 한 층을 더 얹은 것” 으로 읽는 게 맞다.

단, 합성 데이터는 혼자서 성립하는 자원이 아니다. 실데이터 소량 + 합성 데이터 대량 의 조합으로 성립한다는 게 전제라서, 합성만으로 닫으려 하면 바로 다음 절 함정에 빠진다.

흔한 오해

• 오해 1: 합성 데이터만 있으면 실데이터는 거의 필요 없다.

– 실제: 합성 데이터는 “실세계 분포의 근사” 일 뿐이고, 조명·센서 노이즈·개체 차이·경년 열화 같은 꼬리가 늘 깎여 있다. 실데이터를 한 방울도 안 섞고 학습하면, 실기에 내리는 순간 sim-to-real 갭에서 성능이 무너진다. 현실 운용에서는 실데이터 소량 + 합성 데이터 대량 으로, 실데이터가 “캘리브레이션용 추” 로 남는 게 기본이다.

• 오해 2: 합성 데이터 = 3D 렌더링.

– 실제: 로봇 입장에서의 합성 데이터는 단순한 3D 이미지로는 모자라다. 물리 거동·접촉 힘·센서 노이즈·타이밍까지 들어간 4D 에 가까운 시계열 데이터가 필요해서, 디지털 트윈 쪽 물리 충실도와 강하게 묶인다. 그림 예쁜가가 아니라 접촉 순간의 힘 감각이 현실과 맞아 있는가 쪽이 학습 결과에 먹힌다.

• 오해 3: 합성 데이터를 늘리면 성능도 선형으로 올라간다.

– 실제: 어느 지점부터는 “합성 데이터를 더 부어도 비슷한 합성 데이터만 늘어나는” 상태로 빠져서 효용이 평평해진다. 그 다음부터는 도메인 랜덤화 범위를 넓히거나 실데이터를 소량 섞거나 로 꺾어야지, 양만 쌓으면 지표가 안 움직인다. “합성 10 배로 늘렸습니다” 라는 주장은 “어떻게 넓혔는지” 와 세트로 읽어야 맞다.

이 용어가 중요한 이유

합성 데이터가 손에 잡히면 로보틱스·자율주행 발표를 읽는 잣대가 바뀐다. 같은 “대량 데이터로 학습했습니다” 라도,

• 그게 install-base 현장의 실운용 로그 에서 온 건지, 가상 공간의 합성 인지
• 실데이터와 합성의 혼합비 는 얼마나 되는지
• 레어 이벤트 (실패·충돌·오인식) 는 실데이터로 채웠는지, 합성으로 보완했는지
• 라벨은 사람 손으로 붙였는지, 생성 시점에 자동으로 붙었는지

를 구분해서 읽을 수 있게 된다. 이걸 못 가르면 “대량 데이터 = 실용성 높음” 으로 오독하게 된다.

실무에서 또 하나 먹히는 점 — 합성 데이터는 피지컬 AI 쪽 비용 구조를 결정하는 부품 이라는 사실. 피지컬 AI 비용을 풀어 보면, 모델 연산보다 데이터 수집·라벨링·캘리브레이션·재수집 루프가 오히려 더 무겁다. 합성 데이터는 이 루프에서 “데이터 수집” 과 “라벨링” 두 항목을 동시에 줄이러 들어오는 부품이다. 그래서 “합성 데이터 씁니까” 가 아니라 어느 공정의 얼마를 합성으로 대체했느냐 로 읽으면, 그 발표가 상용 도입에 얼마나 가까운지가 비친다.

이 용어가 나오는 기사

• 피지컬 AI 학습은 install-base 의 “데이터 공장” 에서 갈린다 (※ 발행 후 실제 URL 로 교체)

다음에 읽을 용어 3개

• 피지컬 AI — 합성 데이터가 가장 살아나는 응용 영역. 실기 학습 비용 구조를 가르는 쪽.
• 디지털 트윈 — 합성 데이터가 태어나는 그릇. 충실도가 합성의 품질을 좌우한다.
• 파인튜닝 — 합성 데이터를 받아 모델 거동으로 떨어뜨리는 후속 공정.