YEYETILCraftsPostsAbout

[TIL] 월드 모델(World Model)이란

2026. 06. 28.Yeji Kim
AI

AI 쪽에서 월드 모델(world model)이라는 말이 자주 보인다. Sora를 world simulator라고 부르고, 얀 르쿤(Yann LeCun)은 LLM 다음 단계로 월드 모델을 꼽는다. 도대체 이게 뭔지, 왜 중요하다는 건지 조사해서 정리해봤다.

월드 모델이란 - 머릿속 시뮬레이터

한 줄로 말하면 세상이 어떻게 흘러갈지를 예측하는, AI 내부의 모델이다.

사람은 행동하기 전에 머릿속으로 결과를 그려본다. 컵을 밀면 떨어질 것 같으면 멈춘다. 실제로 떨어뜨려 보지 않아도 안다. 이렇게 지금 상태에서 이 행동을 하면 다음에 무슨 일이 벌어질까를 내부에서 시뮬레이션하는 능력, 그걸 AI에 옮긴 게 월드 모델이다.

핵심 질문은 항상 하나다. 현재 상태 + 행동 → 다음 상태는?

이걸 학습해두면, AI는 실제 세계에서 일일이 시도해보지 않고도 머릿속(latent space)에서 미리 굴려보고 좋은 행동을 고를 수 있다.

기존 LLM이랑 뭐가 다른가

그냥 LLM한테 세상에 대한 데이터를 잔뜩 학습시킨 거랑 뭐가 다른데?

  • LLM = 세상에 대한 글을 엄청 많이 읽은 사람. 사과를 손에서 놓으면 떨어진다는 문장을 수없이 봐서, 다음에 올 말을 귀신같이 잘 잇는다. 하지만 배운 건 세상 자체가 아니라 사람들이 세상에 대해 써놓은 말(텍스트) 이다. 즉 간접 경험이다.
  • 월드 모델 = 사과를 직접 놓아보고 떨어지는 걸 눈으로 본 사람. 영상·센서로 세상을 직접 관찰해서 내가 이렇게 하면 저렇게 된다는 걸 익힌다. 직접 경험이다.

표로 정리하면 이렇다.

LLM월드 모델
예측 대상다음 단어(토큰)내 행동 다음의 세상 상태
학습 데이터사람이 쓴 텍스트 (세상의 묘사)영상·센서·직접 경험 (세상 자체)
핵심 질문다음에 무슨 말이 올까내가 X하면 세상이 어떻게 변할까
잘하는 것그럴듯한 말 잇기결과 예측 · 계획

가장 결정적인 한 끗은 입력에 행동(action)이 들어간다는 점이다. LLM은 그냥 다음을 예측하지만, 월드 모델은 내가 이 행동을 하면 다음이 어떻게 되는지를 예측한다. 그래서 ~하면 ~된다는 인과관계(causality) 를 다룰 수 있다.

그래서 질문(LLM에 세상 시뮬레이션을 학습시킨 거랑 뭐가 달라?)에 답하면 - 차이는 도구(모델 구조)가 아니라 무엇을, 어떤 목표로 배우느냐에 있다. 텍스트 대신 세상 관측으로, 다음 단어 대신 행동 → 다음 상태를 배우게 하면 그게 곧 월드 모델 쪽으로 가는 것이다. 실제로 요즘은 둘의 경계가 점점 흐려지는 중이다(영상 생성 모델, 멀티모달 모델 등).

그럼 무엇으로 만들어지나 - 신경망 부품 구성

동작 원리 자체가 다른 기계인가? 싶을 수 있는데, 사실 둘 다 똑같이 신경망(neural network)으로 만든다. 신경망을 딱 한 줄로 줄이면 이렇다.

숫자를 넣으면 숫자가 나오는 거대한 함수. 그 안에 조절 가능한 손잡이(가중치)가 수십억 개 있고, 훈련(학습)이란 이 손잡이를 정답에 맞게 돌리는 일이다.

이걸로 충분하다. LLM도 월드 모델도 이 신경망을 부품 삼아 조립한 것이라, 완전히 다른 종류의 기계가 아니다. 어떻게 조립했는지만 다르다.

LLM의 조립

  • 글자를 숫자로 바꾼다 (단어 → 토큰 → 벡터)
  • Transformer라는 신경망이 [앞 단어들] → [다음 단어 확률]을 계산
  • 들어가는 것: 앞 문장 / 나오는 것: 다음 단어

월드 모델의 조립 (보통 신경망 부품 2~3개를 이어 붙인다)

  • 인코더(신경망): 이미지/관측 → 압축된 숫자 묶음 z (= 잠재 상태)
  • 예측기(신경망): (z + 내 행동) → 다음 z'
  • (선택) 디코더(신경망): z → 다시 이미지로 복원해 보여주기
text
[LLM]        앞 단어들  ─▶ (Transformer) ─▶ 다음 단어
 
[월드 모델]  이미지 ─▶(인코더)▶ z ─(+행동)▶(예측기)▶ 다음 z' ─▶(디코더)▶ 다음 이미지

즉 같은 레고 블록(신경망)으로 다른 걸 조립한 것이다. 동작 원리(신경망이 숫자를 곱하고 더하는 것) 자체는 같고, 다른 건 설계도 - ① 뭘 넣고 뭘 내보내는지, ② 뭘 맞히도록 훈련하는지뿐이다. 특히 월드 모델은 입력에 행동(action)이 끼어든다는 게 결정적이다.

LLM월드 모델
재료신경망신경망 (같음!)
들어가는 것단어들관측(이미지) + 행동
나오는 것다음 단어다음 상태 z'
부품 구성보통 Transformer 한 덩어리인코더 + 예측기 (+디코더)
훈련 목표다음 단어 맞히기행동 후 다음 상태 맞히기

상상으로 연습하다

행동하는 AI(에이전트)를 훈련시키는 강화학습(RL) 을 예로 들면 월드 모델의 가치가 뚜렷이 보인다. 여기 나오는 model-free / model-based는 앞에서 본 LLM vs 월드 모델과는 다른 축이다. 에이전트가 월드 모델을 쓰느냐 마느냐의 차이다.

text
헷갈리지 말 것 - 이건 서로 다른 축이다
  축 1 : LLM        vs 월드 모델      → 모델의 종류 (뭘 예측하나)
  축 2 : model-free vs model-based    → 에이전트가 월드 모델을 쓰나 마나

즉 model-based의 모델이 곧 월드 모델이다. 이 절은 월드 모델이 있으면 뭐가 좋은지를 RL이라는 예시로 보여주는 셈이다.

  • 모델 없이(model-free) - 월드 모델 없이 무작정 행동해보고 보상으로 배운다. 실제 시행착오가 엄청 많이 필요하다(샘플 비효율).
  • 모델 기반(model-based) - 환경의 작동 방식, 즉 월드 모델을 먼저 만들어두고 그 안에서 상상으로 수천 번 연습한다. 실제 시도는 훨씬 적게 든다.
text
model-free :  실제 환경에서 직접 부딪힘 → 느리고 비쌈
model-based:  월드 모델 안에서 상상으로 굴림 → 빠르고 안전

장점이 분명하다.

  • 샘플 효율 - 실제 경험 적게 쓰고도 학습
  • 계획(planning) - 여러 미래를 미리 굴려보고 제일 나은 길 선택
  • 안전 - 위험한 행동을 실제로 해보지 않고 모델 안에서 검증

핵심 원리 - 픽셀 말고 잠재 공간에서 예측한다

여기가 월드 모델의 가장 중요한 아이디어다. 그런데 그전에 짚을 게 있다. 월드 모델의 입력(관측)은 보통 게임 화면이나 카메라 영상 같은 이미지다. 그럼 다음 상태 예측이 곧 다음 화면(이미지) 예측이 되는데 - 이걸 픽셀 단위로 통째 예측하려 들면 안 된다.

왜냐하면 픽셀에는 결정에 쓸모없는 디테일(잎사귀 하나하나, 노이즈)이 너무 많고, 미래는 본질적으로 불확실해서 정확한 픽셀 예측은 사실상 불가능하다. 그래서 현대 월드 모델은 입력을 추상적인 표현(latent representation)으로 압축한 뒤, 그 표현 공간에서 다음 상태를 예측한다.

text
관측(이미지/영상)
   │  인코더로 압축
   ▼
잠재 상태 z  ──(행동 a와 함께)──▶  다음 잠재 상태 z'  예측
                                      ↑ 여기서 예측이 일어남

중요한 것만 남기고, 그 위에서 다음 장면을 추론한다. 이게 픽셀 생성 모델과 월드 모델을 가르는 지점일 듯 하다.

그럼 현실 세계를 도대체 어떻게 아나?

여기서 자연스럽게 드는 의문. 모델이 현실 세계를 어떻게 안다는 거지? 마법은 없다. 엄청난 양의 데이터로 다음을 맞히는 연습을 끝없이 반복하면서 배운다.

게임 화면, 유튜브 같은 영상, 로봇 센서 기록 같은 걸 잔뜩 주고 바로 다음 장면(상태)을 맞혀보라고 무한히 시킨다. 그런데 다음 장면을 잘 맞히려면, 모델은 어쩔 수 없이 세상의 규칙을 스스로 터득해야 한다.

  • 물건은 갑자기 사라지지 않는다
  • 던진 공은 포물선을 그린다
  • 무언가에 잠깐 가려졌다 나타나도 같은 물체다

이런 규칙을 모르면 다음 장면을 못 맞히니까, 잘 예측하려고 애쓰다 보면 규칙이 저절로 머릿속에 생긴다. 즉 예측이 곧 학습 장치인 셈이다. 앞에서 본 잠재 공간(latent space)이 바로 이렇게 터득한 규칙이 담기는 곳이다.

정답을 따로 가르치는 게 아니라, 다음을 맞히게 시키면 → 세상의 작동 원리가 부산물로 학습된다.

이게 억지 주장이 아니라는 증거가 뒤에 나오는 Othello-GPT 실험이다.

계보 - 어떻게 발전해왔나

조사하면서 흐름을 따라가 보니 대략 이렇다.

연구핵심 아이디어
Ha & Schmidhuber, World Models (2018)VAE로 화면 압축(V) + RNN으로 다음 잠재 예측(M) + 작은 컨트롤러(C). 에이전트를 모델의 꿈(dream) 안에서 학습
Dreamer (Hafner, 2020~)잠재 동역학 모델을 배우고, 상상한 잠재 궤적만으로 행동(actor-critic)을 학습. model-based RL의 대표
JEPA (LeCun, 2022~)픽셀 복원 대신 표현 공간에서 예측. 자율 기계 지능의 핵심을 월드 모델로 봄. I-JEPA / V-JEPA
Sora (2024)영상 생성 모델을 world simulator로 규정. 영상을 잘 만들려면 물리·세계의 규칙을 어느 정도 학습해야 한다는 관점
Genie (DeepMind, 2024)라벨 없는 인터넷 영상에서 조작 가능한(playable) 가상 환경을 생성. 행동(action)까지 잠재로 학습

큰 줄기는 꿈에서 연습(2018) → 잠재에서 계획(Dreamer) → 표현에서 예측(JEPA) → 세계를 생성·시뮬레이션(Sora/Genie) 으로 점점 야심차지는? 모양새다.

그리고 최근엔 이게 연구를 넘어 제품으로 나오고 있다. 엔비디아 Cosmos(자율주행·로봇용), 페이페이 리(Fei-Fei Li)의 World Labs, 딥마인드 Genie 계열처럼 물리 세계를 시뮬레이션하는 모델이 대표적이다. 한 발 더 나아가 사람의 행동·시장·여론 같은 사회 세계를 시뮬레이션하려는 시도(가령 가격을 10% 올리면 전환율이 어떻게 될까 같은 질문)도 막 시작되는 중이다.

text
물리 세계 모델 : 물리·공간의 규칙 (운전, 로봇, 게임)  - 이미 제품화 단계
사회 세계 모델 : 사람·시장·여론의 움직임            - 이제 막 시작된 분야

LLM도 월드 모델을 갖고 있을까?

앞에서 LLM과 월드 모델을 갈라놨지만, 흥미롭게도 LLM이 은근슬쩍 월드 모델 비슷한 걸 품고 있을지도 모른다는 연구가 있다. 다음 토큰 예측만 하는 LLM이 내부에 세계의 모델을 갖느냐는 의문이다.

유명한 실험이 Othello-GPT(2023) 다. 오델로 기보(수순)만 학습시킨 GPT의 내부를 들여다봤더니, 명시적으로 가르친 적 없는데도 실제 보드판 상태를 표현하는 내부 구조가 생겼다. 게다가 그 표현을 인위적으로 바꾸면 모델의 예측도 따라 바뀌었다. 즉 단순 통계 암기가 아니라 암묵적인 세계 모델을 만든 정황이다.

다만 반론도 있다. 텍스트만으로 배운 세계 모델은 물리·공간에 접지(grounding) 가 약하고, 일관성이 깨지기 쉽다. 르쿤이 진짜 지능엔 LLM 너머의 월드 모델이 필요하다고 말하는 이유이기도 하다.

한계와 열린 질문

  • 오차 누적(compounding error) - 예측을 예측에 또 넣어 길게 굴리면 작은 오차가 눈덩이처럼 커진다
  • 불확실성 - 미래는 하나가 아닌데, 모델이 평균만 그리면 흐릿해진다
  • 접지와 평가 - 모델이 세계를 진짜 이해하는지, 그저 그럴듯하게 흉내 내는지 구분·측정하기 어렵다

정리

text
월드 모델 = (현재 + 행동 → 다음)을 예측하는 내부 시뮬레이터
원리      = 픽셀이 아니라 잠재 표현 공간에서 미래를 예측
효과      = 상상으로 연습 → 샘플 효율 · 계획 · 안전
지향점    = 실제로 해보지 않고도 결과를 아는, 더 사람 같은 지능

월드 모델을 한 문장으로 줄이면 실제로 해보기 전에 머릿속에서 먼저 굴려보는 능력을 AI에 주는 것 이다. RL의 샘플 효율 문제를 푸는 도구로 출발했지만, 지금은 LLM의 한계를 넘어 세계를 이해하는 지능으로 가는 길로 거론되는 중이라 계속 지켜볼 만한 것 같다.

레퍼런스