6. 강화학습이란?
- date
- 2월 21, 2026
- status
- Public
- tags
- unrealRL
1. 소개#
- 강화학습을 적용하기 전에 강화학습을 배운 지가 너무 오래되어서 여러 웹 문서을 뒤져가면서 내가 알기 쉽게 간략하게 기초 정리를 해보면서 복습을 해보고자 한다.
- 수식도 따로 적지 않고 개념적인 설명을 이해하기 쉽게 적어보자
2. 강화학습 알고리즘 전체 분류 체계#
2.1. 분류 체계#
강화학습은 아주 단순하게 말하면:
어떤 상태에서 행동을 했더니 보상을 받았고,
보상을 더 많이 받는 행동을 스스로 찾도록 학습하는 방식
예를 들어서 우리가 사용할 거미 로봇에 대입을 해보면,
상태(State) - 몸체가 얼마나 기울었는가 - 관절 각도가 어떠한가 - 앞으로 얼마나 움직였는가 행동(Action) - 각 관절을 어느 방향으로 얼마나 움직일까 보상(Reward) - 앞으로 가면 + - 넘어지면 - - 너무 흔들리면 -이걸 수없이 반복하면서 “이런 상태에서는 이런 관절 움직임이 유리하구나”를 학습하는 것이다.
이런 강화학습도 여러 가지 분류 축에 따라 다양한 방식으로 세분화가 되는데,
분류 축 질문 1. 무엇을 학습하나? 가치? 정책? 둘 다? 환경 모델? 2. 환경 모델을 쓰나? Model-free vs Model-based 3. 어떤 데이터로 학습하나? Online vs Offline 4. 현재 정책 데이터만 쓰나? On-policy vs Off-policy 5. 에이전트가 하나인가? Single-Agent vs Multi-Agent 6. 문제를 계층적으로 푸나? Flat RL vs Hierarchical RL 7. 보상을 직접 주나? Reward-based vs Preference / Human Feedback 8. 무엇과 결합되나? Imitation, World Model, Foundation Model, Diffusion 등 로 분류를 할 수 있겠다.이를 다시 세분화 해서 살펴 보면,
전체 지도
Reinforcement Learning ├─ A. Model-Free RL │ ├─ A-1. Value-based │ ├─ A-2. Policy-based │ └─ A-3. Actor-Critic │ ├─ B. Model-Based RL │ ├─ B-1. Known Model Planning │ ├─ B-2. Learned Dynamics Model │ ├─ B-3. Planning + Policy Learning │ └─ B-4. World Model RL │ ├─ C. Data Regime │ ├─ Online RL │ ├─ Offline RL │ └─ Offline-to-Online RL │ ├─ D. Policy Update Regime │ ├─ On-policy │ └─ Off-policy │ ├─ E. Extended Paradigms │ ├─ Hierarchical RL │ ├─ Multi-Agent RL │ ├─ Meta-RL / Continual RL │ ├─ Safe / Constrained RL │ ├─ Imitation Learning + RL │ └─ Preference / Human Feedback RL보통 실무에서는 한 알고리즘이 이 분류들의 여러 항목에 속하는 경우가 많다고 한다.
예를 들어,
- PPO = Model-free
- Policy Optimization
- Actor-Critic 구현이 일반적
- On-policy
- Online RL
- SAC = Model-free
- Actor-Critic
- Off-policy
- Online RL
- CQL = Model-free
- Value / Actor-Critic 계열
- Offline RL
- Dreamer = Model-based
- World Model
- Actor-Critic 계열 정책 학습
로 분류된다.
3.1. 강화학습 방식의 큰 분류#
강화학습 알고리즘은 매우 많지만, 큰 관점에서는 보통 아래 네 흐름으로 이해할 수 있다.
- A.Model-Free RL
- Value-based
- Policy-based
- Actor-Critic
- Model-based RL
다만 2026년 로봇 제어 관점에서는 이 네 가지가 완전히 독립적으로 따로 쓰인다기보다,
- 연속 관절 제어에는
Policy-based또는Actor-Critic - 실제 로봇의 샘플 효율성과 안정성에는
Model-based RL및 하이브리드 방식 - 단순한 선택형 행동 문제에는
Value-based
처럼 문제 성격에 따라 중심축이 달라진다고 보는 편이 정확하다. 최근 로봇 강화학습 리뷰들도 실제 로봇 제어에서는 model-free, model-based, hierarchical, hybrid 방식이 함께 연구되고 있으며, 특히 보행 로봇 분야에서는 학습 기반 제어와 전통적인 모델 기반 제어를 섞는 구조가 중요한 흐름이라고 정리한다.
3.1.1. A. Model-Free RL : 직접 행동해 보고 받은 보상으로 학습#
핵심 아이디어#
Model-free RL은 환경이 어떻게 돌아가는지 자체는 직접 모델링하지 않고, 직접 행동해 보고 받은 보상을 바탕으로:
- 가치 함수
- 정책
- 또는 둘 다
를 학습
환경의 내부 법칙을 만들지는 않음
대신:
상태 → 행동 → 보상
경험을 많이 쌓아 행동을 개선3.1.2. Value-based: “각 행동의 가치를 비교해서 가장 좋은 행동을 고름”#
핵심 아이디어#
현재 상태에서 가능한 행동 각각이 얼마나 좋은 결과를 가져올지를 수치로 평가 후, 그중 가장 가치가 높은 행동을 선택
이때 학습하는 것이 보통 가치 함수(Value Function) 또는 Q 함수(Q-Function)
정책을 직접 출력하기보다, 각 상태 또느 상태-행동 쌍의 가치(Value)를 학습
대표 표현
- 상태 학습
V(s)- 현재 상태
s가 얼마나 좋은 상태인가? - 상태-행동 쌍 학습
Q(s, a)- 현재 상태
s에서 행동a를 하면 얼마나 좋은가?
s: 현재 상태(State)a: 가능한 행동(Action)Q(s, a): 현재 상태에서 그 행동을 했을 때 기대되는 장기 보상
즉,
“지금 이 상황에서 A 행동을 하는 게 좋은가, B 행동을 하는 게 좋은가?”
를 비교하는 방식
예시#
게임 캐릭터가 적을 만났다고 해보자.
입력 상태:
- 적과의 거리
- 내 체력
- 총알 수
가능한 행동:
- 공격
- 회피
- 도망Value-based 방식은 각 행동에 대해 점수를 매긴다.
Q(현재상태, 공격) = 0.72
Q(현재상태, 회피) = 0.91
Q(현재상태, 도망) = 0.35그러면 가장 점수가 높은:
회피를 선택
대표 알고리즘#
- Q-Learning
- DQN Deep Q-Network
- Double DQN
- Dueling DQN
- Rainbow DQN
- Distributional RL 계열
DQN은 딥러닝을 이용해 Q 함수를 근사한 대표적 방식이고, 이후 안정성과 성능을 개선한 여러 확장 방식이 나왔다. 다만 최근 로봇 보행처럼 연속적인 실수값 행동을 다루는 문제에서는 Value-based 단독 방식이 중심은 아니다.
장점#
- 행동 후보가 명확한 문제에 강함(이산적 행동 후보)
- 문제 구조가 직관적
- “어떤 선택이 더 가치 있는가”를 비교하는 문제에 잘맞음
- 액션이 이산적일 때 구현이 상대적으로 명확
- 게임 AI, 보드게임, 메뉴 선택, 상태 기반 의사결정 등에 잘 맞음
단점#
- 행동이 많아질수록 계산 부담이 커짐
- 액션이 연속값(연속 행동)이면 적용이 매우 까다로움
- 거미 로봇처럼
관절1 = 0.37
관절2 = -0.18
관절3 = 0.92
...처럼 매 프레임 수많은 실수 행동을 동시에 출력해야 하는 문제에는 직접 쓰기 어려움
왜 어렵지?
관절 8개가 있고 각 관절이 -1.0 ~ 1.0의 연속값을 가진다면, “행동 후보 목록” 자체가 사실상 무한 → 이 경우
Q(s, a)를 전부 비교해 가장 좋은a를 고르는 방식이 현실적으로 어려
거미 로봇 학습과의 관계#
우리 거미 로봇은 각 관절에 대해 연속적인 제어값을 출력해야 함
앞왼쪽 Hip 관절 목표 각도 = 0.41
앞왼쪽 Knee 관절 목표 각도 = -0.26
...이런 문제는 “가능한 행동 목록 중 하나 고르기”가 아니라,행동 벡터 전체를 실수값으로 생성해야 하기 때문에, 순수 Value-based 방식은 거미 로봇 보행의 주력 방식으로는 적합하지 않음
다만 상위 의사결정 단계에서는 여전히 활용할 수 있다.
예를 들면:
고수준 행동 선택:
- 직진 모드
- 회전 모드
- 정지 모드
- 공격 자세 모드같은 이산적 전략 선택에는 Value-based 접근이 가치가 있음
2026년 기준 의미#
2026년 로봇 제어 분야에서 Value-based RL은 저수준 관절 제어의 주류라기보다는,
다음과 같은 문제에 더 어울린다.
- 이산 행동 선택
- 고수준 전략 결정
- 계층형 강화학습의 상위 정책
- 이동 경로, 스킬 선택, 모드 전환
반면 다리 로봇의 실제 모터 제어, 관절 토크, 목표 각도 제어는 대체로 Policy-based나 Actor-Critic 계열이 중심이다. 최근 다족·이족 로봇 강화학습 리뷰도 실제 locomotion 제어는 model-free policy optimization, actor-critic, hybrid control이 핵심 축이라고 정리한다.
3.1.3. Policy-based: “행동하는 법 자체”를 배움#
핵심 아이디어#
- 상태를 넣으면 곧바로 행동을 출력하는 함수, 즉 정책(Policy) 을 직접 학습
- “각 행동의 점수”를 먼저 다 계산하는 것이 아니라,현재 상태에서 어떤 행동을 해야 하는지 자체를 바로 출력
보통 아래처럼 표현
π(a | s)s: 현재 상태a: 행동π(a | s): 현재 상태에서 어떤 행동을 선택할 정책
또는 단순히
상태 → 행동예시#
입력:
- 몸체 기울기
- 관절 각도
- 속도
- 목표 방향
출력:
- 앞왼쪽 Hip +0.3
- 앞왼쪽 Knee -0.2
- 앞오른쪽 Hip +0.1
- 뒤왼쪽 Knee +0.6
...즉, 정책 네트워크는 로봇이 현재 처한 상황을 보고, “이 순간 관절들을 어떻게 움직일지”를 직접 출력한다.
대표 알고리즘#
- REINFORCE
- Natural Policy Gradient
- TRPO
- PPO
이 중 PPO(Proximal Policy Optimization) 는 정책을 너무 급격하게 바꾸지 않도록 제한하면서 학습 안정성을 확보한 방식으로, 오랫동안 연속 제어와 물리 기반 캐릭터 제어에서 널리 사용되어 왔다.
장점#
- 연속 행동 제어에 적합
- 관절 토크, 목표 각도, 모터 출력처럼 실수값 action을 직접 다룸
- 로봇, 드론, 물리 기반 캐릭터 제어와 궁합이 좋음
- 행동 차원이 커져도 Value-based보다 자연스럽다
단점#
환경에서 많은 시행착오 데이터를 요구하는 편
학습 분산이 크고 불안정할 수 있음
좋은 보상 설계가 매우 중요
“목표를 달성하기만 하면 된다”는 식의 이상한 편법 행동을 찾을 수 있음
예시)
걷는 보상만 줬더니 다리를 예쁘게 교대로 쓰는 대신 몸통을 바닥에 비비며 미끄러져 앞으로 감
거미 로봇 학습과의 관계#
거미 로봇은
8개,12개,16개이상의 관절 action을 동시에 다뤄야 할 수 있다.예를 들어:
Action Vector = [ FL_Hip, FL_Knee, FR_Hip, FR_Knee, BL_Hip, BL_Knee, BR_Hip, BR_Knee ]이런 형태의 연속 행동 벡터를 다루는 데 Policy-based 방식은 매우 자연스럽다.
특히 Unreal Learning Agents가 제공하는 PPO Trainer는 바로 이런 연속 action 기반 제어 문제를 시작하기 좋은 구현 경로다. 다만 “PPO가 최종 정답”이라기보다는, 첫 RL 파이프라인을 세우기 위한 현실적인 기본 선택지.
2026년 기준 의미#
2026년 로봇 제어에서는 Policy-based라는 큰 개념 자체보다, 그 안에서 다음과 같은 흐름이 중요해졌음
참조 동작 기반 정책 학습
모션 캡처나 애니메이션을 활용한 imitation + RL
명령 조건부 locomotion
- 걷기
- 회전
- 속도 조절
- 지형 대응
대규모 병렬 시뮬레이션에서 policy 학습
특히 다리 로봇 분야에서는 순수한 “보상만 보고 처음부터 걷기”보다, 모방학습·참조 모션·계층형 제어와 정책 최적화를 섞는 흐름이 강해지고 있다. 최근 legged locomotion imitation learning 리뷰는 2019년 이후 모션캡처 복제에서 시작해, 2025년 무렵에는 diffusion 기반 고급 정책 생성까지 발전했다고 정리한다.
순수 Policy-based 방식 자체는 여전히 중요하지만, 실제 대규모 제어나 로봇 보행에서는 순수 REINFORCE 식 방식보다는 Actor-Critic 구조와 결합된 정책 최적화가 중심. 즉,
Policy-based는 큰 철학 Actor-Critic은 실제 강력한 구현 구조 PPO는 그 대표적 알고리즘 중 하나
3.1.4. Actor-Critic: “행동하는 정책과, 그 행동을 평가하는 평가자를 함께 학습”#
핵심 아이디어#
Actor-Critic은:
- Actor: 행동을 출력
- Critic: 그 상태나 행동이 얼마나 좋은지 평가
를 함께 학습
Actor: 상태 → 행동 Critic: 상태 또는 상태+행동 → 가치 평가
왜 이 구조가 필요하나?#
Policy-based는 행동을 바로 학습하지만, 지금의 행동이 얼마나 좋았는지 판단하는 신호가 거칠 수 있음
Actor-Critic은 Critic이 중간에서:
- 이 상태가 장기적으로 얼마나 유리한지
- 이 행동이 얼마나 기대 보상이 큰지
를 평가해 주기 때문에, Actor의 학습을 더 안정적으로 만듦.
구조#
상태 s
↓
Actor π(a|s)
↓
행동 a
↓
환경 변화, 보상 r
↓
Critic V(s) 또는 Q(s,a)
↓
Actor 업데이트에 도움거미 로봇 예시#
현재 상태#
- 몸체가 오른쪽으로 기울어짐
- 앞오른쪽 발은 접지 중
- 왼쪽 다리들이 충분히 펴지지 않음
- 전진 속도는 줄고 있음Actor의 행동#
- 왼쪽 앞다리 Hip을 바깥으로 더 벌림
- 왼쪽 Knee를 펴서 지지면 확보
- 오른쪽 다리 출력 약간 감소Critic의 평가#
“이 행동은 넘어짐을 줄이고
앞으로 다시 나아갈 가능성을 높인다.”이 평가를 통해 Actor가 학습된다.
대표 알고리즘#
초기 Actor-Critic#
- Vanilla Actor-Critic
- A2C
- A3C
연속 제어 중심#
- DDPG
- TD3
- SAC
정책 최적화와 결합#
- PPO
- TRPO의 Actor-Critic 구현
- ACKTR
주요 알고리즘 감각#
A2C#
- 여러 환경에서 모은 경험을 동기적으로 학습
- 단순하고 이해하기 좋음
A3C#
- 여러 워커가 비동기로 학습
- 병렬 탐색의 장점이 있음
DDPG#
- 연속 행동용 Actor-Critic
- 결정론적 정책
- 한때 로봇 제어에서 중요했지만 불안정성이 문제
TD3#
- DDPG 개선형
- Critic 과대평가를 줄이고 학습 안정성 개선
SAC#
- Soft Actor-Critic
- 보상만 높이는 게 아니라 행동 다양성, 즉 엔트로피도 유지
- 탐색이 중요한 연속 제어에서 강력
- 오프폴리시라 샘플 효율이 좋다는 장점이 있음
PPO#
- 정책이 한 번에 너무 크게 바뀌지 않도록 제한
- 학습 안정성과 구현 용이성의 균형이 좋아 널리 사용
- 로봇 locomotion, 게임 캐릭터 제어, 대규모 시뮬레이터 학습에 계속 많이 쓰임
장점#
- 연속 행동 제어에 매우 강함
- Value-based보다 로봇 관절 출력에 자연스러움
- Policy-based보다 학습 안정성이 좋음
- 지금까지의 로봇 locomotion에서 가장 중심적인 계열
단점#
- Actor와 Critic을 모두 설계·튜닝해야 함
- Critic이 잘못 학습되면 Actor도 잘못된 방향으로 감
- 하이퍼파라미터와 보상 설계에 민감
- 실제 로봇으로 옮길 때 sim-to-real 문제가 남음
우리 거미 로봇에서의 의미#
우리 프로젝트에서 가장 직접적으로 쓰일 방식은 여기에 가깝다.
Actor:
관절 목표 각도 8개 출력
Critic:
지금 자세와 행동이
- 넘어지지 않는지
- 전진에 유리한지
- 균형 회복에 좋은지
평가Unreal Learning Agents에서 제공하는:
- Policy
- Critic
- PPOTrainer
구조도 본질적으로 이 Actor-Critic 계열의 실전 구현이라고 보면 된다.
3.1.5. Model-based RL: “환경이 어떻게 움직이는지 모델을 배우고, 그 미래를 이용해 행동”#
핵심 아이디어#
Model-based RL은 단순히 환경에 부딪혀 보상을 받으며 배우는 것이 아니라,
“내가 이 행동을 하면 다음 상태가 어떻게 될까?”
를 예측하는 환경 모델을 함께 사용해서 학습
보통 다음과 같은 동역학 모델을 병행해서 학습한다.
현재 상태 + 행동 → 다음 상태수식 느낌으로는:
s(t+1) = f(s(t), a(t))즉,
- 지금 로봇이 어떤 자세인지
- 어떤 관절 행동을 넣을지
를 입력하면,
- 다음 순간 로봇이 어떤 자세가 될지
- 넘어질지
- 앞으로 갈지
를 예측하려고 한다.
Model-free와의 차이#
Model-free RL#
직접 행동해봄
→ 보상 확인
→ 좋은 행동을 강화Model-based RL#
환경 모델을 이용해
“이 행동을 하면 어떻게 될지”를 미리 상상
→ 더 유리한 행동 선택 또는 학습즉, Model-based RL은 시행착오를 현실에서만 겪는 것이 아니라, 내부 시뮬레이션을 활용해 미리 예측하고 학습하는 방향
예시#
거미 로봇이 앞에 턱이 있는 지형을 만났다고 할 때,
현재 상태#
- 몸체 전방에 낮은 장애물 존재
- 앞다리들이 아직 지면에 닿아 있음
- 속도는 전방으로 유지 중후보 행동#
A. 그대로 전진
B. 앞다리를 더 높이 들기
C. 속도를 늦추고 몸을 낮추기Model-based RL은 내부 모델로 후보 행동의 결과를 예측
A → 앞다리가 턱에 걸려 넘어질 확률 높음
B → 장애물 통과 가능성 높음
C → 안정적이지만 느림그 결과 B를 택하거나, 이런 상황에서 B가 유리하다는 정책을 더 빠르게 학습할 수 있다.
대표 접근#
Model-based RL은 하나의 단일 알고리즘 이름이라기보다 큰 계열이다.
대표 흐름은 다음과 같다.
1. 환경 동역학 모델 학습#
상태 + 행동 → 다음 상태을 예측하는 신경망을 학습
2. 모델을 이용한 planning#
예측 모델 위에서 여러 행동 후보를 굴려보고
가장 보상이 클 것 같은 행동을 고른다.
3. 모델을 이용한 가상 rollout#
실제 환경에 매번 부딪히지 않고,
학습한 환경 모델 안에서 가상의 경험 데이터를 만든다.
4. World Model#
2025~2026년에 특히 중요해진 흐름으로,
단순한 숫자 상태 전이 예측을 넘어
- 시각 정보
- 물체 움직임
- 공간 구조
- 상호작용 결과
까지 폭넓게 예측하는 내부 세계 시뮬레이터를 지향한다. 2026년 로봇 world model 리뷰는 world model이 정책 생성과 결합되고, learned simulator가 평가·post-training·reinforcement learning에까지 쓰이는 방향으로 발전하고 있다고 정리한다.
장점#
- 샘플 효율성이 높아질 수 있음
- 실제 로봇에서 시행착오 비용을 줄이는 데 유리
- 미래 결과를 예측하므로 계획성 있는 행동을 만들 수 있음
- 복잡한 환경에서 장기적 판단에 강점
- World Model과 결합되면 embodied AI와 로봇 학습의 핵심 축이 될 가능성이 큼
단점#
- 환경 모델을 잘못 배우면 예측이 틀리고, 정책도 엉뚱해짐
- 접촉, 마찰, 충돌처럼 복잡한 물리는 정확히 모델링하기 어렵다
- 다관절 보행 로봇은 동역학이 매우 복잡하므로 난이도가 높음
- 단순한 model-free RL보다 구현 부담이 훨씬 크다
거미 로봇 학습과의 관계#
우리 거미 로봇 입장에서는 Model-based RL이 초기 구현 방식이라기보다
고급화 단계에서 의미가 커지는 방향
초기 단계에서는:
PPO 기반 model-free RL
→ 자세 유지
→ 전진 보행
→ 경사면 대응이 더 현실적임
하지만 나중에 다음과 같은 문제를 다루려면 Model-based 관점이 중요해진다.
- 장애물을 밟으면 앞으로 어떤 자세 변화가 생길까?
- 다리 하나가 손상되면 다음 몇 프레임 뒤 균형이 어떻게 무너질까?
- 울퉁불퉁한 지형에서 어느 발을 어디에 두는 것이 안전할까?
- 밀침을 받았을 때 어떤 회복 동작을 선택해야 할까?이런 문제는 단순 반응형 정책보다 미래를 예측하는 능력이 있으면 강력해짐
2026년 기준 의미#
2026년 강화학습·로봇 학습에서 Model-based RL은 다시 매우 중요한 위치로 올라오고 있다.
특히 최근 흐름은 단순한 전통적 모델 기반 제어가 아니라,
- World Model
- Learned Simulator
- Offline Model-based RL
- Foundation Model과 결합된 embodied world model
- 정책 학습과 예측 모델의 공동 발전
으로 확장되고 있다. 2026년 로봇 world model 서베이는 세계 모델이 단순한 미래 프레임 생성기를 넘어서, 정책 학습·평가·post-training을 지원하는 제어 일관적 시뮬레이터로 발전하고 있다고 본다.
또한 실제 로봇 강화학습 분야에서는 model-free 정책 학습만으로 충분하지 않은 문제를 해결하기 위해, 모델 기반 접근과 학습 기반 접근을 섞는 hybrid 구조가 중요한 추세로 다뤄진다.
4. 현재 프로젝트 기반 재정리#
| 분류 | 핵심 관점 | 대표 알고리즘/개념 | 거미 로봇 프로젝트에서의 위치 |
|---|---|---|---|
| Value-based | “각 행동의 가치를 비교” | Q-Learning, DQN | 저수준 관절 제어보다는 상위 모드 선택에 적합 |
| Policy-based | “상태에서 행동을 직접 출력” | REINFORCE, TRPO, PPO | 관절 목표 각도·토크 출력에 자연스러움 |
| Actor-Critic | “행동하는 정책 + 평가하는 가치 모델” | PPO, SAC, TD3 | 실제 거미 보행 학습의 핵심 후보 |
| Model-based RL | “환경의 미래를 예측해 활용” | Dynamics Model, World Model, Planning | 험지 적응·회복 행동·장기 판단의 고급 방향 |
로봇 강화학습을 2026년 기준으로 보면, 단순히:
Value-based vs Policy-based vs Actor-Critic vs Model-based이 네 가지를 동등한 선택지로 보는 것보다, 아래처럼 이해하는 것이 더 실전적
저수준 관절 제어의 중심#
Policy-based / Actor-Critic- PPO
- SAC
- TD3
- Imitation + RL 기반 정책 학습
다리 로봇, 휴머노이드, 물리 캐릭터 제어에서 가장 직접적
고수준 계획과 복잡한 적응의 확장 방향#
Model-based RL / World Model- 미래 상태 예측
- 가상 rollout
- 상황별 행동 계획
- 장기 과제 처리
- learned simulator 활용
2025~2026년 들어 embodied AI와 로봇 학습의 차세대 핵심 축으로 중요성이 커지고 있음
실제 최신 로봇 학습에서 점점 중요해지는 것#
- 순수 RL 단독이 아니라
- Imitation Learning
- Reference Motion
- Hierarchical Control
- Hybrid Model-based Control
- World Model을 섞는 방향으로 트렌드 변화중
최근 legged locomotion 및 로봇 DRL 리뷰는, 실전 로봇 학습이 점점 end-to-end 단일 정책만이 아니라 계층형·하이브리드형 구조로 확장되고 있다고 정리
5. 현재 프로젝트 관점의 결론#
우리 강화학습 기반 거미 로봇 프로젝트에서 각 방식의 의미는.
1. Value-based
- 핵심 제어 방식은 아님
- 나중에 행동 모드 선택이나 고수준 전략에 쓸 수 있음
2. Policy-based
- 상태에서 바로 관절 action을 뽑는 기본 관점
- PPO를 이해하는 출발점
3. Actor-Critic
- 실제 학습 구조의 중심
- Policy와 Critic을 함께 쓰는 PPO/SAC 계열이 거미 보행에 잘 맞음
4. Model-based RL
- 초기 구현보다는 고급화 방향
- 험지 적응, 회복 동작, 다리 손상 대응, 미래 예측형 행동에 중요그래서 지금 Unreal Learning Agents로 처음 실습할 때는:
PPO 기반 Actor-Critic 학습 구조를 쓰는 게 자연스럽고, 장기적으로 ARC Raiders나 최신 로봇 연구 느낌을 더 강하게 가져가려면:
참조 모션 + Actor-Critic RL
→ 이후 World Model / Model-based 요소 검토순서로 확장하는 게 가장 현실적이다.