서론: 강화 학습에서의 예측의 힘
인간의 개입을 최소화하면서 다양한 작업을 마스터할 수 있는 에이전트가 일반 인공 지능에 대한 탐구는 컴퓨터 과학의 가장 중요한 과제 중 하나로 남아 있습니다.이러한 야망은 수년 동안 복잡한 게임과 시뮬레이션을 바탕으로 한 벤치마킹되어, 마인크래프트 다이아몬드를 모으는 것만큼 어려운 일이 아닙니다. 단순해 보이는 이 작업견명 탐구, 계층적 계획, #광에 대한 계획, 절차적으로 광대한 세계 이처럼 희소한 보상을 통해 학습할 수 있는 능력이 필요합니다.사람의 시연 없이 처음부터 문제를 해결하는 것이 이 분야의 목표였습니다.
이 문제의 중심에는 현대 학습 강화 (RL) 의 순결한 병목 표명 샘플 효율성이 있습니다.가장 성공적인 RL 에이전트 중 상당수는 효과적인 전략을 익히기 위해 환경과의 엄청난 시행착오 상호 작용을 합니다. 이 고속 시뮬레이터에서는 어찌할 수 없을지 몰라요. 이러한 한계로 학습 패러다임 기반 모델 강화 (MBRL) .MBRL의 핵심 전제는 직관적이고 강력합니다.상담원이 먼저 자신의 세계가 어떻게 돌아가는지에 대한 정확한 모델을 학습할 수 있습니다. 에이전트는 자신의 행동을 훨씬 더 효율적으로 학습할 수 있는 미래 “상상” 또는 “꿈꿀”, 그리고 실제 상호작용의 필요성이 줄어듭니다.
드리머 #0 #################################1 #####1 ##2 #로 #######1 ######1 ##로 #########1 ##############1DreamerV3는 지금 작업하기 없이 150개 이상의 다양한 작업에서 최첨단 성능을 구현했습니다.가장 주목할만한 점, 이 에이전트는 자기 경험을 통해 학습하면서 마인크래프트 다이아몬드 챌린지를 처음부터 끝까지 해결한 최초의 에이전트라는 뜻입니다.
이 보고서는 드리머 계보에 대한 포괄적인 기술 제공입니다.먼저 모델 기반 학습의 기본 의식을 회복한 다음, 드리머v1의 지속적인 잠재력 상상력에서 드리머V2의 개별 표현으로 이어지는 핵심 아이디어의 추적을 해 보도록 하겠습니다. 여기서는 드리머V3 아키텍처, 그 기반이 되는 수법을 프레임 워크, 그리고 전성 없는 일반성을 위한 방법을 알려드리기 위해 최선을 다하겠습니다. #획기적인 성능을 발휘할 수 있는 이 혁명의 인공 지능의 미래를 향한 심오한 영향에 대해 논의하겠습니다.
두 패러다임 이야기: 기반 RL과 모델 없는 RL
드리머 시리즈의 정의를 제대로 이해하려면 먼저 강화 학습 전략의 근본 이분법, 즉 학습의 차이를 이해해야 합니다. 해야 할 일 (모델 없음) 및 학습 무슨 일이 일어날까요(모델 기반).
모델 프리 RL: 다이렉트 어프로치
여성이 필요 없는 알고리즘은 경험을 위한 정책이나 가치 마케팅을 통해 직접 학습합니다. 이들은 다음과 같은 튜플링하여 작동합니다. (상태, 행동, 행동, 넥스트_스테이트) 환경을 최우선으로 의사 결정 프로세스를 점진적으로 업데이트합니다.이러한 방법은 환경의 내부 역학을 완전히 블랙박스로 취급하며 이해하려는 시도는 하지 않습니다.
왜 특정 상태에서의 특정 행동은 특정한 결과로 이어집니다.그들은 주로 이 값을 추정하는 Q-ME-RECATION을 통해 학습하는 상태-행동 쌍을 장기적으로 얻을 수 있는 보상과 연관데에만 초점을 맞출 수 있습니다.
효과적인 비유는 농구공을 후에에서 쏘는 법을 배우는 것입니다.모델이 없는 에이전트는 무작위로 호와 마음을 가졌어요! 심지어 수백만 명의 풋을 찍어 이런 시도를 할 수 있습니다.시간이 흐르면서 특정 위치에서 특정 행동을 할 수 있습니다. 뛰어난 최종 성능을 얻을 수 있지만 샘플 효율성이 크게 떨어지기 때문에 많은 실제 응용 분야에서는 비실용적입니다.
모델 기반 RL: 예측 학습
모델 기반 강화 학습은 보다 신중한 2단계 접근법을 사용합니다.상호 작용하고 학습한 모델을 다음 계획을 세우는 간단한 루프를 기반으로 하는 프레임워크입니다.
- 인터랙트: 에이전트는 실제 환경에서 작업을 수행하며 경험 데이터 세트를 얻습니다.
- 모델 공부하기: 이 데이터세트를 사용하여 동역학 (모델 주로 신경망) 을 학습합니다.이 모델은 실제 환경 p (s′, rs, a) 에 근사하여 현재 상태와 형태를 가리지 않고 다음 단계로 예측하는 방법을 학습합니다.
- 행동 계획/학습: ◆ 에이전트는 이 학습된 모델을 기억하고 빠른 내부 시뮬레이터로 사용합니다.실제 세계에서 실행하지 않아도 일련의 동작의 결과를 “상상” 할 수 있습니다.그런 다음 이러한 상상의 경험을 바탕으로 한 명시적 계획
농구의 비유로 돌아가서 기반 에이전트는 공적과 중력의 영향을 주의 주의 주의 주의 먼저 몇 장 사진을 찍었습니다.초기 관찰 결과를 바탕으로 물리학의 근사한 내부 모델을 만들 것입니다.그런 다음 다음 이 멘탈 모델을 통해 내부적으로 수천 개의 다른 곳에 앉을 수 있게 되었습니다. MBRL은 샘플 효율성이 매우 뛰어납니다.
그러나 이러한 효율성에는 편향이라는 중요한 문제가 뒤따릅니다.유한한 데이터에서 학습한 모든 것은 현실에 대한 불완전한 근사치가 될 것입니다.에이전트가 장기적으로 다가올 수 있는 실수 #1 단계 예측 누적되고 복잡해지기 쉬운 실제 환경에서 일어날 수 있는 상황과 큰 상상의 추억 없습니다.따라서 현대 MBRL의 핵심 장은 단순히 모델을 학습하는 데 그치지 않고 바로 그 모델의 우연한 결점과 복합적인 오류를 견딜 수 있는 학습 환경을 제공합니다. 드리머 시리즈 전체는 이 세상에서 가장 중요한 일에 대한 정교하고 해답할 수 있습니다.
꿈의 창세기: 드리머V1의 잠재된 상상력
“드림 투 컨트롤: 잠재된 상상을 통한 학습 행동”에 소개된 이 알고리즘의 첫 번째 버전인 DreamerV는 이 시리즈의 핵심 철학을 강화했습니다.바로 학습된 세계 모델의 잠재 공간 내에서 계획을 세워서 #긴 지평선 학습한다는 것입니다./ <좌우 > > 세 가지 프로세스, 즉 세계 학습, 행동, 새로운 데이터 수집을 위한 상호 작용 >>>은 작동합니다.
세계 모델: 순환 상태공간 모델 (RSSM)
드리머의 아키텍처 핵심은 순환 상태공간 모델 (RSSM) 입니다.RSSM은 씨와 같은 고차원 관측값을 직접 예측하는 대신 간결한 저차원의 잠재 상태 세트로 인코딩하는 방법을 사용합니다.이 잠재 별개의 의미는 두 개입니다.
- A 결정론적 순환 상태 핫이것은 순환 (RNN) 의 상태와 숨겨진 기능을 제공합니다. 시간 경과에 따른 정보를 수집하여 과거 게임에 대한 메모리를 제공합니다.
- A 확률 상태 t, 이 분포 (V1에서는 연속 가우스) 에서 샘플링입니다.이 구성 요소는 복잡한 환경의 고유한 불확실성과 다중 모드를 포착하는 데 중요합니다.
st= (ht, zt) 는 함께 전체 학습된 환경 상태를 간결하고 추상적으로 표현합니다.
꿈에서 배우기
드리머v1의 결정적인 혁신은 정책 좌절을 위한 방법이었습니다.행위자 (정책) 와 비평가 (가치 함수) 는 교육을 받습니다. 완전히 RSSM에 의해 생성된 상상의 궤적에서 말이죠.프로세스는 에이전트의 리플레이 버퍼에서 실제 상태를 가져오는 것이 시작됩니다.세계 시작점부터 고정된 지평선 H에 대해 '꿈이 그려서 현재 행위자가 제시하는 잠재적 상태, 보상, 순서를 예측합니다.
이 접근 방식은 분석적 기울기를 사용하여 매우 효율적인 학습 메커니즘을 제공합니다.세계 모델, 행위자, 비판자 등 전체 시스템이 가능한 신경망으로 구성되어 있기 때문에 값 이상의 오류 신호를 직접 전파할 수 있습니다. 세계 버전의 학습된 역학을 통해.이를 통해 에이전트는 상상한 궤적 초기에 정책을 조금만 변경해도 해당 궤적에 누적된 총 가치에 어떤 영향을 미치는지 정확하게 계산할 수 있습니다.모두가 필요 없는 RL에서 자주 보는 추정 기법보다 분산이 더 직접적인 학습 신호입니다.
V1 수학적 기초
학습 과정은 잠재 공간 내에서 작동하는 행위자-비평가 프레임워크를 통해 정리할 수 있습니다. 목표는 할인된 상상 보상의 보상의 기대 합계, Eq [=t∞ γ −trθ] 를 최대화하는 것입니다.
- 값 (vθ (sθ)): 임의의 상상의 잠재 상태 s로부터 기대 수익을 예측하는 방법을 학습하는 신경망입니다.
- 액션 모델 (q (asθ)): 상상의 잠재 상태가 주어지는 행동에 대한 분포를 출력하는 정책 네트워크.
평론가는 목표값, 일반적으로 λ-반환 Vα (sθ) 와 관련된 벨만 오차를 최소화하도록 훈련받았습니다.이 값은 상상의 지평과 편향의 편향의 균형을 이루게 조정합니다.파라미터 는 오차 #0 0 0 0 0 기울기 하강법을 업데이트합니다.
업데이트 ←−α∇ =TT+H21 (vθ) −Vα (sθ)) 2
그런 다음 값 추정치의 기울기를 통해 상상의 궤적을 통해 다시 전파하여 액미터의 파라미터를 업데이트하여 최대화합니다.
업데이트 ←+α∇ =TT+HV (sθ)
이 우아한 제형 덕분에 Dreamerv는 놀라운 결과를 얻을 수 있었습니다.시각적 표현을 통한 연중제어 시스템의 딥마인드 컨트롤 스위트의 딥마인드 컨트롤 스위트의 난이도가 매우 높았어요, 환경과의 상호 작용을 20배 사용하면서도 이전의 최후의 모델 기반 에이전트 (Planet) 를 크게 헤쳐나가기 위해 D4PG와 강력한 모델 능가를 가르치기도 했습니다.
더 디스크리트 리프: V2가 아타리를 마스터한 방법
Dreamerv1은 #0 ###########1 #########가 ##############################################################################################################################물체는 즉시 나타나거나 사라지고 에이전트는 단일 프레임에서 다른 방이나 게임 단계를 시작할 수 있습니다.
#에이전트의 성과는 근본적으로 내부 세계 표현의 질과 질에 따라 제약을 받다 #인식이 드리머V2 주요 진실을 가르쳤습니다.V1에서 V2 발전은 문제 모두의 통계적 자세, 더 잘 맞물리게끔 프레임워요! 명확한 조정입니다.단일 모드 가우시안 예지는 미래를 포착하는 데 어려움을 겪습니다.이 아타리 게임에서는 흔히 볼 수 있는 시나리오로, 적 좌회전하거나 우회전하는 등 여러 가지 분명한 가능성 중 하나가 될 수 있습니다.
핵심 혁신: 개별 잠재 표현
“이산 세계 모델을 사용한 아타리 마스터하기”에서 Dreamerv2는 중추적인 아키텍처 변화를 통해 이 문제를 해결했습니다.이는 연속 확률 상태 zt를 이룬 이산 범주형 변수로 대체했습니다.구체적으로 말하자면, 잠재 지식은 32개의 범주형 변주형 표현으로 각 변수에는 각각 32개의 변수형 값 중 하나를 사용할 수 있게 소개합니다.이러한 설계는 게임과 같은 세상을 만드는 데 몇 가지 이점을 제공합니다.
- 멀티 모달리티: 범주형 분포의 혼합은 여전히 범주형 분포이므로 모델의 이전 분포에서 서로 다른 여러 미래 가능성을 포함하는 사후 분포를 예측하는 것은 수학적으로 간단합니다.
- 희소성 및 일반화: 결과적인 잠재 표현은 본질적으로 희소하므로 더 나은 일반화를 장려할 수 있습니다.
- 최적화 안정성: 저자들은 범주형 변수를 최적화하기가 더 쉬워 기울기가 폭발하거나 사라지는 문제를 완화할 수 있다고 언급했습니다.
활성화 메커니즘
이렇게 이산형 변수로의 전환은 상당한 기술적 장애물을 야기했습니다.이산형 분포에서 샘플링하는 행위는 미분이 불가능하기 때문에 드리머v1의 성공의 핵심인 종단간 기울기 흐름이 깨질 수 있습니다. 드리머v는 이 문제를 극복하기 위해 두 가지 주요 기법을 사용했습니다.
- 스트레이트 스루 에스티메이터: <그래디언트가 불연속 샘플링 스텝을 통해 흐르도록 하기 위해 하기 위한 알고리즘은 스트레이트 스루 추정합니다.역전파가 역방향으로 진행되는 동안 #샘플링 연산 미분성이 불가능하다는 점을 무시하고 입력 방법 #항링 #함수인 것처럼 ###########################발한 트릭입니다.
- L 밸런싱: 세계 모델 학습의 의미는 동역학 이전 (다음 상태에 대한 이미지 예측) 과 사후 표현 (실제 다음 관측에서 인코딩된 상태) KL 간의 차이를 최소화하는 것입니다.Dreamerv는 사후 값이 정해지거나 좌절되지 않은 채 떠오르는 것을 목표로 하고 있습니다.한 항은 이전 항을 사후 방향으로 훈련하고 다른 항은 사후 목표를 위한 항으로 정규화합.첫 번째 항에 대한 가중치를 더 많이 부여하면 (α=0.8 사용) 모형에서 정보를 덜 표현하고 예측 결과를 얻을 수 있습니다. 목적 함수는 αKL (sg (P) Q) + (1−α) KL (PSG (Q)) 로 표현되며 여기서, P는 사후, Q 사전 값이고,
sg스톱 그래디언트 연산을 나타냅니다.
이러한 혁신을 통해 DreamerV2는 역사적인 이정표를 달성했습니다.이는 55개 게임이라는 매우 어려운 아타리 테크마크에서 인간 수준의 성능을 구현한 최초의 모델 기반 에이전트가 되었습니다.레인보우 및 IQN과 같은 최상위 단일 GPU 모델 프리 에이전트의 최종 점수를 가기도 했습니다.이것은 올바른 표현 도구를 갖춘 세계 최전유물이라고 생각할 수 있습니다.
에이펙스 제너리스트: 머드리V3의 기술적 분석
드리머V1에서 V2로의 여정은 상상한 힘과 문제 영역과 공감하는 마음을 표현했습니다.이 3부작의 마지막 단계인 DreamerV3건축 혁명에서는 개선으로 옮겼습니다.목표는 더 이상 유형의 문제를 해결하는 데 도움이 되지 않습니다. 적용할 수 있는 매우 강력한 단일 알고리즘을 만들 수 있었습니다.
Dreamerv3의 성공은 강력한 알고리즘의 마스터클래스입니다.이 기술은 새로운 학습 패러다임을 도입한 것이 다양한 환경에 배포할 수 있습니다. RL 에이전트를 괴롭히는 불운성의 정당한 대우를 받을 수 있습니다.
아키텍처: 세련된 RSSM
DreamerV3의 기본 지식은 세계 모델, 배우, 비평가로 구성된 이전 버전과 동일하며, 잠재 별개의 지식은 도리어 구조를 유지합니다.RSSM 세계 은 함께 작동 환경에 대한 예측 모델을 학습하는 상호 연결된 여러 신경망으로 구성됩니다.
- 시퀀스 모델: 결정론적 상태를 시간 순방향으로 전파하는 순환 네트워크 (GRU): ht=f (ht−1, zt−1, at−1).
- 인코더 (후방): 현재 관측과 이전 결정론적 상태로부터 확률적 상태를 관리하는 네트워크 (영상의 경우 CNN, 벡터의 경우 MLP): zt∼q (zthy, xt).
- 다이나믹 프리딕터 (이전): 결정론적 역사만을 기반으로 다음 확률 상태를 예측하여 상상을 하는 네트워크: z^t∼p (z^nt).
- 프리딕터 헤드: 결합된 잠재 상태 st= (ht, zt) 에서 즉각적인 보상 (r^t), 57 지속 플래그 (c^t) 를 예측하고 원래 관측값 (x^t) 을 재구성하는 추가 네트워크.
수학적 핵심: 세계 모델 목적 함수
세계 모델의 파라미터는 서로 다른 세 가지 목표의 가중합인 구조 L () 을 최소화하여 종단간 학습합니다.이 는 잠재 정보를 제공합니다 (입력값을 재구성할 수 있음) 예측 가능 (따라 시간에 맞춰 롤포워드 가능)
[에이전트의 행동을 결정하는 행위자-비평가] 은 항상 훈련되지만 아니 세계 모델 자체로 역전파되었습니다.이러한 디커플링은 매우 중요합니다.이를 통해 세계 모델의 목표는 순수하게 유지됩니다.현재의 정책이 악용하기 쉬울 뿐인 세상을 예측하는 방법을 배우는 것이 가능한 한 세계를 정확하게 예측하는 것입니다.
세계 모델 손실의 구성 요소는 표 1 1 나 자세히 있습니다.
배우-비평가: 꿈속에서의 학습
배우 πθ (atst) 와 비평가 (v st) 는 잠재 공간 내에서만 자신의 기능을 학습합니다.
- 배우 학습: 정책은 REFORNCE 알고리즘을 사용하여 학습합니다.이 정책의 목적은 상상의 궤적을 기준으로 계산한 뜻입니다. λ-수익률 최대화하여 비평가의 판단에 따를 수 있습니다.
- 비평가 학습: value < 가상 상태 시퀀스에 대해 이와 동일한 λ-반환값을 정확하게 예측하도록 훈련되었습니다.안정적이고 정확한 미래 가치 추정치를 제공함으로써 행위자에게 ● 학습 목표를 제공합니다.
강함의 무기: 핵심 “트릭”
DreamerV3의 진정한 힘은 서로 다른 특성을 가진 환경 전반에서 안정적인 조화를 이루도록 설계된 기술 모음에 있습니다.
- 심볼로그 변환: 아타리의 작고 빽빽한 보상부터 크고 희소한 환경의 보상까지 보상 척도가 크게 다를 수 있습니다.정보 손실 없이 이 문제를 처리하기 위해 Dreamerv3에서는 다음을 수행합니다.
심볼로그변환으로, 심볼로그 (x) =부부 (x) ×ln (x+1) 으로 정의됩니다.이 < 0에 가깝게 선형적으로 동작하면서 큰 값 압축합니다.이 함수는 보상기 및 비평가에 사용되기 위한 환경보호 기본형 척도로 운영될 수 있습니다. - 프리 비트: 세계 모형 (Ldyn & Lrep) 의 L 발산은 a를 사용하여 아래에서 잘합니다.
최대 (1, 리터)수술.1nat가 약 1.44비트의 순응하는 이 “프리 비트” 기법은 환경 역학의 사소한 측면을 완벽하게 재현하는 데 시간을 낭비하는 것을 의미합니다.KL 다이버전스가 이 임계값 아래로 떨어지면 0이 도래할 수 있습니다. - 투-핫 리워드 인코딩: Dreamerv3의 평론가는 비평가가 수익률에 대해 단일 스칼라 예측하도록 하는 대신, 255 빈 개별 집합에 대한 확률 예측합니다.목표 수익률은 다음과 같은 “핫” 컨셉으로 예측합니다.목표 수익률은 다음과 같습니다.
마일스톤의 테크마크: 마인크래프트를 처음부터 풀기
#제너럴리스트 에이전트의 궁극적인 성향은 무수히 많은 문제를 종합한 문제에 대한 성능입니다.표준 RL 스티마크에서는 아타리에서의 시각적 처리나 무조코의 지속적 제어와 같은 특정한 난이도를 떼어 놓는 일이 너무 많지만, 마인크래프트 게임은 거의 모든 난이도를 위한 작업지로, 궁극의 광대하고 조합적인 공간, 진정한 공간, 일반화가 필요한 절차로 오픈 .가장 중요한 것은 극심한 보상 희소성과 장기적이고 계층적인 삶의 터전입니다. 다이아몬드를 얻기 위해서는 에이전트가 구체적 하위 작업 (모기, 나무 만들기, 테이블 만들기, 곡괭이 만들기, 돌 채굴 등) 을 통해, 그 곳에서 안내해 줄 수 있는 좋은 신호
이 문제 해결 처음부터탐색을 하기 위해 인간의 시연에 의존하지 않는 것은 너무 AI의 중요한 과제로 생각합니다.따라서 드리머V3의 성공은 단순히 다른 최우선적 성과가 아니라 전체 접근 방식을 강력하게 검증한 것입니다.이는 인적 데이터나 사전 스토리큘럼 없이 ###################환경 단계를 거친 후 #달성한 알고리즘으로, 이 약 17일의 연속 플레이 대상입니다. 학습된 세계와 상상력 기반 계획이 현실 세계의 복잡성을 반영하는 데 필요한 문제를 해결하는 데 필요한 것은 선지견명이 있는 전략을 발견하고 수정할 수 있다는 것을 의미합니다.
드리머V3는 이러한 이정표 외에도 딥마인드 컨트롤 스위트, 아타리, B-Suite, 크래프터 등 광범위한 테크마크에서 새로운 최첨단 성능을 구축했습니다.결정적으로, 이 모든 결과는 다음과 같습니다. 정확히 동일한 고정 하이퍼파라미터 세트이는 굳성 지향 설계의 성공에 대한 증거입니다.
DreamerV3는 매우 바람직한 스케일링 특성을 보여줍니다.
결론: 미래는 세계 모델을 기반으로 합니다
드리머 알고리즘이 V1에서 V3으로 진화한 것은 인공 지능의 과학적 진보를 통한 설득력 있는 이야기입니다.복잡한 행동을 통한 마음의 평화를 통한 학습은 기본 개념을 도입한 드리머V1에서 시작되었습니다.DreamerV2에서 개선되었습니다.Dreamerv2에서 개선됨, 에이전시 내부 내부 비디오 비디오 조정하여 게임을 깔끔하게 정리할 수 있게 되었습니다.이 여정은 Dreamerv3에서 절했습니다.DreamerV3는 이 접근 방식을 중요하게 여기고 확장하여 해외로 옮길 수 있습니다.
드리머v3의 성공은 이 장에서 심오한 영향을 미칩니다.이를 통해 강화 학습이 팀이 가진 광범위한 작업을 수행할 필요가 없는 강력한 에이전트를 배포하여 새로운 문제를 해결할 수 있습니다. 굳성 및 일반화 원칙은 앞으로 더 다가갈 수 있습니다. 실제 안전 강화 (Safe DreamerV3), 트랜스포머와 같은 강력한 모델 시퀀스 (TransamerDreamDreamStreamEx) v3), 자율 주행과 같은 실제 영역에 적용 (DriveDreamer-2) 등 드리머 프레임워크를 위한 새로운 영역으로 확장하기 위한 작업이 이미 진행 중입니다.
궁극적으로 드리머 #인공 드리머 일반 지능을 추구하는 핵심 가설에 대한 강력한 증거를 제공합니다.즉, 세계의 사전 예측 모델을 학습하는 것이 중요하고 아마도 필수불가결한 요소라는 것입니다.상상하는 미래를 미리 예측하고 꿈을 꿀 수 있는 “”
