rl

Reinforcement Learning (RL) နှင့် Robotics ကို လေ့လာရန် သီအိုရီအကျဉ်းချုပ်များ၊ မြန်မာဘာသာပြန်များ၊ simulation လေ့လာရေးလမ်းညွှန်များနှင့် algorithm implementation အသုံးပြုပုံများကို စုစည်းထားသော repository ဖြစ်ပါတယ်။

Markdown ဖိုင်စာရင်း

လက်ရှိ repository ထဲရှိ Markdown ဖိုင် ၅၁ ဖိုင် (ဤ README အပါအဝင်) ကို အုပ်စုခွဲပြီး ဖိုင်တစ်ခုချင်းစီ၏ အကြောင်းအရာအကျဉ်းနှင့် ဖော်ပြထားပါတယ်။ ဖိုင်အမည်ကို နှိပ်၍ သက်ဆိုင်ရာစာတမ်းကို ဖတ်နိုင်ပါတယ်။

၁။ အဓိကလမ်းညွှန်များ (၂ ဖိုင်)

ဖိုင်	အကြောင်းအရာအကျဉ်း
README.md	Repository မိတ်ဆက်နှင့် Markdown ဖိုင်အားလုံး၏ အညွှန်းစာရင်း။
Day81 RL python/README.md	Grokking Deep Reinforcement Learning စာအုပ်၏ အခန်းအလိုက်အကြောင်းအရာများ၊ notebook ရည်ညွှန်းချက်များနှင့် Docker ဖြင့် မူရင်းစာအုပ် code ကို အသုံးပြုရန် လမ်းညွှန်။

၂။ RL နှင့် Robotics အင်တာဗျူး (၃ ဖိုင်)

တည်နေရာ: 01_interview

ဖိုင်	အကြောင်းအရာအကျဉ်း
01_interview_with_Lujie_Yang_Original.md	Lujie Yang နှင့် ဆွေးနွေးထားသော RL သီအိုရီနှင့် လက်တွေ့အသုံးချမှု၊ robotics နှင့် sim-to-real အကြောင်း အင်္ဂလိပ်မူရင်း transcript။
02_interview_with_Lujie_Yang_mm_summary.md	အင်တာဗျူး၏ မြန်မာဘာသာအကျဉ်းချုပ်နှင့် ဖတ်ရလွယ်အောင် ပြန်ဆိုထားသော ဆွေးနွေးချက်များ။ Simulators၊ robot deployment နှင့် kinematic retargeting တို့ ပါဝင်ပါတယ်။
03_interview_with_Lujie_Yang_mm_literal.md	အင်တာဗျူးကို မူရင်းစကားပြောပုံစံနှင့် အနီးစပ်ဆုံး မြန်မာဘာသာပြန်ထားသော စာတမ်း။

၃။ Deep Learning မပါသော RL အခြေခံများ (၉ ဖိုင်)

တည်နေရာ: 01_rl_without_dl

Grokking Deep Reinforcement Learning ၏ အခန်း ၁ မှ ၇ အထိ လေ့လာရေးမှတ်စုများ ဖြစ်ပါတယ်။

ဖိုင်	အကြောင်းအရာအကျဉ်း
chapter_1_summarized.md	Deep RL မိတ်ဆက်၊ Machine Learning နှင့် ဆက်စပ်ပုံ၊ အားသာချက်/အားနည်းချက်များနှင့် algorithm အမျိုးအစားများ။
chapter_2_summarized.md	RL ၏ သင်္ချာအခြေခံများ၊ Markov Decision Process (MDP)၊ state/action space၊ transition၊ reward နှင့် discount factor။
chapter_3_summarized.md	ရေတိုနှင့် ရေရှည် reward ကို ချိန်ညှိခြင်း၊ policy/value function၊ policy evaluation၊ policy iteration နှင့် value iteration။
chapter_4_summarized.md	Exploration နှင့် exploitation ကို ချိန်ညှိခြင်း၊ multi-armed bandits၊ regret နှင့် exploration နည်းလမ်းများ နှိုင်းယှဉ်ချက်။
chapter_5_summarized.md	Agent အပြုအမူ၏ တန်ဖိုးကို ခန့်မှန်းခြင်း၊ Monte Carlo၊ Temporal-Difference၊ n-step TD နှင့် eligibility traces။
chapter_6_summarized.md	Agent အပြုအမူ တိုးတက်စေသော control နည်းလမ်းများ၊ MC Control၊ SARSA၊ Q-learning နှင့် on-policy/off-policy ကွာခြားချက် အကျဉ်းချုပ်။
chapter_6_translated.md	အခန်း ၆ ၏ Agent အပြုအမူတိုးတက်ရေးနှင့် RL control နည်းလမ်းများကို အသေးစိတ် မြန်မာဘာသာပြန်ထားသော စာတမ်း။
chapter_7_summarized.md	ပိုမိုထိရောက်သော learning အတွက် SARSA(lambda)၊ Watkins's Q(lambda)၊ model-based RL၊ Dyna-Q နှင့် trajectory sampling အကျဉ်းချုပ်။
chapter_7_translated.md	အခန်း ၇ ၏ ပန်းတိုင်များကို ပိုမိုထိရောက်စွာ ရရှိရန် အသုံးပြုသော RL နည်းလမ်းများကို အသေးစိတ် မြန်မာဘာသာပြန်ထားသော စာတမ်း။

၄။ Deep Learning ပါဝင်သော RL နည်းလမ်းများ (၁၀ ဖိုင်)

တည်နေရာ: 02_rl_with_dl

အခန်း ၈ မှ ၁၂ အထိ value-based၊ policy-gradient နှင့် actor-critic နည်းလမ်းများကို လေ့လာနိုင်ပါတယ်။

ဖိုင်	အကြောင်းအရာအကျဉ်း
chapter_8_summarized.md	Value-based Deep RL မိတ်ဆက်၊ function approximation၊ CartPole နှင့် Neural Fitted Q-Iteration (NFQ) အကျဉ်းချုပ်။
chapter_8_translated.md	အခန်း ၈ ၏ value-based Deep RL အခြေခံနှင့် neural network အသုံးပြု၍ value ခန့်မှန်းခြင်းအကြောင်း အသေးစိတ် မြန်မာဘာသာပြန်။
chapter_9_summarized.md	Learning ပိုတည်ငြိမ်စေရန် DQN၊ target network၊ experience replay၊ Double DQN နှင့် Huber loss အသုံးပြုပုံ အကျဉ်းချုပ်။
chapter_9_translated.md	အခန်း ၉ ၏ ပိုတည်ငြိမ်သော value-based နည်းလမ်းများနှင့် DQN ဆိုင်ရာ အကြောင်းအရာများကို အသေးစိတ် မြန်မာဘာသာပြန်။
chapter_10_summarized.md	Sample efficiency တိုးတက်စေရန် Dueling DDQN၊ Polyak averaging၊ Prioritized Experience Replay (PER) နှင့် importance sampling weights အကျဉ်းချုပ်။
chapter_10_translated.md	အခန်း ၁၀ ၏ နမူနာဒေတာကို ပိုမိုထိရောက်စွာ အသုံးချသော value-based နည်းလမ်းများကို အသေးစိတ် မြန်မာဘာသာပြန်။
chapter_11_summarized.md	Policy gradient theorem၊ REINFORCE၊ VPG၊ A3C၊ GAE နှင့် A2C နည်းလမ်းများ အကျဉ်းချုပ်။
chapter_11_translated.md	အခန်း ၁၁ ၏ policy-gradient နှင့် actor-critic နည်းလမ်းများကို အသေးစိတ် မြန်မာဘာသာပြန်။
chapter_12_summarized.md	အဆင့်မြင့် actor-critic နည်းလမ်းများဖြစ်သော DDPG၊ TD3၊ SAC နှင့် PPO တို့၏ အဓိကသဘောတရား၊ network နှင့် hyperparameter များ အနှစ်ချုပ်။
chapter_12_translated.md	အခန်း ၁၂ ၏ အဆင့်မြင့် actor-critic နည်းလမ်းများကို အသေးစိတ် မြန်မာဘာသာပြန်။

၅။ မူရင်း Paper၊ Network နှင့် Algorithm — rom_photos မှတ်စုများ (၁၀ ဖိုင်)

တည်နေရာ: rom_photos

မူရင်းနှင့် ဆက်စပ် paper များ၊ network architecture နှင့် algorithm flow တို့ကို color Mermaid diagrams၊ မြန်မာလိုရှင်းလင်းချက်များနှင့် အမေးအဖြေများဖြင့် လေ့လာနိုင်ပါတယ်။ ပထမ ၅ ဖိုင်က value-based methods ဖြစ်ပြီး နောက် ၅ ဖိုင်က policy-gradient၊ actor-critic နှင့် advantage estimation ဆိုင်ရာ မှတ်စုများ ဖြစ်ပါတယ်။

ဖိုင်	မူရင်း paper	Network	Algorithm
01_1_VB_NFQ.md	Riedmiller, 2005 — Neural Fitted Q Iteration	MLP: state + action → scalar Q-value; ယခင် iteration weights ဖြင့် targets တွက်။	Transition dataset စု၊ fixed Bellman targets တွက်၊ batch fitting လုပ်ပြီး ထပ်လုပ်။
02_1_VB_DQN.md	Mnih et al., Nature 2015 — Human-level Control through Deep Reinforcement Learning	Online / frozen target Q-networks; Atari ဥပမာတွင် CNN → action တစ်ခုစီ၏ Q-value။	Experience replay၊ ε-greedy၊ TD loss နှင့် periodic hard target update။
03_1_VB_DOUBLE_DQN.md	van Hasselt, Guez & Silver, AAAI 2016 — Deep Reinforcement Learning with Double Q-learning	DQN အတိုင်း online / target networks နှစ်ခု; extra network မလို။	Online က next action ရွေး၊ target က ထို action ကို evaluate လုပ်ပြီး overestimation လျှော့။
04_1_VB_Dueling_DDQN.md	Wang et al., ICML 2016 — Dueling Network Architectures for Deep Reinforcement Learning	Online / target တစ်ခုစီတွင် shared backbone + value / advantage heads; Q = V + A − mean(A)။	Dueling architecture ကို Double DQN target rule နှင့် ပေါင်းသုံး။
05_1_VB_PER_Dueling_DDQN.md	Schaul et al., ICLR 2016 — Prioritized Experience Replay	Dueling DDQN networks ကို ဆက်သုံး; PER အတွက် network အသစ် မလို။	TD error အလိုက် replay sample ရွေး၊ importance-sampling weights ဖြင့် loss ပြင်၊ priorities refresh လုပ်။
06_1_PB_REINFORCE.md	Williams, 1992 — Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning	Policy network တစ်ခု: state → action logits / distribution။	Complete episode မှ MC reward-to-go တွက်ပြီး selected-action log-probability ကို return ဖြင့် weight ပေး၍ update လုပ်။
07_1_PB_VPG.md	Williams, 1992 / Sutton et al., NeurIPS 1999 — Policy-gradient foundations; VPG-only paper တစ်စောင်တည်း မရှိ။	ဒီမှတ်စုတွင် policy network + scalar state-value baseline network သီးခြားနှစ်ခု။	MC advantage G − V ဖြင့် policy update၊ value regression နှင့် optional entropy bonus; GAE variant နှင့်လည်း ခွဲရှင်းထား။
08_1_PB_actor-critic_A3C.md	Mnih et al., ICML 2016 — Asynchronous Methods for Deep Reinforcement Learning	Global actor-critic + worker local copies; shared backbone နှင့် policy / value heads ပါနိုင်။	Workers က short n-step rollouts စု၊ local gradients ကို global parameters ဆီ asynchronous apply လုပ်။
09_1_PB_GAE.md	Schulman et al., 2015 preprint / ICLR 2016 — High-Dimensional Continuous Control Using Generalized Advantage Estimation	ရှိပြီးသား policy / value networks ကိုသုံး; GAE သည် trainable network အသစ် မဟုတ်။	TD residuals ကို γλ ဖြင့် decay လုပ်ပေါင်းပြီး advantage တွက်; bias–variance trade-off နှင့် terminal / truncation masks။
10_1_PB_actor-critic_A2C.md	A3C paper, 2016 + OpenAI Baselines A2C, 2017; သီးခြား original paper တစ်စောင်တည်း မရှိ။	Shared actor-critic backbone + policy / value heads ဥပမာ; separate networks လည်း ရနိုင်။	Same-policy parallel rollouts ကို batch ပေါင်းပြီး synchronous update တစ်ခါလုပ်; n-step advantage / optional GAE။

၆။ Robotics Simulation နှင့် Sim-to-Real လေ့လာရေး (၅ ဖိုင်)

ဤလမ်းညွှန်များသည် MuJoCo မှ Isaac Lab၊ sim-to-real နှင့် humanoid control အထိ ဆက်လက်လေ့လာရန် ရည်ရွယ်ထားသော roadmap နှင့် လက်တွေ့စမ်းသပ်ရေး အစီအစဉ်များ ဖြစ်ပါတယ်။

ဖိုင်	အကြောင်းအရာအကျဉ်း
03_MuJoCo/README.md	MuJoCo physics/API နှင့် ရင်းနှီးစေရန် Hopper၊ HalfCheetah၊ Walker2d၊ Ant၊ Humanoid ကဲ့သို့ continuous-control environment များဖြင့် RL ပြန်လေ့လာရေး။
04_IsaacLab_IsaacSim/README.md	Isaac Lab / Isaac Sim ဖြင့် GPU ပေါ်တွင် environment များကို parallel run လုပ်ကာ robot learning နှင့် PPO training ကို ချဲ့ထွင်လေ့လာရေး။
05_DomainRandomization_System_ID_Concepts/README.md	Simulation parameter များကို real robot နှင့် ကိုက်ညီအောင်ချိန်ညှိသော system identification နှင့် robust policy အတွက် domain randomization အယူအဆများ။
06_MujoCo_as_Sim2Sim_Validation/README.md	Isaac Lab တွင် train ထားသော policy ကို real robot မတင်မီ MuJoCo တွင် deploy/validate လုပ်သော sim-to-sim အဆင့် လေ့လာရေး။
07_Humanoid_Kinematic_Retargeting_Advanced/README.md	လူ့ motion ကို humanoid robot motion အဖြစ် ပြောင်းလဲသော kinematic retargeting နှင့် whole-body control ဆိုင်ရာ အဆင့်မြင့် လေ့လာရေး။

၇။ Docker နှင့် Algorithm Implementation လမ်းညွှန်များ (၁၂ ဖိုင်)

တည်နေရာ: rl_code/docker

ဖိုင်	အကြောင်းအရာအကျဉ်း
README.md	RL Docker image ကို build/pull လုပ်ရန် command များနှင့် training အခြေအနေကို TensorBoard ဖြင့် ကြည့်ရှုနည်း။
SUMMARY.md	CartPole ၏ continuous observation / discrete action ကွာခြားချက်နှင့် အစောပိုင်း algorithm များတွင် MuJoCo အသုံးပြုထားမှု ရှိ/မရှိ ရှင်းလင်းချက်။
03_dueling_per/README.md	CartPole အတွက် Dueling Double DQN နှင့် Prioritized Experience Replay (PER) ဆိုင်ရာ လမ်းညွှန်၊ discrete/continuous action space ကွာခြားချက်။
04_reinforce/README.md	CartPole တွင် CleanRL-style REINFORCE အသုံးပြုပုံနှင့် policy network တည်ဆောက်ပုံ။
05_vpg/README.md	CartPole အတွက် baseline ပါဝင်သော REINFORCE / Vanilla Policy Gradient (VPG) နှင့် policy network တည်ဆောက်ပုံ။
06_a3c/README.md	CartPole အတွက် worker process များက global shared network ကို asynchronous update လုပ်သော A3C implementation။
07_gae/README.md	CartPole actor-critic တွင် rollout များမှ Generalized Advantage Estimation (GAE) ဖြင့် policy gradient တွက်ချက်ပုံ။
08_a2c/README.md	CartPole အတွက် synchronous Advantage Actor-Critic (A2C) ကို CleanRL-style နှင့် Stable-Baselines3 ဖြင့် အသုံးပြုပုံ။
09_ddpg/README.md	Pendulum-v1 continuous-control အတွက် DDPG ကို CleanRL-style နှင့် Stable-Baselines3 ဖြင့် အသုံးပြုပုံ။
10_td3/README.md	MuJoCo Hopper-v4 အတွက် Twin Delayed DDPG (TD3) ကို CleanRL-style နှင့် Stable-Baselines3 ဖြင့် အသုံးပြုပုံ။
11_sac/README.md	PyBullet HalfCheetahBulletEnv-v0 အတွက် Soft Actor-Critic (SAC) implementation များနှင့် automatic entropy tuning။
12_ppo/README.md	LunarLander-v2 အတွက် PPO implementation များ၊ clipped objective၊ GAE နှင့် minibatch update အသုံးပြုပုံ။