دوره یادگیری تقویتی (RL) در سطح دانشگاه: یک بررسی جامع

آنچه یاد خواهید گرفت: یادگیری تقویتی (RL) را از پایه درک کنید (شامل اثبات‌ها و استنتاج‌های مرتبط) تکنیک‌های RL مبتنی بر مدل و بدون مدل را درک کنید. تکنیک‌های بهینه‌سازی RL مبتنی بر مقدار و مبتنی بر گرادیان سیاست را درک کنید. درک کنید چگونه از یادگیری عمیق در ترکیب با یادگیری تقویتی استفاده می‌شود. تکنیک‌های RL برای کنترل اعمال گسسته و پیوسته را درک کنید. یادگیری تقویتی از بازخورد انسانی (RLHF) و از پاداش‌های قابل‌راستی‌آزمایی (RLVR) را درک کنید. درک کنید LLMها چگونه یاد می‌گیرند استدلال کنند و زنجیره‌های افکار ارائه دهند. درک کنید LLMها چگونه آموزش می‌بینند تا از ابزارهای دیگر استفاده کنند و با سایر LLMها و ایجنت‌ها همکاری کنند. پیش‌نیازهای دوره درک پایه‌ای از احتمال و آمار (برای مثال: توزیع‌ها، میانگین، واریانس و امید ریاضی) جبر خطی و حسابان پایه دانش خوب از شبکه‌های عصبی و یادگیری عمیق (برای مثال: گرادیان کاهشی، پس‌انتشار) توضیحات دوره این دوره یک بررسی عمیق و جامع از یادگیری تقویتی است. سطح آن در حد دانشگاهی و عمیق است. دوره از پایه‌ترین مفاهیم RL در مسائل ساده و محدود شروع می‌شود و گام‌به‌گام با افزایش پیچیدگی پیش می‌رود. تا به معرفی الگوریتم‌هایی برسد که می‌توانند مسائل پیچیده واقعی را برای اعمال گسسته (برای مثال: LLMها) و پیوسته (برای مثال: رباتیک) حل کنند. این دوره از نظر ریاضی نیز بسیار غنی است. در آن الگوریتم‌ها، اثبات‌ها و استنتاج‌های زیادی معرفی می‌شود. با این حال، رویکرد آن همچنان بسیار شهودی است. برای توضیح هر مفهوم یا ایده، مثال‌های شهودی فراوانی ارائه شده است. با اینکه چند نمونه کد هم وجود دارد، ما هدف اصلی دوره را کدنویسی نمی‌دانیم. تمرکز دوره بسیار بیشتر بر مفاهیم، شهودها و استنتاج‌هاست. کدنویسی عمدتاً برای نمایش و توضیح استفاده می‌شود. این دوره بسیاری از الگوریتم‌های سنتی و SOTA را با جزئیات غنی و رضایت‌بخش پوشش می‌دهد. برخی از الگوریتم‌های مطرح‌ شده در دوره عبارتند از: ارزیابی تکراری سیاست (PE)، تکرار مقدار (VI)، تکرار سیاست (PI)، ارزیابی مونته کارلو، TD(0) و TD(lambda) و TD معکوس TD(lambda) با eligibility traces و SARSA و Q-Learning و Double Q-Learning و Expected SARSA و Deep SARSA و Deep Q-Learning و Deep Double Q-Learning و REINFORCE و A2C و A3C و DDPG و SAC و TRPO، PPO و GRPO و DPO در نهایت، دوره یک بخش مطالعه موردی قابل‌ توجه درباره RL با LLMها دارد. این بخش توضیح می‌دهد که مدل‌های زبانی بزرگ و ایجنت‌های مکامله‌ای چگونه با استفاده از یادگیری تقویتی آموزش می‌بینند تا همسویی بهتری با ترجیحات انسانی داشته باشند، زنجیره‌های افکار تولید کنند، و در ریاضی و کدنویسی بهتر شوند. الگوریتم‌های RLHF و RLVR با جزئیات عمیق پوشش داده شده‌اند. این دوره برای چه کسانی مناسب است؟ دانشجویان دانشگاه که یک دوره جدی یادگیری تقویتی (RL) می‌گذرانند. مهندسان یادگیری ماشین که می‌خواهند درک عمیق‌تری از RL به دست آورند. مهندسان LLM که می‌خواهند سازوکار درونی RLHF و RLVR را درک کنند.