دوره مسترکلاس Apache Airflow: ساخت پروژه‌های واقعی

آنچه یاد خواهید گرفت: Apache Airflow را از سطح مبتدی تا سطح تولید درک کنید. به DAGها، Taskها، Operatorها، Hookها، Sensorها و XCom مسلط شوید. معماری Airflow را یاد بگیرید: Scheduler، Webserver، اجراکننده‌ها، Workers و Metadata DB DAGها را با استفاده از API مدرن TaskFlow همراه با دموهای واقعی بنویسید. زمان‌بندی، تلاش‌های مجدد، لاگ کردن، نظارت و بهترین شیوه های تولید را مدیریت کنید. Task Groupها، Dynamic Task Mapping و مدیریت وابستگی‌ها را پیاده‌سازی کنید. یک خط‌لوله سرتاسری کاملاً خودکار در Airflow با استفاده از APIهای زنده بسازید. معماری Medallion را اعمال کنید: لایه‌های Bronze → Silver → Gold داده‌ افزایشی را پردازش کنید، در پایگاه‌داده بارگذاری کنید و مجموعه‌داده‌ آماده‌ی BI بسازید. مثل یک مهندس داده حرفه‌ای در پروژه‌های واقعی فکر و کار کنید. پیش‌نیازهای دوره دانش اولیه برنامه‌نویسی Python آشنایی با ابزارهای خط فرمان مفید است، اما الزامی نیست. درک پایگاه‌داده یا SQL یک امتیاز محسوب می‌شود. یک کامپیوتر که بتواند Docker و Python را به‌صورت محلی اجرا کند. تمایل به دنبال کردن تمرین‌های کدنویسی زنده هیچ تجربه قبلی با Airflow لازم نیست. دسترسی به یک ویرایشگر کد مانند VS Code توضیحات دوره Apache Airflow یکی از پرتقاضاترین ابزارها در مهندسی داده مدرن، مهندسی تحلیل و پلتفرم‌های داده پشتیبان است. این دوره یک مسترکلاس کامل و متمرکز بر تولید برای Apache Airflow است که شما را از یک مبتدی مطلق به یک کاربر مطمئن و حرفه‌ای Airflow در دنیای واقعی تبدیل می‌کند. این یک آموزش کوتاه یا مرور سطحی نیست. ابتدا Apache Airflow را از الف تا ی یاد می‌گیرید و می‌فهمید که واقعاً در پشت صحنه چگونه کار می‌کند. سپس این دانش را با ساخت یک پروژه کامل مهندسی داده سرتاسری با استفاده از گردش‌کارهای واقعی داده به‌کار می‌گیرید. بخش 1: دوره کامل Apache Airflow (مبتدی تا پیشرفته) در بخش اول دوره، از ابتدا شروع می‌کنیم و به‌تدریج به مفاهیم پیشرفته و آماده تولید می‌رسیم. هر درس به‌صورت شفاف ساختاربندی شده و با کاربردهای واقعی هماهنگ است. شما یاد خواهید گرفت: Apache Airflow چیست، چرا استفاده می‌شود و چه زمانی باید یا نباید از آن استفاده کرد؟ بلوک‌های اصلی سازنده: DAGها، Taskها، Operatorها، Hookها، Sensorها و XCom توضیح کامل و تصویری معماری Airflow، شامل Scheduler، Webserver، اجراکننده، Workers و Metadata Database اجراکننده‌های مختلف Airflow (Local، Celery، Kubernetes) و چگونگی انتخاب گزینه مناسب نصب و اجرای Apache Airflow با استفاده از Docker و راه‌اندازی محلی ناوبری و استفاده مؤثر از رابط کاربری Airflow نوشتن DAGها با استفاده از API مدرن TaskFlow بررسی عمیق operatorها همراه با دموهای واقعی (Python ،Bash ،Cloud و Sensorها) Variables ،Connections ،Secrets و بهترین شیوه های پیکربندی جزئیات داخلی XCom، اشتباهات رایج و الگوهای نادرست مفاهیم زمان‌بندی شامل syntax کرون، timetableها، catchup و backfill Task Groupها و Dynamic Task Mapping با مثال‌های عملی مدیریت خطا، تلاش‌های مجدد، لاگ کردن، نظارت و بهترین شیوه های تولید تا پایان این بخش، Airflow را مانند یک مهندس داده فعال درک خواهید کرد، نه فقط کسی که نمونه DAGها را کپی می‌کند. بخش 2: پروژه واقعی مهندسی داده سرتاسری در بخش دوم دوره، یک پروژه کامل و واقعی مهندسی داده را با استفاده از Apache Airflow می‌سازیم. شما یک خط‌لوله خودکار خواهید ساخت که: داده زنده عملیات پرواز را از APIهای خارجی دریافت می‌کند. معماری Medallion را پیاده‌سازی می‌کند: لایه Bronze برای دریافت خام لایه Silver برای داده پاک‌سازی و نرمال‌شده لایه Gold برای KPIهای آماده تحلیل داده را در بازه‌های زمانی مشخص و به‌صورت افزایشی پردازش می‌کند. داده تحلیلی را در یک انبار داده ابری بارگذاری می‌کند. تلاش‌های مجدد، خطاها، وابستگی‌ها و اجرای مجدد را به‌صورت ایمن مدیریت می‌کند. مجموعه‌داده آماده تحلیل و مناسب برای داشبوردها تولید می‌کند. این پروژه دقیقاً بر الگوها، هماهنگ‌سازی و تحلیل تمرکز دارد؛ همان‌طور که تیم‌های واقعی مهندسی داده کار می‌کنند. این دوره برای چه کسانی است؟ مبتدیانی که می‌خواهند Apache Airflow را از ابتدا و به‌درستی یاد بگیرند. تحلیل‌گران داده که به دنبال ورود به نقش‌های مهندسی داده هستند. مهندسان داده‌ای که برای پروژه‌ها یا مصاحبه‌های واقعی آماده می‌شوند. مهندسان تحلیلی که با ابزارهای هماهنگ‌سازی کار می‌کنند. هر کسی که به دانش Airflow در سطح تولید نیاز دارد، نه فقط تئوری پس از پایان این دوره، قادر خواهید بود: پایپ لاین های Airflow آماده تولید را طراحی و پیاده‌سازی کنید. معماری Airflow و انتخاب اجراکننده‌ها را با اطمینان درک کنید. DAGهای تمیز و قابل نگهداری را با استفاده از بهترین روش‌های مدرن بنویسید. پایپ لاین‌های داده سرتاسری را با استفاده از APIها و گردش‌کارهای واقعی بسازید. مثل یک مهندس داده حرفه‌ای فکر کنید، نه دنبال‌کننده آموزش‌ها این دوره با رویکردی عملی و مبتنی بر دنیای واقعی ساخته شده و برای هر کسی که می‌خواهد Apache Airflow را فراتر از سطح مقدماتی به‌طور جدی یاد بگیرد، ایده‌آل است. این دوره برای چه کسانی مناسب است؟ مبتدیانی که می‌خواهند Apache Airflow را از ابتدا یاد بگیرند. تحلیل‌گران داده که به دنبال ورود به نقش‌های مهندسی داده هستند. مهندسان داده مشتاق یا تازه‌کار که هدفشان پروژه‌های تولید است. مهندسان تحلیلی که می‌خواهند به ارکستراسیون گردش‌کار مسلط شوند. مهندسان پشتیبان که به ساخت پایپ لاین های داده علاقه‌مندند. حرفه‌ای‌هایی که برای مصاحبه‌های متمرکز بر Airflow آماده می‌شوند. هر کسی که به دنبال تجربه عملی با پایپ لاین‌های واقعی است. هر کسی که جدی است و می‌خواهد یک مهندس داده مطمئن و واقعی شود.