دوره تسلط به پایپ‌لاین‌های اعلانی Lakeflow Spark در Databricks

آنچه یاد خواهید گرفت: معماری دلتا مروری بر پایپ‌لاین‌های اعلانی Lakeflow درک آبجکت های داده: جدول‌های جریانی، ویوهای مادی‌شده و ویوها کنترل کیفیت داده با پایپ‌لاین‌های اعلانی Lakeflow درک جریان‌ها: جریان‌های الحاقی و CDC خودکار درک sinks مدیریت پایپ‌لاین‌های اعلانی - محاسبات و امنیت ارکستراسیون پایپ‌لاین‌های اعلانی نظارت بر پایپ‌لاین‌های اعلانی استقرار پایپ‌لاین‌های اعلانی پیش‌نیازهای دوره فضای کاری Azure Databricks و Unity Catalog Azure Event Hubs آشنایی اولیه ناوبری رابط کاربری Databricks مبانی PySpark و Spark SQL توضیحات دوره این دوره یک راهنمای عملی و جامع برای پایپ‌لاین‌های اعلانی Lakeflow Spark در Databricks ارائه می‌دهد و کل چرخه عمر آن را از توسعه تا استقرار و نظارت پوشش می‌دهد. در این دوره، فراگیران با اجزای اصلی پایپ‌لاین‌های اعلانی مانند جدول‌های جریانی، ویوهای مادی‌شده، جریان‌ها و sinks آشنا می‌شوند. همچنین محدودیت‌های جدول‌های جریانی و ویوهای مادی‌شده توضیح داده می‌شود و در کنار آن، بهترین شیوه‌ها برای طراحی این اجزا ارائه می‌گردد. بخش کنترل کیفیت داده، کنترل‌های انتظار کیفیت را نشان می‌دهد و امکان تعریف شرایط انعطاف‌پذیر برای کیفیت داده و اقدامات اجرایی برای اعمال آن‌ها را فراهم می‌کند. موضوع جریان‌ها و sinks انواع مختلف جریان را توضیح می‌دهد، از جمله CDC خودکار و جریان‌های عکس‌فوری، و نشان می‌دهد که پایپ‌لاین‌های اعلانی چگونه می‌تواند داده را به سیستم‌های خارجی مانند جدول‌های دلتا، سرویس‌های جریانی و مقصدهای سفارشی بنویسد. موضوعات مربوط به مدیریت پایپ‌لاین‌های اعلانی ابزارهای محاسبات، ارکستراسیون و امنیت را پوشش می‌دهند. تنظیمات امنیتی نیز با جزئیات، از جمله سطح دسترسی کاربران، هویت‌های پایپ‌لاین و مجوزهای لازم برای اجرای امن در محیط‌های مختلف بررسی می‌شوند. بخش نظارت، رویدادها و معیارهایی را که نیاز به نظارت دارند توضیح می‌دهد، و همچنین ابزارهای تعاملی و برنامه‌نویسی مختلفی را که در Databricks برای نظارت در دسترس هستند معرفی می‌کند. روش‌های استقرار از طریق چرخه‌های DevOps، یکپارچه‌سازی با کنترل سورس و استفاده از بسته‌های دارایی Databricks (DABs) برای استقرارهای ساده‌تر و مبتنی بر YAML توضیح داده می‌شوند. این دوره شامل چندین آزمون کوتاه برای ارزیابی دانش دانشجویان است. همچنین یک پروژه‌ی نهایی به دانشجویان فرصت می‌دهد تا با ساخت یک پایپ‌لاین اعلانی Lakeflow Spark کامل بر پایه یک مجموعه‌داده متن‌باز، آموخته‌های خود را به‌صورت عملی محک بزنند. دانشجویان یک رویکرد پیشرفته برای توسعه‌ی پایپ‌لاین اعلانی را یاد می‌گیرند و برای مباحث مرتبط با جریانی در زمان واقعی که بخشی از مسیر آزمون Databricks Data Engineering Professional هستند، آماده می‌شوند. این دوره برای چه کسانی مناسب است؟ مهندسان و معماران داده که علاقه‌مند به ارتقای دانش خود درباره Databricks هستند.