دوره مسترکلاس Snowflake - مهندسی داده Cloud Native

آنچه یاد خواهید گرفت: طراحی معماری Snowflake برای انبارهای +100TB با خوشه‌بندی، materialized viewها و استریم‌ها برای پایپ‌لاین‌های بلادرنگ بهینه‌سازی کوئری‌های اس کیوال تا 10 برابر با توابع پنجره، پروفایل‌های کوئری و تعیین سایز انبار همراه با تجزیه دقیق هزینه واقعی ساخت مدل‌های تولید در DBT با Snowflake: تست، بارگذاری افزایشی، کنترل هزینه‌ها و استقرار از طریق GitHub Actions مهاجرت از اوراکل و Redshift به Snowflake: ارزیابی اسکیماها، بازنویسی کوئری‌ها، اعتبارسنجی داده با الگوهای بدون داون‌تایم پیاده‌سازی امنیت Snowflake: کنترل دسترسی مبتنی بر نقش (RBAC)، ماسک کردن ستون، سیاست‌های دسترسی سطح ردیف، لاگ حسابرسی برای الزامات انطباق سازمانی پیش‌نیازهای دوره دانش اولیه اس کیوال (SELECT ،JOIN و GROUP BY)، بدون نیاز به حساب Snowflake (از نسخه‌های آزمایشی رایگان استفاده می‌کنیم) آشنایی با مبانی خط فرمان (cd ،ls و git clone)، همه کدها را در قالب‌های قابل کپی و پیست کردن ارائه کرده‌ایم. فقط ابزارهای رایگان: نسخه آزمایشی 30 روزه Snowflake، ویژوال استودیو کد و پایتون 3.10+ (هیچ سرویس پولی لازم نیست) ذهنیت مهندسی داده: شما الگوهای تولید می‌خواهید، نه مثال‌های نمایشی، هم مبتدی‌ها و هم افراد باتجربه می‌توانند در این دوره شرکت کنند. توضیحات دوره بیشتر آموزش‌های Snowflake فقط به شما یاد می‌دهند چگونه یک SELECT اجرا کنید. این دوره به شما یاد می‌دهد Snowflake چگونه فکر می‌کند و همین همه‌چیز را تغییر می‌دهد. در پایان این دوره خواهید دانست چرا معماری 3 لایه Snowflake از هر انبار سنتی بهتر عمل می‌کند، چگونه انبارهای مجازی را قبل از ساخت، از نظر سایز و هزینه کنترل کنید و چگونه بدون نوشتن یک scheduler، میلیون‌ها ردیف داده را بارگذاری کنید. شما Change Data Capture را با استریم‌ها و جداول پویا پیاده‌سازی می‌کنید، داده تولید را با RBAC و ماسک کردن ستون قفل می‌کنید، و یک midnight DELETE را با Time Travel در کمتر از 3 دقیقه بازیابی می‌کنید. هر درس با یک حادثه واقعی آغاز می‌شود. هر الگو در سطح تولید است. هر ضدالگو از یک اشتباه واقعی آمده که هزینه آن اعتبار فرد بوده است. آنچه یاد خواهید گرفت: معماری Snowflake: سرویس‌های ابری، انبارهای مجازی، میکروپارتیشن‌ها و pruning پارتیشن انبارهای مجازی: تعیین سایز، suspend کردن خودکار، مقیاس‌بندی چند خوشه‌ای، ایزوله‌سازی بار کاری و مدل اعتبار بارگذاری داده: stageهای داخلی و خارجی، COPY INTO ،Snowpipe برای هضم پیوسته و ستون‌های VARIANT برای داده نیمه‌ساختاریافته JSON و Parquet: اس کیوال پیشرفته: CTEها، توابع پنجره، QUALIFY clause و بهینه‌سازی پروفایل کوئری پایپ‌لاین‌ها: استریم‌ها برای change data capture، تسک‌ها برای زمان‌بندی و جداول پویا برای مدیریت پایپ‌لاین اعلانی امنیت و حاکمیت: سلسله‌مراتب نقش در کنترل دسترسی مبتنی بر نقش، سیاست‌های ماسک کردن ستون، سیاست‌های دسترسی سطح ردیف، سیاست‌های شبکه و ACCESS_HISTORY برای حسابرسی انطباق Zero-Copy Cloning ،Time Travel و اشتراک‌گذاری داده نیتیو بدون ETL توسعه مدرن: Snowpark Python، توابع مدل زبانی بزرگ Cortex AI، نوت‌بوک‌ها و Streamlit در Snowflake بهینه‌سازی هزینه: 5 ضدالگویی که هزاران دلار هدر می‌دهند و محاسبات سرانگشتی برای برآورد هزینه قبل از ساخت آنچه خواهید ساخت: یک معماری چند-انباری با ایزوله‌سازی بار کاری و suspend کردن خودکار پایپ‌لاین هضم پیوسته Snowpipe که با رویدادهای ابری تریگر می‌شود. یک پایپ‌لاین CDC با استریم‌ها، تسک‌هاو MERGE برای بارها کاری upsert یک پلتفرم سازگار با GDPR با سیاست‌های دسترسی سطح ردیف، ماسک کردن ستون و تاریخچه دسترسی مدل هزینه برای برآورد مخارج قبل از provision کردن هر چیزی داشبوردهای Streamlit که داخل Snowflake اجرا می‌شوند و از Cortex AI برای امتیازدهی احساسات استفاده می‌کنند این دوره شامل یک آزمون تمرینی 45 سؤالی، 5 سؤال سناریومحور برای هر ماژول، است تا مطمئن شوید می‌توانید آنچه یاد گرفته‌اید را به‌کار ببرید، نه اینکه فقط آن را به خاطر بسپارید. این دوره برای مهندسان داده‌ای است که به Snowflake مهاجرت می‌کنند، مهندسان تحلیلی که می‌خواهند بفهمند چه چیزی تحت اس کیوال آن‌ها اجرا می‌شود و معمارانی که در حال طراحی یک استقرار Snowflake جدید هستند. این آموزش همان دوره‌ای است که شما را از کاربر Snowflake به مهندس Snowflake تبدیل می‌کند. این دوره برای چه کسانی مناسب است؟ مهندسان داده تازه‌کار که به دنبال الگوهای تولید Snowflake که برای بارهای کاری سازمانی مقیاس‌بندی می‌شوند، هستند و می‌خواهند از اولین کوئری‌ها شروع کنند. مهندسان داده سطح متوسط که درگیر کوئری‌های کند، هزینه‌های بالا یا ETL پیچیده هستند و آماده‌اند تکنیک‌های بهینه‌سازی را یاد بگیرند که عملکرد را 10 برابر بهتر می‌کنند. معماران ارشد که برای مهاجرت از اوراکل و Redshift برنامه‌ریزی می‌کنند و به استراتژی‌های بدون داون‌تایم و مدل‌های هزینه واقعی نیاز دارند. تیم‌هایی که پایپ‌لاین‌های DBT و Snowflake می‌سازند و به الگوهای تست، استقرار و نظارت در سطح تولید نیاز دارند. توسعه‌دهندگان هوش تجاری و تحلیل‌گران Snowflake که به مهندسی داده منتقل می‌شوند و به پایپ‌لاین‌های واقعی و عمق اس کیوال در سطح تولید نیاز دارند.