آنچه یاد خواهید گرفت:
Azure Databricks DLT
DLT با استفاده از SQL
DLT با استفاده از Python
DLT: ساخت Lakehouse با استفاده از DLT
پیشنیازهای دوره
مهارتهای اولیه Python
مهارتهای اولیه SQL
حساب Azure
توضیحات دوره
ماژول 1:
راهاندازی حساب Azure
راهاندازی Workspace
ناوبری در Workspace
کلاسترها
Notebook چیست؟
کتابخانهها چه هستند؟
سیستم فایل Databricks (DBFS)
DBUTILS
ماژول 2:
معماری Data Lakehouse چیست؟
Delta Lake چیست؟
آزمایشگاه: ایجاد Delta Table
آزمایشگاه: دریافت داده در Delta
آزمایشگاه: بروزرسانی / حذف / ادغام
آزمایشگاه: اعتبارسنجی اسکیما
آزمایشگاه: ستونهای تولیدی
ماژول 3:
درک Delta Live Tables
آزمایشگاه: توسعه Delta Live Tables با استفاده از فایل CSV
آزمایشگاه: نحوه افزودن اسکیما به دادههای CSV در DTL
آزمایشگاه: توسعه Delta Live Tables با استفاده از فایل JSON و Parquet
آزمایشگاه: ساخت پایپلاین DLT استریمینگ با استفاده از CSV
آزمایشگاه: ساخت پایپلاین DLT استریمینگ با استفاده از JSON
آزمایشگاه: تبدیل DLT - بخش اول
آزمایشگاه: تبدیل DLT - بخش دوم
آزمایشگاه: بررسی کیفیت داده در DLT
ماژول 4:
آزمایشگاه: ایجاد اولین پایپلاین Delta Live Table
آزمایشگاه: تکامل اسکیما DLT
آزمایشگاه: تغییر اسکیما در پایپلاین DLT
آزمایشگاه: ساخت پایپلاین DLT استریمینگ
آزمایشگاه: تکامل اسکیما در پایپلاین DLT استریمینگ
آزمایشگاه: بررسی کیفیت
آزمایشگاه: بررسیهای کیفیت قابل استفاده مجدد
آزمایشگاه: DLT با SQL Server و پایپلاین پارامتری
ماژول 5:
مورد کاربرد پروژه
معماری Medallion Lakehouse
پیکربندی SQL Server
ساخت: لایه دریافت محصولات
ساخت: لایه دریافت مشتریان
ساخت: لایه دریافت سفارشات
پیکربندی Event Hub و ایجاد Producer
ساخت: لایه دریافت استریمینگ
توسعه لایه Bronze
ساخت پایپلاین Silver Products
ساخت پایپلاین Silver Customer
ساخت پایپلاین Silver Order
ساخت پایپلاین Silver Online Event
ساخت پایپلاین Silver Weblogs
ساخت لایه GOLD
ساخت کوئریهای KPI
ساخت داشبورد
این دوره برای چه کسانی مناسب است؟
دانشجویان و توسعهدهندگان مهندسی داده
توسعهدهندگان Big Data
توسعهدهندگان Python و SQL