آنچه یاد خواهید گرفت:
مفاهیم اصلی مهندسی داده در AWS را بهطور کامل یاد بگیرید و درک کنید که پلتفرمهای داده مدرن چگونه روی AWS ساخته میشوند.
پایپلاینهای داده end-to-end را روی AWS، از دریافت داده تا تحلیل، طراحی و پیادهسازی کنید.
دریاچههای داده مقیاسپذیر با استفاده از Amazon S3 برای ذخیرهسازی داده ساختاریافته و نیمهساختاریافته ایجاد کنید.
با استفاده از AWS Glue و مثالهای عملی واقعی، ETL (استخراج، تبدیل و بارگذاری) را انجام دهید
پایپلاینهای داده بدون سرور را با استفاده از AWS Lambda بسازید.
مجموعه دادهها را با Amazon Athena و بدون مدیریت سرور کوئری کنید.
معماریهای رویداد محور را با استفاده از Amazon SNS بسازید.
پایپلاینها را با AWS CloudWatch نظارت و عیبیابی کنید.
تجربه عملی با سرویسهای AWS مورد استفاده مهندسان حرفهای داده به دست آورید.
پیشنیازهای دوره
درک پایه از کامپیوتر و اینترنت
هیچ تجربه قبلی با AWS لازم نیست. همه موارد از ابتدا توضیح داده میشود.
یک کامپیوتر با اتصال اینترنت برای دسترسی به سرویسهای AWS و انجام تمرینهای آزمایشگاهی
توضیحات دوره
تسلط به مهندسی داده در AWS - ساخت پایپلاینهای داده واقعی روی AWS
با تسلط به مهمترین سرویسهای مهندسی داده AWS که شرکتها در سراسر جهان از آنها استفاده میکنند، به یک مهندس حرفهای داده AWS تبدیل شوید. این دوره برای کمک به شما در ساخت پایپلاینهای داده واقعی، دریاچه های داده، گردشکارهای ETL، پایپلاینهای استریمینگ و راه حل های تحلیلی با استفاده از AWS طراحی شده است.
اگر میخواهید به مهندس داده AWS، مهندس داده ابری و مهندس کلان داده تبدیل شوید یا برای نقشهای تحلیلگر داده AWS و مهندس داده AWS آماده شوید، این دوره تجربه عملی و کاربردی لازم را با مهمترین سرویسهای AWS در اختیار شما قرار میدهد.
شما یاد میگیرید چگونه پایپلاینهای مهندسی داده end-to-end را با استفاده از سرویسهایی مانند S3 و Glue و Lambda و Kinesis و Redshift و Athena و EMR و SNS و CloudWatch و موارد دیگر در AWS طراحی کردهو بسازید.
این دوره تمرکز زیادی بر پروژههای واقعی و تمرینهای عملی دارد، بنابراین مهارتهای کاربردی لازم برای کار به عنوان مهندس داده AWS در محیطهای تولید را به دست خواهید آورد.
آنچه یاد خواهید گرفت:
ساخت پایپلاینهای مهندسی داده end-to-end در AWS
ایجاد دریاچه داده با استفاده از Amazon S3
انجام ETL با AWS Glue
پردازش کلان داده با Amazon EMR
ساخت پایپلاینهای استریمینگ بلادرنگ با Amazon Kinesis
اجرای پایپلاینهای داده بدون سرور با AWS Lambda
کوئری داده با Amazon Athena
ساخت انبار داده با Amazon Redshift
پیادهسازی معماریهای رویداد محور با SNS و SQS
پایش پایپلاینها با AWS CloudWatch
طراحی معماری داده AWS در سطح تولید
درک بهترین شیوهها برای مهندسی داده در AWS
کار با داده ساختاریافته و نیمهساختاریافته
ساخت پایپلاینهای داده دستهای و استریمینگ
یادگیری معماری دریاچه داده در AWS
پیادهسازی جذب، تبدیل و تحلیل داده
سرویسهای AWS پوشش داده شده در دوره
این دوره مهمترین سرویسهای AWS مورد استفاده در مهندسی داده و پایپلاینهای کلان داده را پوشش میدهد.
ذخیرهسازی داده
Amazon S3
معماری دریاچه داده
ETL و پردازش داده
AWS Glue
AWS Lambda
داده استریمینگ
Amazon Kinesis
پردازش کلان داده
Amazon EMR
Spark روی AWS
تحلیل داده
Amazon Athena
نظارت و خودکارسازی
AWS CloudWatch
پایپلاینهای رویداد محور
پیامرسانی و نوتیفیکیشنها
Amazon SNS
مهندسی داده واقعی در AWS
در این دوره چندین پروژه واقعی مهندسی داده AWS را خواهید ساخت، مانند:
ساخت دریاچه داده روی AWS S3
ایجاد پایپلاینهای ETL با AWS Glue
کوئری داده با Amazon Athena
ساخت پایپلاینهای بدون سرور با AWS Lambda
ایجاد معماریهای رویداد محور با SNS
نظارت بر پایپلاینها با CloudWatch
این پروژهها سناریوهای واقعی تولید را که توسط تیمهای مدرن مهندسی داده استفاده میشوند، شبیهسازی میکنند.
چرا مهندسی داده AWS را یاد بگیریم؟
مهندسی داده یکی از پردرآمدترین نقشها در حوزه ابر و کلان داده است.
شرکتها به سرعت در حال انتقال پلتفرمهای داده خود به AWS هستند و به مهندسان داده AWS ماهر نیاز دارند که بتوانند دریاچههای داده، پایپلاینهای ETL و سیستمهای تحلیلی مقیاسپذیر طراحی کنند.
با یادگیری مهندسی داده AWS، میتوانید فرصتهای شغلی زیر را به دست آورید:
مهندس داده AWS
مهندس داده ابر
مهندس کلان داده
مهندس پلنفرم داده
مهندس تحلیل
مخاطبان دوره:
مهندسان داده و مهندسان ابر
توسعهدهندگان نرمافزار
مهندسان کلان داده
توسعهدهندگان پایتون
توسعهدهندگان ETL
کسی که میخواهد به مهندس داده AWS تبدیل شود.
پیشنیازهای دوره
درک پایه از:
SQL
مفاهیم ابر
مبانی مهندسی داده (مفید است اما الزامی نیست.)
هیچ تجربه قبلی با AWS لازم نیست. همه موارد از سطح مبتدی تا پیشرفته توضیح داده میشود.
این دوره برای چه کسانی مناسب است؟
افرادی که میخواهند مهندس داده AWS شوند و پایپلاینهای داده واقعی را روی AWS بسازند.
مهندسان داده که میخواهند مهارتهای خود را در سرویسهای مهندسی داده AWS یاد بگیرند یا ارتقا دهند.
مهندسان ابر که میخواهند در مهندسی داده روی AWS تخصص پیدا کنند.
توسعهدهندگان ETL که میخواهند به مهندسی داده مدرن در ابر مهاجرت کنند.