کد هشتم • شروع از پنجشنبه 24 دی

دوره جامع مهندسی داده

تمرکز روی امنیت و استقرار پایپ‌لاین‌های داده

دکتر محمد فزونی
ثبت‌نام در دوره

ویژگی‌های دوره

سطح متوسط تا پیشرفته
75 ساعت آموزش
محتویات کمکی قابل دانلود
در بستر اسپات پلیر
مدرک پایان دوره
آموزش کاملن عملی و کاربردی
رفع اشکال توسط خود مدرس
از توسعه‌ی محلی تا دیپلوی روی سرورها

مهندسی داده چیست؟

مهندسی داده (Data Engineering) هنر و علم طراحی، ساخت و نگهداری زیرساخت‌هایی است که جریان داده را از منابع مختلف (مانند پایگاه‌های داده، اپلیکیشن‌ها و دستگاه‌های اینترنت اشیا) به سمت تحلیل‌گران، دانشمندان داده و مدل‌های هوش مصنوعی هدایت می‌کند. در واقع، مهندس داده کسی است که «جاده‌های داده» را می‌سازد؛ جاده‌هایی امن، سریع و مقیاس‌پذیر تا داده‌های خام و پراکنده به داده‌های تمیز، ساختاریافته و قابل استفاده تبدیل شوند. بدون وجود این زیرساخت، هیچ مدل هوش مصنوعی یا داشبورد تحلیلی نمی‌تواند به درستی کار کند.

چرا یادگیری مهندسی داده در این مقطع زمانی حیاتی است؟ ما در عصر انفجار داده زندگی می‌کنیم. حجم داده‌هایی که روزانه تولید می‌شود بی‌سابقه است و شرکت‌ها به شدت به دنبال افرادی هستند که بتوانند این داده‌های عظیم را مدیریت، پردازش و به ارزش تجاری تبدیل کنند. از سوی دیگر، ظهور ابزارهای مدرنی نظیر Apache Spark، Kafka، Delta Lake و پلتفرم‌های ابری، این حوزه را از یک کار تکراری به یک نقش استراتژیک و بسیار پردرآمد تبدیل کرده است. در این میان، مباحث امنیت داده و استقرار حرفه‌ای (Deployment) به دغدغه‌ی اصلی سازمان‌ها تبدیل شده است؛ چرا که داده‌های لو رفته یا زیرساخت‌های ناپایدار، می‌توانند به سرعت به بحران تبدیل شوند. بنابراین، مهندسی داده تنها یک تخصص فنی نیست، بلکه یک مزیت رقابتی کلیدی برای هر متخصص فناوری اطلاعات در دنیای امروز به شمار می‌رود و یادگیری آن، دروازه‌ای به سوی فرصت‌های شغلی سطح بالا و بین‌المللی است.

سرفصل‌های دوره

Introduction1 ساعت

در این بخش به ذکر اصلی‌ترین مفاهیم موجود در دنیای مهندسی داده می‌پردازیم. نکات مطرح شده در این بخش از کتاب مطرح و پرآوازه‌ی «Fundamentals of Data Engineering» اخذ خواهد شد.

Linux2 ساعت

در این بخش، به نصب WSL در ویندوز پرداخته و سپس اصلی‌ترین دستورات این سیستم عامل را در دنیای مهندسی داده بررسی خواهیم نمود. اگر کامپیوتر شما MacOS است نیازی به این کار نخواهید داشت.

Docker6 ساعت

در این‌روزها که حرف از معماری میکروسرویس همه‌جا هست و فراگیر شده، غیرممکن است که بدون داکر بتوانیم کاری از پیش ببریم. پس با داکر بعنوان یکی از ابزارهای اساسی در دنیای مهندسی داده کار خواهیم نمود.

Airflow8 ساعت

در دنیای مهندسی داده ETL یکی از کارهای روزمره و اساسی هر مهندس داده است. آپاچی ایرفلو که یکی از اساسی‌ترین ابزارهای مدیریت جریان داده است، به این افراد کمک می‌کند که دیتاپایپ‌لاین‌های مجموعه را براحتی رصد کرده و مدیریت نمایند. از این طریق، بسادگی می‌توانیم نقاطی که دارای مشکل و خطا هستند را ببینیم و در اولین فرصت ممکن به رفع مشکلات بپردازیم.

Cloud3 ساعت

در این قسمت با مفاهیم کلیدی کلاد کامپیوتینگ یا همان محاسبات ابری و سرویس‌های مختلف در پنل ابری ابرآروان آشنا خواهیم شد. تلاش خواهیم نمود که بخش زیادی از تسک‌های دوره را روی این سرویس دهنده‌ی خدمات ابری پیاده‌سازی نمائیم تا شما بصورت عملی با محیط پروداکشن یا تولید بطور کامل آشنا شوید. این بخش مخصوص شرکت‌کنندگان داخل ایران است که دسترسی به پنل‌های ابری سرویس‌دهندگان بزرگ مثل AWS, Azure, GCP ندارند.

GitHub Actions4 ساعت

گیت‌هاب اکشنز یک ویژگی CI/CD (ادغام مداوم/انتشار مداوم) است که توسط گیت‌هاب ارائه می‌شود و به توسعه‌دهندگان امکان می‌دهد که جریان‌های کاری یا پایپ‌لاین‌های خود را به طور خودکار در مخزن‌های گیت‌هاب تنظیم کنند. این کار با استفاده از فایل‌های YAML برای تعریف جریان‌های کاری که می‌توانند با رخدادهای مختلفی مانند ارسال کد (code pushes)، درخواست‌های کشش (Pull request) یا مشکلات (issues) فعال شوند، انجام می‌شود. در حال حاضر در اکثر کمپانی‌های مطرح دنیا، اکثر توسعه‌دهندگان و مهندسان داده از این عملیات‌ها برای محیط پروداکشن مجموعه استفاده می‌نمایند.

Kafka15 ساعت

سال‌ها بود که سیستم‌های یکپارچه از پایگاه‌های داده بعنوان محلی برای تجمیع داده‌ها و ارسال به مصرف‌کنندگان دیتا استفاده می‌کردند. اما معماری میکروسرویس این را برنمی‌تابد. در این معماری باید تولیدکنندگان و مصرف‌کنندگان داده تا حد ممکن از یکدیگر مجزا شوند. اینجا بود که آپاچی کافکا بعنوان یک مکان خاص برای دریافت و ارسال داده‌ها وارد کار شد. آپاچی کافکا در حال حاضر یکی از مهم‌ترین ابزارهای ممکن در دنیای پردازش داده‌های استریم و در لحظه است. میزان تاخیر ارسال داده‌ها در این سیستم در پایین‌ترین حد ممکن قرار دارد. از این رو، آپاچی کافکا توسط 80 درصد شرکت‌های مختلف در حوزه‌ی تکنولوژی دنیا بکار گرفته خواهد شد. در این دوره یکی از مباحث اصلی کار، کافکا می‌باشد که تا حد بسیار عمیقی با آن آشنا خواهیم شد و کارهای عملی عمیقی در آن انجام می‌دهیم.

Spark15 ساعت

زمانی هدوپ حرف اول و آخر دنیای پردازش داده‌ها را می‌زد. مهندسین در این حوزه بالاترین دستمزد ممکن را داشتند. تا اینکه آپاچی اسپارک متولد شد و با سرعت وحشتناک خود و اینکه یک سیستم پردازش داده‌ی توزیع‌شده بود، همگان را شگفت‌زده کرد. در این کورس، سعی خواهیم نمود که علاوه بر کافکا، اسپارک را نیز در حد بسیار حرفه‌ای بشما آموزش دهیم. مشابه با کافکا، در این حوزه نیز با دو زبان پایتون و جاوا با هسته‌ی اسپارک ارتباط برقرار خواهیم نمود. با اسپارک تقریبن هر کاری که یک مهندس داده و یک متخصص ام‌ال‌آپس نیاز به آن دارد را می‌توانیم انجام دهیم. از کوئری‌نویسی‌ها در زبان SQL گرفته تا انجام و پیاده‌سازی الگوریتم‌های یادگیری ماشین.

Delta Lake3 ساعت

بعد از ظهور دیتابیس‌های رابطه‌ای و عملکرد فوق‌العاده‌ی آنها بتدریج وارد عصری شدیم که دیگر این نوع از دیتابیس‌ها پاسخگوی نیازهای سازمان‌ها نبودند. در این زمان بود که دیتاورهوزها پا به عرضه‌ی وجود گذاشتند. ام بعد از مدت کوتاهی بخاطر حجم بالای داده، این ساختار نیز با مشکلاتی مواجه شد. عصر هوش مصنوعی مفهوم و ساختاری با عنوان دیتالیک را برای ما به ارمغان آورد. اما باز هم گذشت زمان بما ثابت کرد که باز هم زیرساخت‌هایی دیتایی مجموعه خالی از نقص نیست. تا اینکه رسیدیم به ساختار Data Lake House که به کمک ابزارهایی همانند Delta Lake که توسط تیم اسپارک توسعه داده شده بود، اجرا می‌گردید.

Kubernetes6 ساعت

یکی از ضعف‌های آپاچی اسپارک این است که سیستمی برای مدیریت کلاستر و نودها ندارد. در دنیای ام‌ال‌آپس به کمک کوبرنتیز که یک ابزار فوق‌العاده قدرتمند است، سعی خواهیم نمود که یک یک کلاستر اسپارک را پیاده‌سازی کرده و مدیریت آنرا به کوبرنتیز بسپاریم. کوبرنتیز، در ابتدا توسط گوگل توسعه داده شد. اما مدتی بعد تبدیل گردید به یک پروژه‌ی متن‌باز. در حال حاضر این ابزار تبدیل شده است به حالت پیش‌فرض در دنیای مدیریت کانتینرها.در این کورس ابتدا مقدمات و مفاهیم اساسی این ابزار را خواهیم آموخت. سپس، به انجام کارهای عملی ممکن که یک مهندس داده به آن معلومات و دانسته‌ها نیاز دارد، می‌پردازیم.

Design a Data Platformپروژه نهایی6 ساعت

در این پروژه‌ی نهایی و جامع، شما تمامی مهارت‌های کسب‌شده در طول دوره را در قالب طراحی و پیاده‌سازی یک دیتا پلتفرم واقعی و مدرن به کار می‌گیرید. معماری این پلتفرم به گونه‌ای طراحی شده که داده‌های جریانی و حجیم را به صورت یکپارچه مدیریت کند. در این راستا، با استفاده از Apache Kafka به عنوان لایه‌ی دریافت و انتقال داده‌های جریانی (Streaming) اقدام می‌کنید و سپس داده‌ها را با استفاده از موتور پردازش توزیع‌شده‌ی Apache Spark به صورت بلادرنگ و دسته‌ای (Batch) پردازش و تبدیل می‌نمایید. برای مدیریت و ذخیره‌سازی بهینه‌ی داده‌ها، از Delta Lake بهره می‌گیرید تا ویژگی‌هایی نظیر تراکنش‌های ACID، مدیریت نسخه‌ها (Time Travel) و تضمین یکپارچگی داده‌ها را در لایه‌ی ذخیره‌سازی تجربه کنید. در نهایت، کل این زیرساخت را بر بستر Cloud پیاده‌سازی و دیپلوی می‌کنید. این پروژه به شما دیدگاهی کامل از چگونگی ساخت یک دیتا پلتفرم مقیاس‌پذیر، مقاوم و مدرن از نقطه‌ی تولید داده تا لایه‌ی تحلیل و سرویس‌دهی می‌دهد.

مجموع 69 ساعت شروع از پنجشنبه 24 دی ساعت 13 الی 19 در بستر گوگل‌میت

برنامه زمان‌بندی جلسات

۱
۲۴ دی‌ماه ۱۴۰۵
۲
۱ بهمن‌ماه ۱۴۰۵
۳
۸ بهمن‌ماه ۱۴۰۵
۴
۱۵ بهمن‌ماه ۱۴۰۵
۵
۲۹ بهمن‌ماه ۱۴۰۵
۶
۶ اسفندماه ۱۴۰۵
۷
۱۳ اسفندماه ۱۴۰۵
۸
۵ فروردین‌ماه ۱۴۰۶
۹
۱۹ فروردین‌ماه ۱۴۰۶
۱۰
۲۶ فروردین‌ماه ۱۴۰۶
۱۱
۲ اردیبهشت ۱۴۰۶
۱۲
۹ اردیبهشت ۱۴۰۶ (جلسه پایانی)

ثبت‌نام در دوره

مدرس دوره

مدرس دوره
استاد دانشگاه و مشاوره اجرای پروژه
دکترمحمد فزونی
عضو هیئت علمی دانشگاه گنبدکاووس و دانشیار گروه ریاضی و آمار در این دانشگاه (مشاهده‌ی صفحه‌ی دانشگاهی بنده). از سال ۱۳۹۳ بطور رسمی وارد حرفه‌ی تدریس شدم و تا امروز با افتخار بیش از هزاران دانشجو را در ایران و خارج از کشور تربیت نموده‌ام.

منابع علمی

Fundamentals of Data Engineering
Practical Lakehouse Architecture

محتوای تخصصی این دوره بر پایه و اساس دو مرجع بین‌المللی و معتبر در حوزه‌ی مهندسی داده و معماری داده‌های مدرن طراحی شده است. کتاب Fundamentals of Data Engineering به عنوان یکی از اصلی‌ترین منابع علمی دنیا، مبانی، چرخه‌ی حیات و اصول طراحی سیستم‌های داده را به بهترین شکل ممکن تبیین می‌کند و چارچوبی استاندارد برای تفکر مهندسی در اختیار ما قرار می‌دهد. در کنار آن، کتاب Practical Lakehouse Architecture به عنوان یک منبع کاربردی و ارزشمند، رویکردهای نوین معماری Lakehouse را با تمرکز بر ابزارهایی مانند Delta Lake و راهکارهای ابری تشریح می‌کند. تمامی سرفصل‌ها و مباحث این دوره، برگرفته از جدیدترین استانداردها و متدولوژی‌های این دو اثر علمی برجسته می‌باشد تا دانشجویان با دیدگاهی عمیق و آکادمیک، آماده‌ی ورود به بازار کار حرفه‌ای شوند.

سوالات متداول

آیا دوره پیش‌نیاز خاصی دارد؟

برای شرکت در این دوره، آشنایی مقدماتی با سیستم‌عامل لینوکس و یک زبان برنامه‌نویسی (مانند پایتون) پیشنهاد می‌شود؛ اما سرفصل‌ها به گونه‌ای طراحی شده‌اند که از مبانی شروع شده و به تدریج به مباحث پیشرفته می‌رسند.

آیا ویدیوهای جلسات ضبط می‌شوند و در دسترس خواهند بود؟

بله، تمامی جلسات به صورت آنلاین برگزار شده و فایل ضبط‌شده‌ی آن‌ها حداکثر تا ۲۴ ساعت پس از پایان هر جلسه در پنل کاربری شما قرار می‌گیرد و تا ۶ ماه قابل دسترسی است.

نحوه دریافت گواهی پایان دوره به چه صورت است؟

در صورت حضور فعال در جلسات و تحویل موفقیت‌آمیز پروژه نهایی (Design a Data Platform)، یک گواهی پایان دوره رسمی و قابل استعلام برای شما صادر خواهد شد.

آیا امکان پرداخت اقساطی وجود دارد؟

بله، در بخش ثبت‌نام شما می‌توانید بین پرداخت نقدی (با تخفیف ویژه) و پرداخت اقساطی (در سه قسط) یکی را انتخاب کنید.

در صورت غیبت در جلسات، آیا امکان جبران وجود دارد؟

خیر، نیازی به نگرانی نیست. تمام جلسات ضبط می‌شوند و همچنین در صورت داشتن سوال، می‌توانید از طریق گروه تلگرامی دوره پاسخ خود را دریافت کنید.

آیا در تمامی تاریخ‌های نمایش داده شده آنلاین خواهیم شد؟

بله تمام تلاش خود را خواهیم نمود که جلسات را آنلاین برگزار نمائیم. اما در صورتی که شرایط ویژه در کشور رخ دهد، یا مشکلات غیر منتظره پیش آید، با هماهنگی در گروه تلگرامی تنها به آپلود ویدیوی جلسه‌ی مربوط بسنده خواهیم کرد.

این دوره برای چه کسانی است؟

مهندسان داده و توسعه‌دهندگان ETL
اگر می‌خواهید از نوشتن اسکریپت‌های ساده فراتر بروید و پایپ‌لاین‌های داده‌ی پیچیده و سازمانی را با Apache Airflow طراحی، زمان‌بندی و مدیریت کنید، این دوره دقیقاً برای شماست.
متخصصان پردازش داده‌های حجیم (Big Data)
اگر به دنبال یادگیری موتورهای پردازش توزیع‌شده و بلادرنگ هستید، در این دوره به صورت عمیق با Apache Spark (برای پردازش‌های Batch و ML) و Apache Kafka (برای داده‌های Streaming) کار خواهید کرد.
معماران داده و علاقه‌مندان به Lakehouse
اگر می‌خواهید با جدیدترین معماری‌های ذخیره‌سازی داده آشنا شوید، یاد می‌گیرید چگونه با Delta Lake یک Data Lakehouse بسازید که از تراکنش‌های ACID، مدیریت نسخه‌ها (Time Travel) و یکپارچگی داده پشتیبانی می‌کند.
متخصصان زیرساخت، دواپس و کلاد
اگر می‌خواهید زیرساخت‌های داده را به محیط عملیاتی (Production) ببرید، در این دوره با استقرار کلاسترها با Kubernetes، خودکارسازی با GitHub Actions و پیاده‌سازی روی زیرساخت‌های ابری کاملاً آشنا خواهید شد.
دانشجویان و فارغ‌التحصیلانی که فقط تئوری خوانده‌اند
اگر سال‌ها در دانشگاه کتاب خوانده‌اید و با مفاهیم تئوری آشنا هستید، اما هیچ‌وقت یک سیستم داده واقعی را از صفر راه‌اندازی نکرده‌اید، این دوره با رویکرد کاملاً عملی و پروژه‌محور، فاصله شما با صنعت را پر می‌کند.
تحلیلگران داده و توسعه‌دهندگان مدل‌های ML
اگر تا امروز فقط مدل‌های یادگیری ماشین را در نوت‌بوک توسعه داده‌اید و داده‌ها را تحلیل کرده‌اید، اما نمی‌دانید این داده‌ها از کجا می‌آیند و زیرساخت آن‌ها چگونه ساخته می‌شود، این دوره نقشه‌ی کامل پشت صحنه‌ی دنیای داده را به شما نشان می‌دهد.

نیاز به مشاوره دارید؟

نیاز به راهنمایی سریع دارید؟
اگر عجله دارید یا فرم بالا را پر نکردید، می‌توانید مستقیم در تلگرام با ما در ارتباط باشید.
ارتباط مستقیم در تلگرام

مشتریان ما