تمرکز روی امنیت و استقرار پایپلاینهای داده

مهندسی داده (Data Engineering) هنر و علم طراحی، ساخت و نگهداری زیرساختهایی است که جریان داده را از منابع مختلف (مانند پایگاههای داده، اپلیکیشنها و دستگاههای اینترنت اشیا) به سمت تحلیلگران، دانشمندان داده و مدلهای هوش مصنوعی هدایت میکند. در واقع، مهندس داده کسی است که «جادههای داده» را میسازد؛ جادههایی امن، سریع و مقیاسپذیر تا دادههای خام و پراکنده به دادههای تمیز، ساختاریافته و قابل استفاده تبدیل شوند. بدون وجود این زیرساخت، هیچ مدل هوش مصنوعی یا داشبورد تحلیلی نمیتواند به درستی کار کند.
چرا یادگیری مهندسی داده در این مقطع زمانی حیاتی است؟ ما در عصر انفجار داده زندگی میکنیم. حجم دادههایی که روزانه تولید میشود بیسابقه است و شرکتها به شدت به دنبال افرادی هستند که بتوانند این دادههای عظیم را مدیریت، پردازش و به ارزش تجاری تبدیل کنند. از سوی دیگر، ظهور ابزارهای مدرنی نظیر Apache Spark، Kafka، Delta Lake و پلتفرمهای ابری، این حوزه را از یک کار تکراری به یک نقش استراتژیک و بسیار پردرآمد تبدیل کرده است. در این میان، مباحث امنیت داده و استقرار حرفهای (Deployment) به دغدغهی اصلی سازمانها تبدیل شده است؛ چرا که دادههای لو رفته یا زیرساختهای ناپایدار، میتوانند به سرعت به بحران تبدیل شوند. بنابراین، مهندسی داده تنها یک تخصص فنی نیست، بلکه یک مزیت رقابتی کلیدی برای هر متخصص فناوری اطلاعات در دنیای امروز به شمار میرود و یادگیری آن، دروازهای به سوی فرصتهای شغلی سطح بالا و بینالمللی است.
در این بخش به ذکر اصلیترین مفاهیم موجود در دنیای مهندسی داده میپردازیم. نکات مطرح شده در این بخش از کتاب مطرح و پرآوازهی «Fundamentals of Data Engineering» اخذ خواهد شد.
در این بخش، به نصب WSL در ویندوز پرداخته و سپس اصلیترین دستورات این سیستم عامل را در دنیای مهندسی داده بررسی خواهیم نمود. اگر کامپیوتر شما MacOS است نیازی به این کار نخواهید داشت.
در اینروزها که حرف از معماری میکروسرویس همهجا هست و فراگیر شده، غیرممکن است که بدون داکر بتوانیم کاری از پیش ببریم. پس با داکر بعنوان یکی از ابزارهای اساسی در دنیای مهندسی داده کار خواهیم نمود.
در دنیای مهندسی داده ETL یکی از کارهای روزمره و اساسی هر مهندس داده است. آپاچی ایرفلو که یکی از اساسیترین ابزارهای مدیریت جریان داده است، به این افراد کمک میکند که دیتاپایپلاینهای مجموعه را براحتی رصد کرده و مدیریت نمایند. از این طریق، بسادگی میتوانیم نقاطی که دارای مشکل و خطا هستند را ببینیم و در اولین فرصت ممکن به رفع مشکلات بپردازیم.
در این قسمت با مفاهیم کلیدی کلاد کامپیوتینگ یا همان محاسبات ابری و سرویسهای مختلف در پنل ابری ابرآروان آشنا خواهیم شد. تلاش خواهیم نمود که بخش زیادی از تسکهای دوره را روی این سرویس دهندهی خدمات ابری پیادهسازی نمائیم تا شما بصورت عملی با محیط پروداکشن یا تولید بطور کامل آشنا شوید. این بخش مخصوص شرکتکنندگان داخل ایران است که دسترسی به پنلهای ابری سرویسدهندگان بزرگ مثل AWS, Azure, GCP ندارند.
گیتهاب اکشنز یک ویژگی CI/CD (ادغام مداوم/انتشار مداوم) است که توسط گیتهاب ارائه میشود و به توسعهدهندگان امکان میدهد که جریانهای کاری یا پایپلاینهای خود را به طور خودکار در مخزنهای گیتهاب تنظیم کنند. این کار با استفاده از فایلهای YAML برای تعریف جریانهای کاری که میتوانند با رخدادهای مختلفی مانند ارسال کد (code pushes)، درخواستهای کشش (Pull request) یا مشکلات (issues) فعال شوند، انجام میشود. در حال حاضر در اکثر کمپانیهای مطرح دنیا، اکثر توسعهدهندگان و مهندسان داده از این عملیاتها برای محیط پروداکشن مجموعه استفاده مینمایند.
سالها بود که سیستمهای یکپارچه از پایگاههای داده بعنوان محلی برای تجمیع دادهها و ارسال به مصرفکنندگان دیتا استفاده میکردند. اما معماری میکروسرویس این را برنمیتابد. در این معماری باید تولیدکنندگان و مصرفکنندگان داده تا حد ممکن از یکدیگر مجزا شوند. اینجا بود که آپاچی کافکا بعنوان یک مکان خاص برای دریافت و ارسال دادهها وارد کار شد. آپاچی کافکا در حال حاضر یکی از مهمترین ابزارهای ممکن در دنیای پردازش دادههای استریم و در لحظه است. میزان تاخیر ارسال دادهها در این سیستم در پایینترین حد ممکن قرار دارد. از این رو، آپاچی کافکا توسط 80 درصد شرکتهای مختلف در حوزهی تکنولوژی دنیا بکار گرفته خواهد شد. در این دوره یکی از مباحث اصلی کار، کافکا میباشد که تا حد بسیار عمیقی با آن آشنا خواهیم شد و کارهای عملی عمیقی در آن انجام میدهیم.
زمانی هدوپ حرف اول و آخر دنیای پردازش دادهها را میزد. مهندسین در این حوزه بالاترین دستمزد ممکن را داشتند. تا اینکه آپاچی اسپارک متولد شد و با سرعت وحشتناک خود و اینکه یک سیستم پردازش دادهی توزیعشده بود، همگان را شگفتزده کرد. در این کورس، سعی خواهیم نمود که علاوه بر کافکا، اسپارک را نیز در حد بسیار حرفهای بشما آموزش دهیم. مشابه با کافکا، در این حوزه نیز با دو زبان پایتون و جاوا با هستهی اسپارک ارتباط برقرار خواهیم نمود. با اسپارک تقریبن هر کاری که یک مهندس داده و یک متخصص امالآپس نیاز به آن دارد را میتوانیم انجام دهیم. از کوئرینویسیها در زبان SQL گرفته تا انجام و پیادهسازی الگوریتمهای یادگیری ماشین.
بعد از ظهور دیتابیسهای رابطهای و عملکرد فوقالعادهی آنها بتدریج وارد عصری شدیم که دیگر این نوع از دیتابیسها پاسخگوی نیازهای سازمانها نبودند. در این زمان بود که دیتاورهوزها پا به عرضهی وجود گذاشتند. ام بعد از مدت کوتاهی بخاطر حجم بالای داده، این ساختار نیز با مشکلاتی مواجه شد. عصر هوش مصنوعی مفهوم و ساختاری با عنوان دیتالیک را برای ما به ارمغان آورد. اما باز هم گذشت زمان بما ثابت کرد که باز هم زیرساختهایی دیتایی مجموعه خالی از نقص نیست. تا اینکه رسیدیم به ساختار Data Lake House که به کمک ابزارهایی همانند Delta Lake که توسط تیم اسپارک توسعه داده شده بود، اجرا میگردید.
یکی از ضعفهای آپاچی اسپارک این است که سیستمی برای مدیریت کلاستر و نودها ندارد. در دنیای امالآپس به کمک کوبرنتیز که یک ابزار فوقالعاده قدرتمند است، سعی خواهیم نمود که یک یک کلاستر اسپارک را پیادهسازی کرده و مدیریت آنرا به کوبرنتیز بسپاریم. کوبرنتیز، در ابتدا توسط گوگل توسعه داده شد. اما مدتی بعد تبدیل گردید به یک پروژهی متنباز. در حال حاضر این ابزار تبدیل شده است به حالت پیشفرض در دنیای مدیریت کانتینرها.در این کورس ابتدا مقدمات و مفاهیم اساسی این ابزار را خواهیم آموخت. سپس، به انجام کارهای عملی ممکن که یک مهندس داده به آن معلومات و دانستهها نیاز دارد، میپردازیم.
در این پروژهی نهایی و جامع، شما تمامی مهارتهای کسبشده در طول دوره را در قالب طراحی و پیادهسازی یک دیتا پلتفرم واقعی و مدرن به کار میگیرید. معماری این پلتفرم به گونهای طراحی شده که دادههای جریانی و حجیم را به صورت یکپارچه مدیریت کند. در این راستا، با استفاده از Apache Kafka به عنوان لایهی دریافت و انتقال دادههای جریانی (Streaming) اقدام میکنید و سپس دادهها را با استفاده از موتور پردازش توزیعشدهی Apache Spark به صورت بلادرنگ و دستهای (Batch) پردازش و تبدیل مینمایید. برای مدیریت و ذخیرهسازی بهینهی دادهها، از Delta Lake بهره میگیرید تا ویژگیهایی نظیر تراکنشهای ACID، مدیریت نسخهها (Time Travel) و تضمین یکپارچگی دادهها را در لایهی ذخیرهسازی تجربه کنید. در نهایت، کل این زیرساخت را بر بستر Cloud پیادهسازی و دیپلوی میکنید. این پروژه به شما دیدگاهی کامل از چگونگی ساخت یک دیتا پلتفرم مقیاسپذیر، مقاوم و مدرن از نقطهی تولید داده تا لایهی تحلیل و سرویسدهی میدهد.



محتوای تخصصی این دوره بر پایه و اساس دو مرجع بینالمللی و معتبر در حوزهی مهندسی داده و معماری دادههای مدرن طراحی شده است. کتاب Fundamentals of Data Engineering به عنوان یکی از اصلیترین منابع علمی دنیا، مبانی، چرخهی حیات و اصول طراحی سیستمهای داده را به بهترین شکل ممکن تبیین میکند و چارچوبی استاندارد برای تفکر مهندسی در اختیار ما قرار میدهد. در کنار آن، کتاب Practical Lakehouse Architecture به عنوان یک منبع کاربردی و ارزشمند، رویکردهای نوین معماری Lakehouse را با تمرکز بر ابزارهایی مانند Delta Lake و راهکارهای ابری تشریح میکند. تمامی سرفصلها و مباحث این دوره، برگرفته از جدیدترین استانداردها و متدولوژیهای این دو اثر علمی برجسته میباشد تا دانشجویان با دیدگاهی عمیق و آکادمیک، آمادهی ورود به بازار کار حرفهای شوند.
برای شرکت در این دوره، آشنایی مقدماتی با سیستمعامل لینوکس و یک زبان برنامهنویسی (مانند پایتون) پیشنهاد میشود؛ اما سرفصلها به گونهای طراحی شدهاند که از مبانی شروع شده و به تدریج به مباحث پیشرفته میرسند.
بله، تمامی جلسات به صورت آنلاین برگزار شده و فایل ضبطشدهی آنها حداکثر تا ۲۴ ساعت پس از پایان هر جلسه در پنل کاربری شما قرار میگیرد و تا ۶ ماه قابل دسترسی است.
در صورت حضور فعال در جلسات و تحویل موفقیتآمیز پروژه نهایی (Design a Data Platform)، یک گواهی پایان دوره رسمی و قابل استعلام برای شما صادر خواهد شد.
بله، در بخش ثبتنام شما میتوانید بین پرداخت نقدی (با تخفیف ویژه) و پرداخت اقساطی (در سه قسط) یکی را انتخاب کنید.
خیر، نیازی به نگرانی نیست. تمام جلسات ضبط میشوند و همچنین در صورت داشتن سوال، میتوانید از طریق گروه تلگرامی دوره پاسخ خود را دریافت کنید.
بله تمام تلاش خود را خواهیم نمود که جلسات را آنلاین برگزار نمائیم. اما در صورتی که شرایط ویژه در کشور رخ دهد، یا مشکلات غیر منتظره پیش آید، با هماهنگی در گروه تلگرامی تنها به آپلود ویدیوی جلسهی مربوط بسنده خواهیم کرد.