با افتخار، دورهی «مهندسی داده به زبان ساده و با مثال» به پایان رسید. در این مسیر، گامبهگام با مفاهیم بنیادین و ابزارهای اصلی این حوزه آشنا شدید. در زیر، خلاصهای از آنچه در این دوره فرا گرفتید را مرور میکنیم:
خلاصهی سرفصلهای دوره
فصل اول: مبانی مهندسی داده
در این فصل، با چیستی مهندسی داده، نقش آن به عنوان زیرساخت هر پروژهی دادهمحور، و تفاوت آن با علم داده آشنا شدید. چرخهی حیات داده را از مرحلهی دریافت تا مصرف یاد گرفتید.
فصل دوم: کار با دادهها در پایتون
در این فصل، به صورت عملی با دو کتابخانهی قدرتمند پانداس و پولارز برای پردازش داده کار کردید. همچنین، با سه فرمت اصلی ذخیرهسازی داده یعنی CSV، JSON و Parquet آشنا شده و نحوهی خواندن و نوشتن دادهها در این فرمتها را آموختید.
فصل سوم: آشنایی با پایگاههای داده
در این فصل، با دو دستهی اصلی پایگاههای داده آشنا شدید:
پایگاههای رابطهای مانند SQLite و PostgreSQL را برای دادههای ساختاریافته، و پایگاههای غیررابطهای مانند MongoDB را برای دادههای بدون ساختار و منعطف بررسی کردید. اتصال به این پایگاهها و انجام عملیات پایه را با پایتون تمرین کردید.
فصل چهارم: خطلولههای داده (ETL)
در این فصل، با مفهوم ETL (استخراج، تبدیل و بارگذاری) به عنوان قلب تپندهی مهندسی داده آشنا شدید. با استفاده از پایتون و پانداس، یک خطلولهی کامل ETL طراحی و پیادهسازی کردید که دادهها را از منابع مختلف (فایل CSV، JSON و پایگاهداده) استخراج، تمیز و تبدیل کرده و در نهایت در یک پایگاهدادهی تحلیلی بارگذاری میکند.
فصل پنجم: ذخیرهسازی و مدیریت دادههای بزرگ
در این فصل، با مفاهیم کلیدی دیتالیک (Data Lake) و دیتاورهاوس (Data Warehouse) آشنا شدید و تفاوتهای آنها را درک کردید. در بخش عملی، با سرویس ذخیرهسازی ابری (Object Storage) ابر آروان به عنوان یک جایگزین بومی و در دسترس، کار کردید و نحوهی آپلود، خواندن، لیست کردن و حذف فایلها را با استفاده از کتابخانهی boto3 در پایتون آموختید.
نکاتی در خصوص دورههای تکمیلی در سایت
اکنون که با مفاهیم پایه آشنا شدهاید، زمان آن رسیده است که دانش خود را عمیقتر کنید و مهارتهای عملی خود را به سطح بالاتری ببرید. بر اساس دورهای که گذراندید، دو مسیر پیشنهادی عالی در وبسایت وجود دارد که مکمل یکدیگر هستند و شما را برای ورود به بازار کار حرفهای آماده میکنند.
۱. دورهی «مهندسی داده مقدماتی»
https://www.m-fozouni.ir/de-intro-3/
این دوره، که در واقع دورهی اصلی و جامعتر شما برای شروع است، با ۱۳ ساعت آموزش عملی، شما را از صفر تا مبانی کلیدی مهندسی داده هدایت میکند. سرفصلهای آن کاملن با مسیر آموزشی ما همخوانی دارد و آن را گسترش میدهد:
- فرمتهای داده: CSV، JSON و AVRO را به طور کامل پوشش میدهد.
- پایگاههای داده: به صورت تخصصی روی PostgreSQL و همچنین پایگاههای غیررابطهای کار میکند.
- ابزارهای ابری: به طور عملی با پنل ابری ابرآروان آشنا میشوید.
- زبانهای برنامهنویسی: آموزش اصولی پایتون و SQL برای کار با داده.
- پروژهی عملی: یک پروژهی کامل برای انتقال داده و تحلیل لحظهای آلودگی هوا را پیادهسازی میکنید.
این دوره برای افرادی که دانش محدودی دارند و میخواهند یک پایهی قوی و عملیاتی در مهندسی داده بسازند، ایدهآل است.
۲. دورهی «جامع مهندسی داده»
اگر پس از دورهی مقدماتی، به دنبال چالشی بزرگتر و ورود به مباحث پیشرفته و حرفهای هستید، این دوره با ۸۶ ساعت آموزش، شما را به یک مهندس دادهی کامل تبدیل میکند. این دوره، مهارتهای شما را از سطح متوسط به پیشرفته ارتقا میدهد و شامل مباحثی است که در دورهی مقدماتی فقط به آنها اشاره شد:
- مدیریت زیرساخت: کار با داکر، لینوکس و کوبرنتیز برای استقرار و مدیریت سرویسها.
- ابزارهای مهندسی داده: تسلط بر آپاچی ایرفلو (مدیریت خطلوله)، آپاچی کافکا (پردازش جریانی)، آپاچی اسپارک (پردازش توزیعشده) و کلیکهاوس (پایگاهدادهی تحلیلی).
- امالآپس (MLOps): آشنایی با ابزارهایی مثل MLflow، جنکینز و مبانی استقرار و مانیتورینگ مدلهای یادگیری ماشین.
- زبان برنامهنویسی راست (Rust): یکی از ویژهبرنامههای این دوره، ورود به زبان Rust و ساخت یک مسجبروکر (CipherMQ) با آن است که یک مهارت بسیار ارزشمند و آیندهدار محسوب میشود.
- پروژههای بزرگ: پیادهسازی سیستم کشف تقلب و استقرار کامل یک محصول دیتا-محور روی سرورهای ابری.
این دوره برای افرادی طراحی شده که میخواهند به صورت حرفهای در شرکتهای بزرگ و پروژههای پیچیده فعالیت کنند.
جمعبندی نهایی
شما با پشتکار، دورهی مقدماتی را با موفقیت به پایان رساندید و گام اول را محکم برداشتید. اکنون و در ادامه مسیر میتوانید با تداوم در مطالعه و شرکت در دورههای تخصصی و کاملتر مسیر شغلی آینده خود را هموارتر نمائید.
ارادتمند
دکتر محمد فزونی
عضو هئیت علمی دانشگاه گنبدکاووس
