در سال‌های اخیر، با توجه به استفاده‌های متنوع و متعدد از داده (data) در سازمان‌های بزرگ و کوچک، و فراگیر شدن استفاده از روش‌های مختلف هوش مصنوعی در بالا بردن بهره‌وری مجموعه‌ها، نیاز مبرم به استانداردسازی زیرساخت دیتایی (اطلاعات)، بیش از قبل احساس می‌گردد. در مهندسی داده، دغدغه‌ی اصلی سر و سامان دادن به این زیرساخت‌ها و اتوماتیک نمودن خطوط (data pipeline) ورود و خروج داده می‌باشد. یک مهندس داده باید با بروزترین ابزارها در حوزه‌ی کار با داده، از اسپارک گرفته تا انواع مختلف دیتابیس‌ها آشنایی خوبی داشته باشد. بطور کلی چون عرضه در این رشته کم‌تر بوده، در حال حاضر تقاضا در آن بسیار بالاتر است و بازار کار بسیار مطلوبی دارد.
از طرفی، هزینه‌های سنگین مراکز داده (دیتاسنترها) این‌روزها به اکثر کسب‌وکارها اجازه‌ی راه‌اندازی چنین مراکزی را در محل مجموعه نمی‌دهد. از این رو، تعداد بسیار زیادی از شرکت‌ها و حتی کمپانی‌های بزرگ تصمیم گرفته‌اند که دست به دامان شرکت‌های ارائه دهنده‌ی خدمات رایانش ابری بشوند و از اینها، سرویس اجاره نمایند. یکی از بزرگ‌ترین و به جرات می‌توان گفت، بهترین کلادپرووایدرهای دنیا AWS یا همان Amazon Web Services می‌باشد. تکنولوژی رایانش ابری (Cloud Computing) یکی از بهترین تکنولوژی‌های سال‌های پیش‌رو خواهد شد. بنابراین، یادگیری چنین مهارتی برای ترسیم بهتر مسیر شغلی آینده‌ی شما بسیار مهم و حائز اهمیت می‌باشد.
در این دوره‌ی آموزشی، ما شما را با مهندسی داده از طریق ابزارها و سرویس‌های مهم و مختلف AWS آشنا خواهیم نمود.
دکتر محمد فزونی، عضو هئیت علمی تمام وقت و دانشیار گروه ریاضی و آمار دانشگاه گنبدکاووس هستند. ایشان از سال 1393 در این مجموعه مشغول به فعالیت‌های آموزشی و پژوهشی می‌باشند و از سال 1398 با داشتن یک بنیه‌ی قوی علمی تحلیلی (ریاضی) وارد دنیای علم داده شدند و تا به امروز در فعالیت‌های مختلفی، از آموزش گرفته تا انجام پروژه‌های داخلی و خارجی مشغول به فعالیت در حوزه‌های علم داده و مهندسی داده هستند.
برخی از مدارک تخصصی ایشان در دنیای کلاد بشرح ذیل می‌باشند:
دنیای کامپیوتر، به خصوص رایانش ابری سرشار است از اصطلاحات مختلف. در این جلسه تلاش خواهیم نمود تا شما را با اصلی‌ترین مفاهیم در این حوزه آشنا نمائیم. همچنین دلایل اصلی استفاده از چنین سیستمی (کلاد) را تشریح خواهیم نمود.
🛑 هر جلسه بین 60 الی 90 دقیقه می‌باشد که ممکن است در قالب یک الی چند ویدیو منتشر گردد.
اولین گام برای ورود به دنیای کار با پنل ابری آمازون ایجاد یک حساب کاربری IAM یا همان Identity and Access Management می‌باشد. از این طریق دسترسی‌ها را محدودتر نموده و محافظت بیشتری از حساب کاربری خود در محیط تقریبن ناامن اینترنت می‌نمائیم. سپس به نصب AWS cli می‌پردازیم. از این طریق می‌توانیم از طریق خط فرمان با پنل AWS ارتباط برقرار نمائیم.
در این بخش به کمک تابع لمدا (Lambda) و ایجاد یک trigger، دو باکت S3 می‌سازیم و آنها را طوری تنظیم می‌نمائیم که به محض ورود دیتا به داخل آنها، تابع لمدا فعال شده و پسوند فایل‌ها را به فرمت مورد نظر ما تغییر دهد. کار با توابع لمدا یکی از نیازهای اساسی مهندسی داده در دنیای AWS است.
سرویس AWS Glue یکی از سرویس‌های بنیادی برای مهندسین داده است که در بحث data integration بسیار حیاتی عمل می‌کند. در این بخش با این سرویس و سرویس Lake Formation که اجازه مدیریت دسترسی‌ها را بما می‌دهد آشنا خواهیم شد و با آنها کار عملیاتی خواهیم نمود.
سرویس DMS یا همان Database Migration Service به کاربران اجازه‌ی انتقال پایگاه‌های داده به AWS را می‌دهد. در این بخش با کمک سرویس CloudFormation تلاش می‌کنیم که پایگاه‌داده‌ای را از دیتابیس MySQL به سمت AWS منتقل نمائیم.
در این بخش با کمک سرویس AWS Kinesis Data Firehouse و همچنین Data Generator به دریافت و تبدیلات لازم فایل‌های استریم می‌پردازیم. در حال حاضر برای اکثر کسب‌وکارهای فعال در دنیا، داده‌های استریم بسیار اهمیت پیدا کرده‌اندف چون هیچ کسی تمایل ندارد که برای دریافت گزارشات لازم، یک شبانه روز منتظر بماند. در اولین فرصت باید نتایج و تحلیل‌ها آماده شوند.
در این جلسه با سرویس AWS Glue Studio آشنا شده و به انجام کار عملی با آن خواهیم پرداخت. این سرویس بدون نیاز به کدنویسی آنچنانی (بیشتر کار درگ اند دراپ است) خطوط پردازش و انتقال داده را برای کارهای مهندسی و تحلیل داده در اختیار ما قرار می‌دهد. مشابه این سرویس در دنیای متن‌باز، آپاچی ایرفلو می‌باشد.
سرویس AWS Glue DataBrew نیز همانند سرویس Glue Studio محیطی با کمترین کدنویسی ممکن در اختیار کاربران قرار می‌دهد. اما این سرویس بیشتر برای تحلیل‌گران داده مناسب است تا مهندسین داده. اما در این جلسه با این سرویس به انجام کار عملی خواهیم پرداخت تا با نقاط ضعف و قوت آن آشنا شویم. مرزبندی اینکه کدام سرویس برای چه کسانی مناسب است را شرایط کار و پروژه می‌تواند بطور کامل تغییر بدهد.
یکی از مهم‌ترین سرویس‌های آمازون در دنیای دیتابیس و دیتاورهوز سرویس AWS Redshift می‌باشد. در این جلسه با این سرویس آشنا شده و چند کار عملی با آن انجام می‌دهیم. اکثر کارهای عملیاتی در این دوره دارای یک سناریوی خاص و مشخص است که بشما کمک می‌کند تا با دنیای کار واقعی در محیط‌های بزرگ بیشتر و بهتر آشنا شوید.
سرویس AWS Step Function نیز بسیار مشابه با Apachi Airflow می‌باشد. در این جلسه یک کار عملی (hands on) بسیار مفید و کاربردی را با این سرویس انجام داده تا با اکوسیستم آن آشنا شوید.
در دنیای AWS و مهندسی داده ابزراهای بی‌شماری وجود دارند که باید تا حد توان کار با آنها را خیلی دقیق و اصولی بدانیم. در ادامه‌ی این دوره سعی خواهیم نمود که چندین کار عملیاتی را با سرویس‌های زیر انجام دهیم تا عمق دانش شما بیشتر و بهتر گردد:
در این قسمت قصد داریم که شما را با تعدادی از سوالات آزمون AWS Certified Data Engineer آشنا نمائیم. هدف از این بخش این است که بشما نشان دهیم که عبور از سد آزمون نیز کار چندان سختی نیست.
ثبت‌نام این دوره در حال حاضر لغو شده است!
✅ بله. از طریق نرم‌افزار اسپات‌پلیر دسترسی به تمامی ویدیوها خواهید داشت. برای هر شخص یک لایسنس صادر خواهد شد.
✅ بله. می‌توانید وجه ثبت‌نام را در سه قسط با مشخصات زیر واریز نمائید
به منظور ثبت‌نام قسطی به این صفحه مراجعه نمائید و در بخش توضیحات مرقوم بفرمائید که وجه پرداختی جهت ثبت‌نام در چه دوره‌ای هست.
✅ در حالت کلی خیر. بهترین مدرک، مهارت‌هایی است که کسب می‌نمائید. ولی در صورت نیاز و درخواست برای شما مدرک نیز صادر خواهیم نمود.
✅ هیچ کورسی در دنیا (در دنیای تکنولوژی) بعد از اتمام شما را مستقیم به شغل و درآمد نخواهد رساند. تنها تداوم در یادگیری و شرکت در جلسات مصاحبه مسیر را برای شما باز می‌کند. پس درگیر عناوین تبلیغاتی مختلف نشوید. اما مطمئن باشید که این مهارت‌ها بسیار فراگیر بوده و نیاز به آنها در حال حاضر بسیار زیاد است. ولی در این دوره چون عمق مطالب را بیشتر نمودیم، قطعن شما توانمندی‌هایی بسیار خاص را کسب خواهید نمود که ضامن موفقیت در جلسات مصاحبه می‌باشد.
✅ جهت مشاهده‌ی سرفصل‌های دوره‌ی اول به این لینک مراجعه نمائید.
اگر قصد دارید که قبل از ثبت‌نام با مدرس بطور مستقیم صحبت کنید و ابهامات و سوالات خود را مطرح نمائید، به لینک زیر مراجعه کنید. وقت بگیرید (نیازی به پرداخت هزینه نیست). در قسمت توضیحات بنویسید که دلیل این ملاقات چیست. سپس آقای دکتر وقت را با شما هماهنگ خواهند نمود.