مهندسی داده مقدماتی

در این بخش سعی می‌نمائیم که به مهمترین دلایل ورود به دنیای مهندسی داده اشاره کرده و ضمن بیان چندین واژه و مثال از این حوزه، مخاطب را بطور کامل با مهندسی داده یا Data Engineering آشنا کنیم. اینکه چرا در سال‌های اخیر مجبور شدیم، قبل از انجام کارهای مرتبط با هوش مصنوعی و علم داده، ابتدا زیرساخت دیتایی را آماده کنیم و بعد از تکمیل این بخش بسراغ الگوریتم‌ها برویم.

یکی از مهمترین ابزارهای هر مهندس داده، قبل از ورود به تکنولوژی‌های برتر در این وادی، سیستم عامل‌ها از جمله ویندوز و لینوکس هستند. در ابتدای دوره تلاش خواهیم نمود که هنرجو را با مفاهیم کلیدی از این حوزه آشنا نمائیم. توجه فرمائید که کل این دوره روی سیستم عامل ویندوز تهیه و منتشر می‌گردد. در نتیجه، در این جلسه که مرتبط با سیستم عامل است، مقداری نیز در خصوص خط فرمان PowerShell به بحث و بررسی خواهیم پرداخت.

در دنیای کار با داده‌ها، پسوندها و فرمت‌های زیادی برای ذخیره‌سازی دیتا بکار گرفته می‌شوند. اما سه مورد از آنها مهم و کاربردی هستند از جمله CSV, JSON و AVRO. در این دوره شما را با ذکر مثال‌های متنوع با این سه فرمت ذخیره‌سازی داده آشنا خواهیم کرد. دو مورد از آنها به اصطلاح Human-Readable یا قابل خوانش بوسیله انسان است و سومی Binary-Format دارد، یعنی قابل خواندن توسط انسان نمی‌باشد.

آشنایی با پایگاه‌های داده، جزو مهم‌ترین دانسته‌های یک مهندس داده قلمداد می‌گردد. در سال‌های اخیر پوستگرس بعنوان یکی از پیشرفته‌ترین دیتابیس‌ها در دنیای متن‌باز، جایگاه ویژه‌ای را بین صاحبان کسب‌وکارها یافته است. از این روی، آشنایی و کار بصورت حرفه‌ای با این پایگاه داده از اهمیت بسیار زیادی برای مهندسین داده برخوردار می‌باشد. در این کورس، با کمک یک ابزار گرافیکی با این دیتابیس کار خواهیم نمود. از طرفی مقداری نیز در خصوص دیتابیس‌های غیررابطه‌ای بحث خواهیم نمود که شما با حالت مقابل یک دیتابیس رابطه‌ای آشنا بشوید.

در این قسمت با مفاهیم کلیدی کلاد کامپیوتینگ یا همان محاسبات ابری و سرویس‌های مختلف در پنل ابری ابرآروان آشنا خواهیم شد. یکی از کلیدی‌ترین بخش‌های این سرویس، فضای ذخیره‌سازی ابری است که در این دوره با ارائه‌ی مثال‌های کاربردی شما را با این سرویس آشنا خواهیم نمود.

یکی از مهم‌ترین زبان‌های برنامه‌نویسی در دنیای کار با دیتا، پایتون (Python) می‌باشد. در این دوره با مهم‌ترین اصول و کتابخانه‌های موجود در دنیای پایتون که در مهندسی داده کاربرد فراوانی دارند آشنا شده و با آنها کار عملی انجام خواهیم داد.

یکی از راه‌های اصلی در دنیای مهندسی داده برای گرفتن دیتا و به اشتراک‌گذاری آن بین چندین دستگاه، کار با APIها می‌باشد. در این دوره، ابتدا این مفهوم را تعریف نموده و کاربردهایش را عنوان می‌کنیم. سپس چند مثال عملی را خواهیم دید.

بعد از پایتون، دومین و مهم‌ترین زبان برای کار با دیتا، SQL می‌باشد. در این دوره، بر مبنای دیتابیس پوستگرس به ارائه مهم‌ترین و کاربردی‌ترین سینتکس‌های دنیای SQL خواهیم پرداخت. پس از آشنایی با پایتون و SQL شما تمام مقدمات لازم برای کار در وادی مهندسی داده را کسب خواهید نمود.

در این پروژه، به کمک یک اسکریپت (کد) پایتونی که شبیه‌ساز تولید دیتا برای ما می‌باشد، داده‌های آلودگی هوا را از برخی مناطق مختلف جمع‌آوری کرده و آنها را در یک دیتابیس تجمیع می‌کنیم. سپس اقدام به تحلیل میزان آلودگی کرده و تلاش می‌کنیم با ترسیم برخی از نمودارها، وضعیت آلودگی را در چند ساعت گذشته روی نمودار مشاهده نمائیم. 

در بخش پایانی دوره، جلسه‌ای خواهیم داشت در خصوص ترسیم مسیر پیش‌رو و آینده در دنیای مهندسی داده. اینکه چه بخوانیم و چه دوره‌هایی را ببینیم. بی‌شک این جلسه بشما کمک خواهد نمود که در صورت تمایل به ادامه مسیر در دنیای دیتا و مهندسی داده، بهتر بتوانید قدم بردارید.