در سه فصل پیشین، با مبانی مهندسی داده، کار با دادهها در پایتون و پایگاههای داده آشنا شدیم. یاد گرفتیم که چگونه دادهها را از فایلهای مختلف بخوانیم، با کتابخانههایی مثل پانداس و پولارز پردازش کنیم و در پایگاههای دادهی رابطهای و غیررابطهای ذخیره نماییم. اما در دنیای واقعی، دادهها به صورت خام و پراکنده از منابع مختلف میآیند و نیاز به یک جریان کاری منظم و خودکار دارند تا به دادههای تمیز، ساختاریافته و قابل استفاده تبدیل شوند.
اینجاست که مفهوم خطلولههای داده یا Data Pipelines وارد میشود. یک خطلولهی داده، مجموعهای از مراحل خودکار است که داده را از منبع دریافت، پردازش و در نهایت به مقصد (مثلن پایگاهداده، دیتاورهاوس با حتی دیتالیکهوس- با این مفاهیم در آینده آشنا خواهید شد) تحویل میدهد. این خطلولهها ستون فقرات هر سیستم دادهمحور محسوب میشوند و باعث میشوند دادهها به صورت منظم، قابل اعتماد و بهموقع در اختیار تحلیلگران و مدلها قرار گیرند.
در این فصل، با مفهوم ETL (استخراج، تبدیل و بارگذاری) به عنوان یکی از رایجترین معماریهای خطلولههای داده آشنا میشویم و سپس با استفاده از پایتون و پانداس، یک خطلولهی ساده اما کامل را پیادهسازی میکنیم. این فصل شما را برای مواجهه با پروژههای واقعی مهندسی داده آماده میسازد.
