مقدمه
در درس پیشین، با مفهوم مهندسی داده و تفاوت آن با علم داده آشنا شدیم. گفتیم که مهندسی داده، زیرساخت لازم برای تمام فعالیتهای دادهمحور را فراهم میکند. اما این زیرساخت چگونه شکل میگیرد؟ داده از لحظهی تولید تا زمانی که به یک تصمیم یا محصول تبدیل میشود، چه مراحلی را طی میکند؟
در این درس، با چرخهی حیات داده (Data Lifecycle) آشنا میشویم. این چرخه، نقشهی راهی است که نشان میدهد داده در هر مرحله چه سرنوشتی پیدا میکند و مهندسان داده در هر مرحله چه وظایفی بر عهده دارند.
چرخهی حیات داده چیست؟
چرخهی حیات داده به مجموعهای از مراحل گفته میشود که داده از لحظهی ایجاد یا دریافت تا زمانی که به یک خروجی قابل استفاده تبدیل میشود، طی میکند. این چرخه شامل چهار مرحلهی اصلی است:
[دریافت] → [ذخیرهسازی] → [پردازش] → [مصرف/تحلیل]
هر کدام از این مراحل، چالشها و ابزارهای خاص خود را دارند و مهندسان داده باید در تمام این مراحل، کیفیت، امنیت و دسترسیپذیری داده را تضمین کنند. یعنی مصرفکنندگان دیتا که به اصطلاح آنها را Downstream Users مینامیم باید بتوانند در هر لحظه به دیتای مطلوب خودشان دسترسی پیدا کنند.
فاز اول: دریافت داده (Data Ingestion)
دریافت داده اولین و حیاتیترین مرحله در چرخهی حیات داده است. در این مرحله، داده از منابع مختلف جمعآوری و به سیستمهای ذخیرهسازی منتقل میشود. منابع داده میتوانند بسیار متنوع باشند. در جدول زیر برخی از آنها را مشاهده میکنیم:
| نوع منبع | مثال |
|---|---|
| پایگاههای داده | MySQL، PostgreSQL، MongoDB |
| فایلها | فایلهای CSV، JSON، پارکی (Parquet)، اکسل |
| APIها | APIهای فروشگاهی، شبکههای اجتماعی، سرویسهای ابری |
| جریانهای زنده (دیتاهای استریم) | دادههای حسگرها، کلیکهای وبسایت، لاگهای سرور |
بطور کلی در مهندسی داده ما دو نوع روش عمده برای دریافت داده در نظر میگیریم که در جدول زیر تشریح شدهاند:
| روش | توضیح |
|---|---|
| دستهای (Batch) | داده در زمانهای مشخص (مثلن هر شب) به صورت گروهی دریافت میشود. مناسب برای گزارشهای روزانه. |
| زمانواقعی (Real-time) | داده به محض تولید، بلافاصله دریافت و پردازش میشود. مناسب برای سیستمهای هشدار و نظارت. |
چالشهای رایج در دریافت داده متنوع هستند و با توجه به نوع کاری که در حال انجام آن هستیم تفاوت دارند. اما سه مورد ذیل بطور عمده تکرار میشوند:
- ناهمگونی فرمتها: داده از منابع مختلف با فرمتهای گوناگون (JSON، CSV، XML) میآید.
- حجم بالا: دریافت حجم عظیم داده در زمان کوتاه نیاز به زیرساخت قوی دارد.
- کیفیت داده: دادههای ورودی ممکن است ناقص، تکراری یا دارای خطا باشند.
- مشکل در تاریخ: در تحلیلها بخاطر فرمت نامناسب تاریخ محاسبات درست از آب در نخواهند آمد. با بررسی دقیق متوجه میشویم که مشکل از درج متنوع در دیتای تاریخ است.
فاز دوم: ذخیرهسازی داده (Data Storage)
پس از دریافت، داده باید در جایی ذخیره شود تا برای مراحل بعدی در دسترس باشد. انتخاب سیستم ذخیرهسازی مناسب، یکی از مهمترین تصمیمهای یک مهندس داده است. در جدول زیر و بطور خلاصه انواع سیستمهای ذخیرهی دیتا را بیان کردهایم:
| نوع | توضیح | کاربرد |
|---|---|---|
| پایگاههای داده رابطهای | داده به صورت جدولی با ساختار مشخص ذخیره میشود. (SQL) | سیستمهای تراکنشی، دادههای با ساختار مشخص |
| پایگاههای داده غیررابطهای (NoSQL) | داده به صورت سند، کلید-مقدار یا گراف ذخیره میشود. | دادههای بدون ساختار، مقیاسپذیری بالا |
| دیتالیک (Data Lake) | مخزنی بزرگ برای ذخیرهی دادههای خام به هر فرمتی. | ذخیرهسازی انبوه داده برای تحلیلهای آینده |
| دیتاورهاوس (Data Warehouse) | مخزنی برای دادههای تمیز و ساختاریافته، بهینهشده برای تحلیل. | گزارشگیری و تحلیلهای کسبوکاری |
در انتخاب نوع سیستم ذخیرهسازی معیارهای وجود دارند که برخی از آنها بشرح ذیل هستند. یعنی قبل از انتخاب سیستم باید چند سئوال از خودمان بپرسیم:
- حجم داده: چقدر داده باید ذخیره شود؟
- سرعت خواندن/نوشتن: چقدر سریع به داده نیاز داریم؟
- ساختار داده: دادهها ساختاریافته هستند یا خیر؟
- هزینه: بودجهی ما چقدر است؟
- زمان تحویل: زمان و تاریخ تحویل کار کی است؟ آیا میشود ریسک کرد و از ابزارهای جدیدتر که هنوز آزموده نشدهاند استفاده نمود؟
با گذشت زمان و کسب تجربه لیست سئوالات فوق برای افراد مختلف و در بخشهای مختلف، متفاوت خواهد شد. بعنوان مثال دغدغههای کسی که در صنعت بانکداری فعالیت میکند با مهندس دادهای که در کسبوکارهای آنلاین مشغول است کاملن متفاوت هستند. پس لیست فوق را برای خود بمرور زمان آپدیت کنید و بهبود ببخشید.
فاز سوم: پردازش داده (Data Processing)
پردازش داده به مجموعه عملیاتی گفته میشود که دادههای خام را به دادههای تمیز، ساختاریافته و قابل استفاده تبدیل میکند. این مرحله قلب مهندسی داده محسوب میشود. برای دیدن مرسومترین عملیاتها در این فاز به جدول زیر مراجعه کنید که بطور خلاصه این موارد را تشریح میکند.
عملیات رایج در پردازش داده:
| عملیات | توضیح |
|---|---|
| تمیزکاری (Cleaning) | حذف دادههای تکراری، پرت، ناقص و تعیین تکلیف ردیفهای خالی |
| تبدیل (Transformation) | تغییر فرمت داده، نرمالسازی، ایجاد ویژگیهای جدید |
| ادغام (Integration) | ترکیب داده از چند منبع مختلف |
| خلاصهسازی (Aggregation) | محاسبهی جمع، میانگین و سایر آمارها |
معماریهای پردازش داده:
در انجام عملیات پردازش داده باید در نظر داشته باشیم که چه معماری (یا روش کلی انجام کار) را در مجموعه انتخاب کردهایم. منظور ما از معماری دو مورد ذیل است:
| معماری | توضیح |
|---|---|
| ETL (Extract, Transform, Load) | برای دادههای دستهای بسیار مناسب است، اما این الگو به دادههای دستهای محدود نمیشود. نسخهای از ETL به نام Streaming ETL نیز وجود دارد که برای پردازش پیوسته و بلادرنگ دادهها طراحی شده است و از ابزارهای تخصصی مانند کافکا و فلینک برای این کار استفاده میکند. |
| ELT (Extract, Load, Transform) | ابتدا داده استخراج و بارگذاری میشود، سپس تبدیل در مقصد انجام میشود. مناسب برای دیتاورهاوسهای مدرن. |
قبل از انتخاب هر کدام از این دو، باید بطور دقیق نیازهای سازمان سنجیده شود. سپس روی یک مورد به اجماع برسیم و همان را دنبال کنیم.
فاز چهارم: مصرف داده (Data Consumption)
آخرین مرحله از چرخهی حیات داده، مصرف آن است. داده پس از پردازش، باید در اختیار مصرفکنندگان نهایی قرار گیرد تا از آن برای اهداف مختلف استفاده کنند.
مصرفکنندگان داده:
| مصرفکننده | نحوهی استفاده |
|---|---|
| تحلیلگران داده | تهیهی گزارشها و داشبوردهای تحلیلی |
| دانشمندان داده | ساخت مدلهای یادگیری ماشین |
| مدیران کسبوکار | تصمیمگیری بر اساس دادههای خلاصهشده |
| برنامههای کاربردی | نمایش داده به کاربران نهایی (وبسایت، اپلیکیشن موبایل) |
روشهای ارائهی داده برای مصرف:
- داشبوردهای تعاملی: با ابزارهایی مثل Power BI، Tableau یا Metabase
- APIهای داده: ارائهی داده از طریق سرویسهای وب
- فایلهای خروجی: تولید فایلهای CSV، Excel یا PDF برای دانلود
- سیستمهای پیامرسان: ارسال داده به سیستمهای دیگر از طریق صفهای پیام (مثلن Kafka)
جمعبندی و تمرین
در این درس، با چرخهی چهارمرحلهای حیات داده آشنا شدیم:
۱. دریافت (Ingestion): جمعآوری داده از منابع مختلف
۲. ذخیرهسازی (Storage): نگهداری داده در سیستمهای مناسب
۳. پردازش (Processing): تمیزکاری و تبدیل داده
۴. مصرف (Consumption): ارائهی داده به کاربران نهایی
تمرین پیشنهادی:
۱. یک پروژهی دادهمحور فرضی (مثلن سیستم پیشنهاد محصول در فروشگاه اینترنتی) را در نظر بگیرید. برای هر یک از چهار مرحلهی چرخهی حیات داده، یک مثال عینی بزنید.
۲. به نظر شما کدام مرحله از چرخهی حیات داده، بیشترین تأثیر را بر کیفیت نهایی تحلیلها و مدلها دارد؟ چرا؟
بخش تمرین پیشنهادی تنها هدفش این است که شما را اندکی به فکر وادارد. میتوانید بطور کلی از آنها عبور کنید و یا طبق سئوال مطرح شده، اندکی تامل نمائید.
