مقدمه
عبارت ETL مخفف سه واژهی Extract (استخراج)، Transform (تبدیل) و Load (بارگذاری) است و یکی از قدیمیترین و پرکاربردترین الگوهای طراحی خطلولههای داده محسوب میشود. در این الگو، دادهها در سه مرحلهی مجزا از منبع به مقصد منتقل میشوند. درک صحیح این سه مرحله، پایه و اساس تمام پروژههای مهندسی داده است که در ادامه با آنها آشنا خواهیم شد.
مرحلهی Extract (استخراج)
استخراج اولین و حیاتیترین مرحله در هر خطلولهی داده است. در این مرحله، دادهها از منابع مختلف جمعآوری میشوند. این منابع میتوانند بسیار متنوع باشند و هر کدام چالشهای خاص خود را دارند. در ادامه به ذکر برخی از این منابع میپردازیم.
منابع داده در مرحلهی استخراج:
| نوع منبع | مثال | چالشها |
|---|---|---|
| پایگاههای داده | PostgreSQL، MySQL، MongoDB | نیاز به مدیریت اتصال، کوئریهای بهینه، وابستگی به ساختار پایگاهداده |
| فایلها | CSV، JSON، Parquet، Excel | حجم بالا، فرمتهای مختلف، عدم وجود طرحوارهی یکسان |
| APIها | APIهای فروشگاهی، شبکههای اجتماعی | محدودیت نرخ درخواست، نیاز به احراز هویت، تغییرات در نسخههای API |
| جریانهای زنده | لاگهای سرور، دادههای حسگرها | حجم زیاد و مداوم، نیاز به پردازش زمانواقعی |
در کد زیر، یک مثال ساده از استخراج با پانداس از منابع مختلف را مشاهده مینمائیم:
import pandas as pd
# 🔴 Extract data from a CSV file
df_csv = pd.read_csv('data/sales_data.csv')
# 🔴 Extract data from a JSON file
df_json = pd.read_json('data/sales_data.json')
# 🔴 Extract data from a database (assuming connection exists)
df_db = pd.read_sql_query("SELECT * FROM sales", conn)
print(f"Number of records extracted from CSV: {len(df_csv)}")
print(f"Number of records extracted from JSON: {len(df_json)}")مرحلهی Transform (تبدیل)
تبدیل قلب تپندهی هر خطلولهی ETL است. در این مرحله، دادههای خام و ناهمگون به دادههای تمیز، ساختاریافته و قابل استفاده تبدیل میشوند. این مرحله معمولن بیشترین زمان و پیچیدگی را در یک پروژهی مهندسی داده به خود اختصاص میدهد.
عملیات رایج در مرحلهی تبدیل:
در جدول ذیل مهمترین و رایجترین عملیات در فرایند تبدیل را مشاهده میکنیم.
| عملیات | توضیح | مثال |
|---|---|---|
| تمیزکاری داده | حذف رکوردهای تکراری، مدیریت مقادیر گمشده، اصلاح خطاها | df.drop_duplicates()، df.fillna(0) |
| تبدیل نوع داده | تبدیل رشتهها به تاریخ، اعداد به اعشاری، و … | df['sale_date'] = pd.to_datetime(df['sale_date']) |
| ایجاد ستونهای جدید | محاسبهی ستونهای مشتقشده از ستونهای موجود | df['total_sales'] = df['unit_price'] * df['quantity_sold'] |
| فیلتر کردن | حذف رکوردهای بیربط یا خارج از محدوده | df_filtered = df[df['quantity_sold'] > 0] |
| ادغام دادهها | ترکیب داده از چند منبع مختلف | df_merged = pd.merge(df1, df2, on='product_id') |
| گروهبندی و خلاصهسازی | محاسبهی جمع، میانگین، و سایر آمارها | df.groupby('category')['sales'].sum() |
با توجه به اینکه در دروس قبلی کار با پانداس را فراگرفتیم، در ادامه یک مثال ساده از تبدیل با این تکنولوژی را خواهیم دید:
import pandas as pd
# 🔴 Assume raw data
df = pd.read_csv('data/sales_data.csv')
# 🔴 Transform: Convert date column to actual date format
df['sale_date'] = pd.to_datetime(df['sale_date'])
# 🔴 Transform: Create a new column for total sales
df['total_sales'] = df['unit_price'] * df['quantity_sold']
# 🔴 Transform: Filter records with sales greater than zero
df = df[df['quantity_sold'] > 0]
# 🔴 Transform: Group by region and calculate total sales sum
summary = df.groupby('region')['total_sales'].sum().reset_index()
print("Transformed data:")
print(summary)مرحلهی Load (بارگذاری)
بارگذاری آخرین مرحله از فرایند ETL است. در این مرحله، دادههای تبدیلشده و تمیز در مقصد نهایی ذخیره میشوند تا برای تحلیل، گزارشگیری یا مدلسازی در دسترس باشند. مقصد نهایی میتواند یک پایگاهداده، دیتاورهاوس، دیتالیک یا حتی یک فایل باشد.
مقصدهای رایج برای بارگذاری داده:
| نوع مقصد | مثال | کاربرد |
|---|---|---|
| پایگاههای داده | PostgreSQL، MySQL | ذخیرهسازی دادههای ساختاریافته برای برنامههای کاربردی |
| دیتاورهاوس | Snowflake، BigQuery | ذخیرهسازی دادههای تحلیلی برای گزارشگیری و BI |
| دیتالیک | AWS S3، Azure Blob | ذخیرهسازی دادههای خام و پردازشنشده به هر فرمتی |
| فایلهای خروجی | CSV، Parquet | تبادل داده با سیستمهای دیگر یا دانلود توسط کاربران |
یک مثال ساده از بارگذاری با پانداس:
در قطعه کد زیر مشاهده میکنیم که با کمک پانداس میتوانیم نتایج را در یک فایل CSV و یا در یک دیتابیس SQLite ذخیره نمود.
import pandas as pd
import sqlite3
# 🔴 Assume transformed data exists in df_summary
df_summary = pd.DataFrame({
'region': ['Tehran', 'Isfahan', 'Shiraz'],
'total_sales': [120000, 85000, 92000]
})
# 🔴 Load into a CSV file
df_summary.to_csv('data/sales_summary.csv', index=False)
# 🔴 Load into a SQLite database
conn = sqlite3.connect('data/sales.db')
df_summary.to_sql('sales_summary', conn, if_exists='replace', index=False)
conn.close()
print("✅ Data successfully loaded.")ETL در مقابل ELT
در سالهای اخیر، معماری ELT (Extract, Load, Transform) نیز محبوبیت زیادی پیدا کرده است. تفاوت اصلی این دو رویکرد در ترتیب انجام مراحل تبدیل و بارگذاری است.
| ETL | ELT | |
|---|---|---|
| ترتیب مراحل | استخراج → تبدیل → بارگذاری | استخراج → بارگذاری → تبدیل |
| محل انجام تبدیل | قبل از بارگذاری، در یک سرور جداگانه | پس از بارگذاری، در خود مقصد (مثلن دیتاورهاوس) |
| مناسب برای | دادههای با حجم کم تا متوسط، نیاز به دقت بالا | دادههای حجیم، نیاز به سرعت و انعطافپذیری |
| مزیت | کنترل کامل بر فرایند تبدیل، کاهش حجم دادههای بارگذاریشده | سرعت بالا، امکان تبدیل مجدد با دادههای جدید |
جمعبندی و تمرین
در این درس، با مفهوم ETL و سه مرحلهی اصلی آن یعنی استخراج، تبدیل و بارگذاری آشنا شدیم. دیدیم که چگونه هر مرحله با چالشها و ابزارهای خاص خود همراه است و چگونه یک خطلولهی داده میتواند دادههای خام را به دادههای باارزش تبدیل کند.
تمرین پیشنهادی:
۱. فایل sales_data.csv را با پانداس بخوانید.
۲. در مرحلهی تبدیل، یک ستون جدید به نام total_sales با ضرب قیمت واحد در تعداد فروش ایجاد کنید.
۳. دادهها را بر اساس دستهبندی (category) گروهبندی کنید و مجموع فروش هر دسته را محاسبه کنید.
۴. نتیجه را در یک فایل CSV جدید به نام category_summary.csv ذخیره کنید.
