مقدمه

مرحله‌ی Extract (استخراج)

استخراج اولین و حیاتی‌ترین مرحله در هر خط‌لوله‌ی داده است. در این مرحله، داده‌ها از منابع مختلف جمع‌آوری می‌شوند. این منابع می‌توانند بسیار متنوع باشند و هر کدام چالش‌های خاص خود را دارند. در ادامه به ذکر برخی از این منابع می‌پردازیم.

منابع داده در مرحله‌ی استخراج:

نوع منبعمثالچالش‌ها
پایگاه‌های دادهPostgreSQL، MySQL، MongoDBنیاز به مدیریت اتصال، کوئری‌های بهینه، وابستگی به ساختار پایگاه‌داده
فایل‌هاCSV، JSON، Parquet، Excelحجم بالا، فرمت‌های مختلف، عدم وجود طرحواره‌ی یکسان
APIهاAPIهای فروشگاهی، شبکه‌های اجتماعیمحدودیت نرخ درخواست، نیاز به احراز هویت، تغییرات در نسخه‌های API
جریان‌های زندهلاگ‌های سرور، داده‌های حسگرهاحجم زیاد و مداوم، نیاز به پردازش زمان‌واقعی

در کد زیر، یک مثال ساده از استخراج با پانداس از منابع مختلف را مشاهده می‌نمائیم:

import pandas as pd

# 🔴 Extract data from a CSV file
df_csv = pd.read_csv('data/sales_data.csv')

# 🔴 Extract data from a JSON file
df_json = pd.read_json('data/sales_data.json')

# 🔴 Extract data from a database (assuming connection exists)
df_db = pd.read_sql_query("SELECT * FROM sales", conn)

print(f"Number of records extracted from CSV: {len(df_csv)}")

print(f"Number of records extracted from JSON: {len(df_json)}")

مرحله‌ی Transform (تبدیل)

تبدیل قلب تپنده‌ی هر خط‌لوله‌ی ETL است. در این مرحله، داده‌های خام و ناهمگون به داده‌های تمیز، ساختاریافته و قابل استفاده تبدیل می‌شوند. این مرحله معمولن بیشترین زمان و پیچیدگی را در یک پروژه‌ی مهندسی داده به خود اختصاص می‌دهد.

عملیات رایج در مرحله‌ی تبدیل:

در جدول ذیل مهم‌ترین و رایج‌ترین عملیات در فرایند تبدیل را مشاهده می‌کنیم.

عملیاتتوضیحمثال
تمیزکاری دادهحذف رکوردهای تکراری، مدیریت مقادیر گم‌شده، اصلاح خطاهاdf.drop_duplicates()، df.fillna(0)
تبدیل نوع دادهتبدیل رشته‌ها به تاریخ، اعداد به اعشاری، و …df['sale_date'] = pd.to_datetime(df['sale_date'])
ایجاد ستون‌های جدیدمحاسبه‌ی ستون‌های مشتق‌شده از ستون‌های موجودdf['total_sales'] = df['unit_price'] * df['quantity_sold']
فیلتر کردنحذف رکوردهای بی‌ربط یا خارج از محدودهdf_filtered = df[df['quantity_sold'] > 0]
ادغام داده‌هاترکیب داده از چند منبع مختلفdf_merged = pd.merge(df1, df2, on='product_id')
گروه‌بندی و خلاصه‌سازیمحاسبه‌ی جمع، میانگین، و سایر آمارهاdf.groupby('category')['sales'].sum()

با توجه به اینکه در دروس قبلی کار با پانداس را فراگرفتیم، در ادامه یک مثال ساده از تبدیل با این تکنولوژی را خواهیم دید:

import pandas as pd

# 🔴 Assume raw data
df = pd.read_csv('data/sales_data.csv')

# 🔴 Transform: Convert date column to actual date format
df['sale_date'] = pd.to_datetime(df['sale_date'])

# 🔴 Transform: Create a new column for total sales
df['total_sales'] = df['unit_price'] * df['quantity_sold']

# 🔴 Transform: Filter records with sales greater than zero
df = df[df['quantity_sold'] > 0]

# 🔴 Transform: Group by region and calculate total sales sum
summary = df.groupby('region')['total_sales'].sum().reset_index()

print("Transformed data:")

print(summary)

مرحله‌ی Load (بارگذاری)

بارگذاری آخرین مرحله از فرایند ETL است. در این مرحله، داده‌های تبدیل‌شده و تمیز در مقصد نهایی ذخیره می‌شوند تا برای تحلیل، گزارش‌گیری یا مدل‌سازی در دسترس باشند. مقصد نهایی می‌تواند یک پایگاه‌داده، دیتا‌ور‌هاوس، دیتا‌لیک یا حتی یک فایل باشد.

مقصدهای رایج برای بارگذاری داده:

نوع مقصدمثالکاربرد
پایگاه‌های دادهPostgreSQL، MySQLذخیره‌سازی داده‌های ساختاریافته برای برنامه‌های کاربردی
دیتا‌ور‌هاوسSnowflake، BigQueryذخیره‌سازی داده‌های تحلیلی برای گزارش‌گیری و BI
دیتا‌لیکAWS S3، Azure Blobذخیره‌سازی داده‌های خام و پردازش‌نشده به هر فرمتی
فایل‌های خروجیCSV، Parquetتبادل داده با سیستم‌های دیگر یا دانلود توسط کاربران

یک مثال ساده از بارگذاری با پانداس:

در قطعه کد زیر مشاهده می‌کنیم که با کمک پانداس می‌توانیم نتایج را در یک فایل CSV و یا در یک دیتابیس SQLite ذخیره نمود.

import pandas as pd
import sqlite3

# 🔴 Assume transformed data exists in df_summary
df_summary = pd.DataFrame({
    'region': ['Tehran', 'Isfahan', 'Shiraz'],
    'total_sales': [120000, 85000, 92000]
})

# 🔴 Load into a CSV file
df_summary.to_csv('data/sales_summary.csv', index=False)

# 🔴 Load into a SQLite database
conn = sqlite3.connect('data/sales.db')

df_summary.to_sql('sales_summary', conn, if_exists='replace', index=False)

conn.close()

print("✅ Data successfully loaded.")

ETL در مقابل ELT

در سال‌های اخیر، معماری ELT (Extract, Load, Transform) نیز محبوبیت زیادی پیدا کرده است. تفاوت اصلی این دو رویکرد در ترتیب انجام مراحل تبدیل و بارگذاری است.

ETLELT
ترتیب مراحلاستخراج → تبدیل → بارگذاریاستخراج → بارگذاری → تبدیل
محل انجام تبدیلقبل از بارگذاری، در یک سرور جداگانهپس از بارگذاری، در خود مقصد (مثلن دیتا‌ور‌هاوس)
مناسب برایداده‌های با حجم کم تا متوسط، نیاز به دقت بالاداده‌های حجیم، نیاز به سرعت و انعطاف‌پذیری
مزیتکنترل کامل بر فرایند تبدیل، کاهش حجم داده‌های بارگذاری‌شدهسرعت بالا، امکان تبدیل مجدد با داده‌های جدید

جمع‌بندی و تمرین

در این درس، با مفهوم ETL و سه مرحله‌ی اصلی آن یعنی استخراج، تبدیل و بارگذاری آشنا شدیم. دیدیم که چگونه هر مرحله با چالش‌ها و ابزارهای خاص خود همراه است و چگونه یک خط‌لوله‌ی داده می‌تواند داده‌های خام را به داده‌های باارزش تبدیل کند.

تمرین پیشنهادی:
۱. فایل sales_data.csv را با پانداس بخوانید.
۲. در مرحله‌ی تبدیل، یک ستون جدید به نام total_sales با ضرب قیمت واحد در تعداد فروش ایجاد کنید.
۳. داده‌ها را بر اساس دسته‌بندی (category) گروه‌بندی کنید و مجموع فروش هر دسته را محاسبه کنید.
۴. نتیجه را در یک فایل CSV جدید به نام category_summary.csv ذخیره کنید.