مقدمه

تا اینجا، دو ابزار مهم را به کار گرفتیم:

  • گیت (Git): برای کنترل نسخه‌ی کد
  • MLflow: برای ثبت و ردیابی آزمایش‌ها و مدل‌ها

اما یک عنصر کلیدی دیگر نیز در پروژه‌های یادگیری ماشین وجود دارد که به همان اندازه اهمیت دارد: داده یا Data.

سؤال این است: اگر داده‌های ما تغییر کنند، چگونه می‌توانیم بفهمیم که کدام نسخه از داده برای کدام نسخه از مدل استفاده شده است؟ چگونه می‌توانیم یک مدل را با داده‌های قدیمی بازتولید کنیم؟

اینجاست که DVC (Data Version Control) به کمک ما می‌آید. دی‌وی‌سی (DVC) ابزاری است که امکان کنترل نسخه‌ی داده‌ها را به همان شیوه‌ای که گیت برای کد انجام می‌دهد، فراهم می‌کند.

بخش اول: DVC چیست و چرا به آن نیاز داریم؟

دی‌وی‌سی یا DVC مخفف Data Version Control است. این ابزار قابلیت‌های زیر را برای ما فراهم می‌آورد:

  1. نسخه‌بندی داده‌ها: هر تغییر در داده‌ها را ثبت کنیم و بتوانیم به نسخه‌های قبلی بازگردیم.
  2. ردیابی وابستگی‌ها: ارتباط بین داده‌ها، کد و مدل‌ها را ثبت کنیم.
  3. ذخیره‌سازی کارآمد: فایل‌های حجیم را در فضای ابری یا سرورهای خارجی ذخیره کنیم و فقط اشاره‌گرهای آنها را در گیت نگه داریم.
  4. تکرارپذیری: اطمینان حاصل کنیم که هر بار با همان داده‌ها، همان نتیجه را دریافت می‌کنیم.

مقایسه‌ی گیت و DVC:

در جدول زیر بطور خلاصه قابلیت‌های متفاوت Git و DVC را می‌بینیم.

ویژگیگیت (Git)دی‌وی‌سی (DVC)
کنترل نسخه‌ی کد✅ بله❌ خیر
کنترل نسخه‌ی داده‌های حجیم❌ خیر (نامناسب)✅ بله
ذخیره‌سازی در مخزنفایل‌های کوچکاشاره‌گر به فایل‌های خارجی
ردیابی وابستگی‌هاخیر✅ بله

بخش دوم: نصب و راه‌اندازی DVC

نصب DVC:

برای نصب دی‌وی‌سی از طریق pip اقدام می‌کنیم. در همان محیط مجازی که این پروژه را با آن آغاز کردین، رفته و دستور زیر را اجرا کنید:

pip install dvc

برای تأیید نصب موفق:

dvc --version

آماده‌سازی پروژه:

اطمینان حاصل کنید که در مسیر پروژه (mlops-house-price) هستید و مخزن گیت قبلن مقداردهی اولیه شده است:

cd C:\Users\User\Desktop\mlops-house-price

"""
اگر قبلاً انجام نداده‌اید گیت را اینیت کنید. این دستور باعث می‌شود که دایرکتوری شما بعنوان یک پروژه‌ی
 گیت در نظر گرفته شود
"""
git init 
نحوه اجرا و انجام git init

مقداردهی اولیه‌ی DVC در پروژه:

dvc init

این دستور یک پوشه‌ی .dvc/ در پروژه ایجاد می‌کند که اطلاعات مربوط به نسخه‌بندی داده‌ها را ذخیره می‌کند.

بعد از اجرای dvc init چه اتفاقی می‌افتد

تغییرات را در گیت ثبت کنید:

git add .dvc

git commit -m "Initialize DVC"
بعد از git commit چه می‌شود

بخش سوم: ذخیره‌سازی داده‌ها با DVC

در پروژه‌ی ما، داده‌ها به صورت مصنوعی تولید می‌شوند. اما در دنیای واقعی، معمولن داده‌ها به صورت فایل‌های CSV، پارکی (Parquet) یا پایگاه‌های داده ذخیره می‌شوند. برای تمرین، یک فایل داده‌ی نمونه ایجاد می‌کنیم و آن را با DVC مدیریت می‌نماییم.

گام ۱: ایجاد فایل داده

اسکریپت src/train.py را کمی تغییر می‌دهیم تا داده‌ها را در یک فایل CSV ذخیره کند. فایل جدید src/generate_data.py را ایجاد کنید:

# src/generate_data.py

import pandas as pd
import numpy as np
import os

def create_sample_data():
    """
    Generate sample dataset for house price prediction.
    """
    np.random.seed(42)
    n_samples = 1000

    sqft = np.random.randint(500, 3000, n_samples)
    bedrooms = np.random.randint(1, 6, n_samples)
    year_built = np.random.randint(1960, 2023, n_samples)
    distance_to_center = np.random.uniform(0.5, 20, n_samples)

    price = (sqft * 150) + (bedrooms * 5000) + ((2023 - year_built) * 1000) - (distance_to_center * 10000)
    price = price + np.random.normal(0, 5000, n_samples)

    data = pd.DataFrame({
        'sqft': sqft,
        'bedrooms': bedrooms,
        'year_built': year_built,
        'distance_to_center': distance_to_center,
        'price': price
    })

    return data

def main():
    print("=" * 50)
    print("GENERATING SAMPLE DATA FOR HOUSE PRICE PREDICTION")
    print("=" * 50)

    # Create data directory if it doesn't exist
    os.makedirs('data', exist_ok=True)

    # Generate and save data
    print("\n[STEP 1] Generating sample data...")
    df = create_sample_data()

    # Save to CSV
    filepath = 'data/housing_data.csv'
    df.to_csv(filepath, index=False)
    print(f"[SUCCESS] Data saved to '{filepath}'")
    print(f"   Total records: {len(df)}")
    print(f"   File size: {os.path.getsize(filepath):,} bytes")

if __name__ == "__main__":
    main()

اجرای اسکریپت:

python src/generate_data.py

گام ۲: افزودن داده به DVC

حالا فایل داده را به DVC اضافه می‌کنیم:

dvc add data/housing_data.csv
بعد از اجرای dvc add چه اتفاقی می‌افتد

این دستور دو کار انجام می‌دهد:

  1. فایل data/housing_data.csv.dvc ایجاد می‌کند که شامل متادیتا و اشاره‌گر به فایل اصلی است.
  2. فایل data/housing_data.csv را به .gitignore اضافه می‌کند تا به گیت ارسال نشود.

گام ۳: ثبت تغییرات در گیت

git add data/housing_data.csv.dvc

git commit -m "Add housing data with DVC"
انجام کامیت بعد از dvc add

بخش چهارم: بازگردانی و بازیابی داده‌ها

یکی از مزیت‌های اصلی DVC، امکان بازیابی نسخه‌های قبلی داده‌هاست. برای شبیه‌سازی تغییر در داده‌ها:

ایجاد نسخه‌ی جدید از داده:

دستور زیر را از طریق خط فرمان در همان محیط VS code یا هر ترمینال دیگری که مد نظرتان بود انجام دهید، تنها باید در مسیر اصلی پروژه باشید.

# Here we change the samples

python -c "
import pandas as pd
import numpy as np

np.random.seed(42)
n_samples = 2000  #from 1000 to 2000
sqft = np.random.randint(500, 3000, n_samples)
bedrooms = np.random.randint(1, 6, n_samples)
year_built = np.random.randint(1960, 2023, n_samples)
distance_to_center = np.random.uniform(0.5, 20, n_samples)
price = (sqft * 150) + (bedrooms * 5000) + ((2023 - year_built) * 1000) - (distance_to_center * 10000)
price = price + np.random.normal(0, 5000, n_samples)

data = pd.DataFrame({
    'sqft': sqft,
    'bedrooms': bedrooms,
    'year_built': year_built,
    'distance_to_center': distance_to_center,
    'price': price
})

data.to_csv('data/housing_data.csv', index=False)
print('Data updated with 2000 samples')
"
اجرای دستور از خط فرمان

ثبت نسخه‌ی جدید در DVC:

dvc add data/housing_data.csv

git add data/housing_data.csv.dvc

git commit -m "Update data: increase samples to 2000"
اجرای dvc add مجدد بعد از اجرای دستور پایتونی بالا برای افزایش حجم داده‌ها

بازیابی نسخه‌ی قبلی:

# مشاهده‌ی تاریخچه
git log --oneline data/housing_data.csv.dvc

# بازگشت به نسخه‌ی قبلی (با شناسه‌ی کامیت)
git checkout <commit-hash> data/housing_data.csv.dvc

dvc checkout
نحوه گرفتن کامیت-هش و اجرای دستورات خواسته شده

بعد از انجام دستورات فوق خواهید دید که دیتاست شما مجدد از 2000 نمونه به 1000 تبدیل شد؛ دلیلش هم این است که DVC دیتاست شما را با توجه به ارسال درخواستتان به حالت قبلی باز گرداند.

بخش پنجم: ایجاد پایپ‌لاین با DVC

دی‌وی‌سی (DVC) فراتر از نسخه‌بندی داده، امکان ایجاد پایپ‌لاین‌های قابل تکرار را نیز فراهم می‌کند. در ادامه یک مثال از این مورد را به شما نشان خواهیم داد.

ایجاد فایل dvc.yaml:

فایل dvc.yaml با محتویات زیر را در مسیر اصلی پروژه ایجاد نمائید.

# dvc.yaml

stages:
  generate_data:
    cmd: python src/generate_data.py
    deps:
      - src/generate_data.py
    outs:
      - data/housing_data.csv

  train_model:
    cmd: python src/train.py
    deps:
      - src/train.py
      - data/housing_data.csv
    outs:
      - models/model_v1.pkl
    metrics:
      - metrics.json

اجرای کل پایپ‌لاین:

dvc repro

این دستور همه‌ی مراحل را به ترتیب اجرا می‌کند و اگر تغییری در وابستگی‌ها ایجاد شده باشد، فقط مراحل مربوطه را دوباره اجرا می‌نماید.

جمع‌بندی و تمرین

در این درس، با DVC به عنوان ابزاری برای کنترل نسخه‌ی داده‌ها آشنا شدیم. یاد گرفتیم که چگونه:

  1. DVC را در پروژه مقداردهی اولیه کنیم.
  2. فایل‌های داده را با DVC مدیریت کنیم.
  3. نسخه‌های مختلف داده را ثبت و بازیابی کنیم.
  4. یک پایپ‌لاین ساده با DVC تعریف کنیم.

تمرین پیشنهادی:

  1. اسکریپت generate_data.py را روی سیستم خود اجرا کنید.
  2. داده را با dvc add به DVC اضافه کنید.
  3. با تغییر پارامترها، چند نسخه‌ی مختلف از داده ایجاد کنید و آنها را با DVC ثبت نمایید.
  4. بین نسخه‌های مختلف داده جابه‌جا شوید و تغییرات را مشاهده کنید.