مقدمه
تا اینجا، دو ابزار مهم را به کار گرفتیم:
- گیت (Git): برای کنترل نسخهی کد
- MLflow: برای ثبت و ردیابی آزمایشها و مدلها
اما یک عنصر کلیدی دیگر نیز در پروژههای یادگیری ماشین وجود دارد که به همان اندازه اهمیت دارد: داده یا Data.
سؤال این است: اگر دادههای ما تغییر کنند، چگونه میتوانیم بفهمیم که کدام نسخه از داده برای کدام نسخه از مدل استفاده شده است؟ چگونه میتوانیم یک مدل را با دادههای قدیمی بازتولید کنیم؟
اینجاست که DVC (Data Version Control) به کمک ما میآید. دیویسی (DVC) ابزاری است که امکان کنترل نسخهی دادهها را به همان شیوهای که گیت برای کد انجام میدهد، فراهم میکند.
بخش اول: DVC چیست و چرا به آن نیاز داریم؟
دیویسی یا DVC مخفف Data Version Control است. این ابزار قابلیتهای زیر را برای ما فراهم میآورد:
- نسخهبندی دادهها: هر تغییر در دادهها را ثبت کنیم و بتوانیم به نسخههای قبلی بازگردیم.
- ردیابی وابستگیها: ارتباط بین دادهها، کد و مدلها را ثبت کنیم.
- ذخیرهسازی کارآمد: فایلهای حجیم را در فضای ابری یا سرورهای خارجی ذخیره کنیم و فقط اشارهگرهای آنها را در گیت نگه داریم.
- تکرارپذیری: اطمینان حاصل کنیم که هر بار با همان دادهها، همان نتیجه را دریافت میکنیم.
مقایسهی گیت و DVC:
در جدول زیر بطور خلاصه قابلیتهای متفاوت Git و DVC را میبینیم.
| ویژگی | گیت (Git) | دیویسی (DVC) |
|---|---|---|
| کنترل نسخهی کد | ✅ بله | ❌ خیر |
| کنترل نسخهی دادههای حجیم | ❌ خیر (نامناسب) | ✅ بله |
| ذخیرهسازی در مخزن | فایلهای کوچک | اشارهگر به فایلهای خارجی |
| ردیابی وابستگیها | خیر | ✅ بله |
بخش دوم: نصب و راهاندازی DVC
نصب DVC:
برای نصب دیویسی از طریق pip اقدام میکنیم. در همان محیط مجازی که این پروژه را با آن آغاز کردین، رفته و دستور زیر را اجرا کنید:
pip install dvc
برای تأیید نصب موفق:
dvc --version
آمادهسازی پروژه:
اطمینان حاصل کنید که در مسیر پروژه (mlops-house-price) هستید و مخزن گیت قبلن مقداردهی اولیه شده است:
cd C:\Users\User\Desktop\mlops-house-price """ اگر قبلاً انجام ندادهاید گیت را اینیت کنید. این دستور باعث میشود که دایرکتوری شما بعنوان یک پروژهی گیت در نظر گرفته شود """ git init

مقداردهی اولیهی DVC در پروژه:
dvc init
این دستور یک پوشهی .dvc/ در پروژه ایجاد میکند که اطلاعات مربوط به نسخهبندی دادهها را ذخیره میکند.

تغییرات را در گیت ثبت کنید:
git add .dvc git commit -m "Initialize DVC"

بخش سوم: ذخیرهسازی دادهها با DVC
در پروژهی ما، دادهها به صورت مصنوعی تولید میشوند. اما در دنیای واقعی، معمولن دادهها به صورت فایلهای CSV، پارکی (Parquet) یا پایگاههای داده ذخیره میشوند. برای تمرین، یک فایل دادهی نمونه ایجاد میکنیم و آن را با DVC مدیریت مینماییم.
گام ۱: ایجاد فایل داده
اسکریپت src/train.py را کمی تغییر میدهیم تا دادهها را در یک فایل CSV ذخیره کند. فایل جدید src/generate_data.py را ایجاد کنید:
# src/generate_data.py
import pandas as pd
import numpy as np
import os
def create_sample_data():
"""
Generate sample dataset for house price prediction.
"""
np.random.seed(42)
n_samples = 1000
sqft = np.random.randint(500, 3000, n_samples)
bedrooms = np.random.randint(1, 6, n_samples)
year_built = np.random.randint(1960, 2023, n_samples)
distance_to_center = np.random.uniform(0.5, 20, n_samples)
price = (sqft * 150) + (bedrooms * 5000) + ((2023 - year_built) * 1000) - (distance_to_center * 10000)
price = price + np.random.normal(0, 5000, n_samples)
data = pd.DataFrame({
'sqft': sqft,
'bedrooms': bedrooms,
'year_built': year_built,
'distance_to_center': distance_to_center,
'price': price
})
return data
def main():
print("=" * 50)
print("GENERATING SAMPLE DATA FOR HOUSE PRICE PREDICTION")
print("=" * 50)
# Create data directory if it doesn't exist
os.makedirs('data', exist_ok=True)
# Generate and save data
print("\n[STEP 1] Generating sample data...")
df = create_sample_data()
# Save to CSV
filepath = 'data/housing_data.csv'
df.to_csv(filepath, index=False)
print(f"[SUCCESS] Data saved to '{filepath}'")
print(f" Total records: {len(df)}")
print(f" File size: {os.path.getsize(filepath):,} bytes")
if __name__ == "__main__":
main()اجرای اسکریپت:
python src/generate_data.py
گام ۲: افزودن داده به DVC
حالا فایل داده را به DVC اضافه میکنیم:
dvc add data/housing_data.csv

این دستور دو کار انجام میدهد:
- فایل
data/housing_data.csv.dvcایجاد میکند که شامل متادیتا و اشارهگر به فایل اصلی است. - فایل
data/housing_data.csvرا به.gitignoreاضافه میکند تا به گیت ارسال نشود.
گام ۳: ثبت تغییرات در گیت
git add data/housing_data.csv.dvc git commit -m "Add housing data with DVC"

بخش چهارم: بازگردانی و بازیابی دادهها
یکی از مزیتهای اصلی DVC، امکان بازیابی نسخههای قبلی دادههاست. برای شبیهسازی تغییر در دادهها:
ایجاد نسخهی جدید از داده:
دستور زیر را از طریق خط فرمان در همان محیط VS code یا هر ترمینال دیگری که مد نظرتان بود انجام دهید، تنها باید در مسیر اصلی پروژه باشید.
# Here we change the samples
python -c "
import pandas as pd
import numpy as np
np.random.seed(42)
n_samples = 2000 #from 1000 to 2000
sqft = np.random.randint(500, 3000, n_samples)
bedrooms = np.random.randint(1, 6, n_samples)
year_built = np.random.randint(1960, 2023, n_samples)
distance_to_center = np.random.uniform(0.5, 20, n_samples)
price = (sqft * 150) + (bedrooms * 5000) + ((2023 - year_built) * 1000) - (distance_to_center * 10000)
price = price + np.random.normal(0, 5000, n_samples)
data = pd.DataFrame({
'sqft': sqft,
'bedrooms': bedrooms,
'year_built': year_built,
'distance_to_center': distance_to_center,
'price': price
})
data.to_csv('data/housing_data.csv', index=False)
print('Data updated with 2000 samples')
"
ثبت نسخهی جدید در DVC:
dvc add data/housing_data.csv git add data/housing_data.csv.dvc git commit -m "Update data: increase samples to 2000"

بازیابی نسخهی قبلی:
# مشاهدهی تاریخچه git log --oneline data/housing_data.csv.dvc # بازگشت به نسخهی قبلی (با شناسهی کامیت) git checkout <commit-hash> data/housing_data.csv.dvc dvc checkout

بعد از انجام دستورات فوق خواهید دید که دیتاست شما مجدد از 2000 نمونه به 1000 تبدیل شد؛ دلیلش هم این است که DVC دیتاست شما را با توجه به ارسال درخواستتان به حالت قبلی باز گرداند.
بخش پنجم: ایجاد پایپلاین با DVC
دیویسی (DVC) فراتر از نسخهبندی داده، امکان ایجاد پایپلاینهای قابل تکرار را نیز فراهم میکند. در ادامه یک مثال از این مورد را به شما نشان خواهیم داد.
ایجاد فایل dvc.yaml:
فایل dvc.yaml با محتویات زیر را در مسیر اصلی پروژه ایجاد نمائید.
# dvc.yaml
stages:
generate_data:
cmd: python src/generate_data.py
deps:
- src/generate_data.py
outs:
- data/housing_data.csv
train_model:
cmd: python src/train.py
deps:
- src/train.py
- data/housing_data.csv
outs:
- models/model_v1.pkl
metrics:
- metrics.jsonاجرای کل پایپلاین:
dvc repro
این دستور همهی مراحل را به ترتیب اجرا میکند و اگر تغییری در وابستگیها ایجاد شده باشد، فقط مراحل مربوطه را دوباره اجرا مینماید.
جمعبندی و تمرین
در این درس، با DVC به عنوان ابزاری برای کنترل نسخهی دادهها آشنا شدیم. یاد گرفتیم که چگونه:
- DVC را در پروژه مقداردهی اولیه کنیم.
- فایلهای داده را با DVC مدیریت کنیم.
- نسخههای مختلف داده را ثبت و بازیابی کنیم.
- یک پایپلاین ساده با DVC تعریف کنیم.
تمرین پیشنهادی:
- اسکریپت
generate_data.pyرا روی سیستم خود اجرا کنید. - داده را با
dvc addبه DVC اضافه کنید. - با تغییر پارامترها، چند نسخهی مختلف از داده ایجاد کنید و آنها را با DVC ثبت نمایید.
- بین نسخههای مختلف داده جابهجا شوید و تغییرات را مشاهده کنید.
