مقدمه
در درس پیشین، یک اسکریپت ساده برای آموزش مدل پیشبینی قیمت مسکن نوشتیم. اما در دنیای واقعی، به ندرت پیش میآید که یک مدل را فقط یک بار آموزش دهیم. معمولن توسعهدهندگان مدلهای مختلف را با پارامترهای گوناگون آزمایش میکنند تا بهترین ترکیب را بیابند. سؤال اینجاست:
چگونه میتوانیم تمام این آزمایشها را به صورت منظم ثبت و با یکدیگر مقایسه کنیم؟
امالفلو (MLflow) یکی از محبوبترین ابزارهای متنباز در حوزهی MLOps است که دقیقن همین کار را انجام میدهد. این ابزار به ما امکان میدهد تا پارامترها، معیارهای ارزیابی و خود مدل را برای هر آزمایش ثبت کنیم و سپس به راحتی آنها را با یکدیگر مقایسه نمائیم.
در این درس، با مفاهیم پایهی MLflow آشنا میشویم و اسکریپت آموزش خود را به گونهای بازنویسی میکنیم که از این ابزار برای ثبت و ردیابی آزمایشها استفاده نماید.
بخش اول: آشنایی با MLflow
امالفلو شامل چهار مؤلفهی اصلی است که در این دوره با دو مؤلفهی اول کار خواهیم کرد:
| مؤلفه | کاربرد |
|---|---|
| MLflow Tracking | ثبت پارامترها، معیارها و فایلهای هر اجرا |
| MLflow Projects | بستهبندی کدها به صورت پروژههای قابل تکرار |
| MLflow Models | مدیریت و استقرار مدلها در قالب استاندارد |
| MLflow Registry | ثبت و مدیریت نسخههای مختلف مدل در یک مرکز |
در این درس، بر روی مؤلفهی Tracking تمرکز میکنیم که بنیادیترین و پرکاربردترین بخش MLflow است.
نصب MLflow
برای نصب MLflow، از دستور زیر در ترمینال استفاده کنید:
pip install mlflow
برای تأیید نصب موفق، دستور زیر را اجرا کنید:
mlflow --version
بخش دوم: بازنویسی اسکریپت با MLflow
اکنون اسکریپت train-v2.py را بازنویسی میکنیم تا از قابلیتهای MLflow Tracking بهرهمند شود. فایل جدید را با نام train_with_mlflow.py در پوشهی src/ ذخیره میکنیم:
# src/train_with_mlflow.py
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score
import mlflow
import mlflow.sklearn
import os
# Function to generate sample data
def create_sample_data():
"""
This function generates a sample dataset for house price prediction.
"""
np.random.seed(42)
n_samples = 1000
sqft = np.random.randint(500, 3000, n_samples)
bedrooms = np.random.randint(1, 6, n_samples)
year_built = np.random.randint(1960, 2023, n_samples)
distance_to_center = np.random.uniform(0.5, 20, n_samples)
price = (sqft * 150) + (bedrooms * 5000) + ((2023 - year_built) * 1000) - (distance_to_center * 10000)
price = price + np.random.normal(0, 5000, n_samples)
data = pd.DataFrame({
'sqft': sqft,
'bedrooms': bedrooms,
'year_built': year_built,
'distance_to_center': distance_to_center,
'price': price
})
return data
# Main function with MLflow tracking
def main():
print("=" * 50)
print("STARTING HOUSE PRICE PREDICTION WITH MLFLOW TRACKING")
print("=" * 50)
# Set MLflow experiment name
mlflow.set_experiment("House Price Prediction - Random Forest")
# Start an MLflow run
with mlflow.start_run():
# Log experiment parameters
n_estimators = 100
max_depth = 10
test_size = 0.2
random_state = 42
mlflow.log_param("model_type", "RandomForestRegressor")
mlflow.log_param("n_estimators", n_estimators)
mlflow.log_param("max_depth", max_depth)
mlflow.log_param("test_size", test_size)
mlflow.log_param("random_state", random_state)
print("\n[INFO] Experiment parameters logged to MLflow")
# Step 1: Generate and prepare data
print("\n[STEP 1] Generating sample data...")
df = create_sample_data()
X = df.drop('price', axis=1)
y = df['price']
# Step 2: Split data
print("\n[STEP 2] Splitting data into training and test sets...")
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=test_size, random_state=random_state
)
print(f" Training samples: {len(X_train)}")
print(f" Test samples: {len(X_test)}")
# Step 3: Train model
print("\n[STEP 3] Training Random Forest model...")
model = RandomForestRegressor(
n_estimators=n_estimators,
max_depth=max_depth,
random_state=random_state
)
model.fit(X_train, y_train)
print(" Model training completed successfully.")
# Step 4: Evaluate model
print("\n[STEP 4] Evaluating model performance...")
y_pred = model.predict(X_test)
mse = mean_squared_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)
# Log metrics to MLflow
mlflow.log_metric("mse", mse)
mlflow.log_metric("r2", r2)
print(f" Mean Squared Error (MSE): {mse:,.0f}")
print(f" R-squared (R²): {r2:.3f}")
print(" Metrics logged to MLflow")
# Step 5: Save model with MLflow
print("\n[STEP 5] Saving model with MLflow...")
mlflow.sklearn.log_model(model, "random_forest_model")
print(" Model logged to MLflow")
# Display run information
run_id = mlflow.active_run().info.run_id
print(f"\n[SUCCESS] MLflow Run ID: {run_id}")
print("[INFO] To view results, run: mlflow ui")
print("\n" + "=" * 50)
print("TRAINING PROCESS COMPLETED SUCCESSFULLY")
print("=" * 50)
if __name__ == "__main__":
main()بخش سوم: اجرای اسکریپت و مشاهدهی نتایج
اجرای اسکریپت:
python src/train_with_mlflow.py
خروجی مورد انتظار در ترمینال:
================================================== STARTING HOUSE PRICE PREDICTION WITH MLFLOW TRACKING ================================================== [INFO] Experiment parameters logged to MLflow [STEP 1] Generating sample data... [STEP 2] Splitting data into training and test sets... Training samples: 800 Test samples: 200 [STEP 3] Training Random Forest model... Model training completed successfully. [STEP 4] Evaluating model performance... Mean Squared Error (MSE): 23,456,789 R-squared (R²): 0.852 Metrics logged to MLflow [STEP 5] Saving model with MLflow... Model logged to MLflow [SUCCESS] MLflow Run ID: 1a2b3c4d5e6f7g8h9i0j [INFO] To view results, run: mlflow ui ================================================== TRAINING PROCESS COMPLETED SUCCESSFULLY ==================================================

مشاهدهی داشبورد MLflow
برای مشاهدهی همهی آزمایشهای ثبتشده در یک داشبورد تعاملی، دستور زیر را در ترمینال (در مسیر پروژه) اجرا کنید:
mlflow ui
سپس مرورگر خود را باز کرده و به آدرس زیر بروید:
http://localhost:5000

در این داشبورد، میتوانید:
- همهی آزمایشهای خود را به همراه پارامترها و معیارهایشان مشاهده کنید.
- آزمایشها را با یکدیگر مقایسه کنید و بهترین مدل را بیابید.
- جزئیات هر اجرا را به همراه فایلهای ذخیرهشده بررسی نمایید.
بخش چهارم: آزمایش با پارامترهای مختلف
یکی از مزیتهای اصلی MLflow، امکان ثبت و مقایسهی آزمایشهای متعدد است. بیایید اسکریپت را چند بار با پارامترهای مختلف اجرا کنیم:
اجرای اول (پیشفرض):
python src/train_with_mlflow.py
اجرای دوم (تغییر تعداد درختها):
فایل train_with_mlflow.py را ویرایش کرده و خط زیر را تغییر دهید:
n_estimators = 200 # تغییر از 100 به 200
سپس دوباره اجرا کنید:
python src/train_with_mlflow.py
اجرای سوم (تغییر عمق درختها):
max_depth = 15 # تغییر از 10 به 15
python src/train_with_mlflow.py

حالا با باز کردن mlflow ui، هر سه آزمایش را به همراه پارامترها و معیارهایشان مشاهده خواهید کرد. به راحتی میتوانید ببینید کدام ترکیب پارامترها بهترین نتیجه را داشته است.

جمعبندی و تمرین
در این درس، با MLflow به عنوان ابزاری قدرتمند برای ثبت و ردیابی آزمایشها آشنا شدیم. این ابزار به ما امکان میدهد تا:
- پارامترهای هر اجرا را ثبت کنیم.
- معیارهای ارزیابی را ذخیره نماییم.
- مدلهای آموزش دیده را به همراه تمام جزئیات ذخیره کنیم.
- آزمایشهای مختلف را با یکدیگر مقایسه نمائیم.
تمرین پیشنهادی:
۱. اسکریپت train_with_mlflow.py را روی سیستم خود اجرا کنید و داشبورد MLflow را ببینید.
۲. اسکریپت را حداقل سه بار با پارامترهای مختلف اجرا کنید و نتایج را در داشبورد مقایسه نمایید.
۳. پارامتر جدیدی مانند min_samples_split را به مدل اضافه کنید و آن را نیز در MLflow ثبت کنید.
