مقدمه

در درس پیشین، یک اسکریپت ساده برای آموزش مدل پیش‌بینی قیمت مسکن نوشتیم. اما در دنیای واقعی، به ندرت پیش می‌آید که یک مدل را فقط یک بار آموزش دهیم. معمولن توسعه‌دهندگان مدل‌های مختلف را با پارامترهای گوناگون آزمایش می‌کنند تا بهترین ترکیب را بیابند. سؤال اینجاست:

چگونه می‌توانیم تمام این آزمایش‌ها را به صورت منظم ثبت و با یکدیگر مقایسه کنیم؟

ام‌ال‌فلو (MLflow) یکی از محبوب‌ترین ابزارهای متن‌باز در حوزه‌ی MLOps است که دقیقن همین کار را انجام می‌دهد. این ابزار به ما امکان می‌دهد تا پارامترها، معیارهای ارزیابی و خود مدل را برای هر آزمایش ثبت کنیم و سپس به راحتی آنها را با یکدیگر مقایسه نمائیم.

در این درس، با مفاهیم پایه‌ی MLflow آشنا می‌شویم و اسکریپت آموزش خود را به گونه‌ای بازنویسی می‌کنیم که از این ابزار برای ثبت و ردیابی آزمایش‌ها استفاده نماید.

بخش اول: آشنایی با MLflow

ام‌ال‌فلو شامل چهار مؤلفه‌ی اصلی است که در این دوره با دو مؤلفه‌ی اول کار خواهیم کرد:

مؤلفهکاربرد
MLflow Trackingثبت پارامترها، معیارها و فایل‌های هر اجرا
MLflow Projectsبسته‌بندی کدها به صورت پروژه‌های قابل تکرار
MLflow Modelsمدیریت و استقرار مدل‌ها در قالب استاندارد
MLflow Registryثبت و مدیریت نسخه‌های مختلف مدل در یک مرکز

در این درس، بر روی مؤلفه‌ی Tracking تمرکز می‌کنیم که بنیادی‌ترین و پرکاربردترین بخش MLflow است.

نصب MLflow

برای نصب MLflow، از دستور زیر در ترمینال استفاده کنید:

pip install mlflow

برای تأیید نصب موفق، دستور زیر را اجرا کنید:

mlflow --version

بخش دوم: بازنویسی اسکریپت با MLflow

اکنون اسکریپت train-v2.py را بازنویسی می‌کنیم تا از قابلیت‌های MLflow Tracking بهره‌مند شود. فایل جدید را با نام train_with_mlflow.py در پوشه‌ی src/ ذخیره می‌کنیم:

# src/train_with_mlflow.py

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score
import mlflow
import mlflow.sklearn
import os

# Function to generate sample data
def create_sample_data():
    """
    This function generates a sample dataset for house price prediction.
    """
    np.random.seed(42)
    n_samples = 1000

    sqft = np.random.randint(500, 3000, n_samples)
    bedrooms = np.random.randint(1, 6, n_samples)
    year_built = np.random.randint(1960, 2023, n_samples)
    distance_to_center = np.random.uniform(0.5, 20, n_samples)

    price = (sqft * 150) + (bedrooms * 5000) + ((2023 - year_built) * 1000) - (distance_to_center * 10000)
    price = price + np.random.normal(0, 5000, n_samples)

    data = pd.DataFrame({
        'sqft': sqft,
        'bedrooms': bedrooms,
        'year_built': year_built,
        'distance_to_center': distance_to_center,
        'price': price
    })

    return data

# Main function with MLflow tracking
def main():
    print("=" * 50)
    print("STARTING HOUSE PRICE PREDICTION WITH MLFLOW TRACKING")
    print("=" * 50)

    # Set MLflow experiment name
    mlflow.set_experiment("House Price Prediction - Random Forest")

    # Start an MLflow run
    with mlflow.start_run():
        # Log experiment parameters
        n_estimators = 100
        max_depth = 10
        test_size = 0.2
        random_state = 42

        mlflow.log_param("model_type", "RandomForestRegressor")
        mlflow.log_param("n_estimators", n_estimators)
        mlflow.log_param("max_depth", max_depth)
        mlflow.log_param("test_size", test_size)
        mlflow.log_param("random_state", random_state)

        print("\n[INFO] Experiment parameters logged to MLflow")

        # Step 1: Generate and prepare data
        print("\n[STEP 1] Generating sample data...")
        df = create_sample_data()
        X = df.drop('price', axis=1)
        y = df['price']

        # Step 2: Split data
        print("\n[STEP 2] Splitting data into training and test sets...")
        X_train, X_test, y_train, y_test = train_test_split(
            X, y, test_size=test_size, random_state=random_state
        )
        print(f"   Training samples: {len(X_train)}")
        print(f"   Test samples: {len(X_test)}")

        # Step 3: Train model
        print("\n[STEP 3] Training Random Forest model...")
        model = RandomForestRegressor(
            n_estimators=n_estimators,
            max_depth=max_depth,
            random_state=random_state
        )
        model.fit(X_train, y_train)
        print("   Model training completed successfully.")

        # Step 4: Evaluate model
        print("\n[STEP 4] Evaluating model performance...")
        y_pred = model.predict(X_test)
        mse = mean_squared_error(y_test, y_pred)
        r2 = r2_score(y_test, y_pred)

        # Log metrics to MLflow
        mlflow.log_metric("mse", mse)
        mlflow.log_metric("r2", r2)

        print(f"   Mean Squared Error (MSE): {mse:,.0f}")
        print(f"   R-squared (R²): {r2:.3f}")
        print("   Metrics logged to MLflow")

        # Step 5: Save model with MLflow
        print("\n[STEP 5] Saving model with MLflow...")
        mlflow.sklearn.log_model(model, "random_forest_model")
        print("   Model logged to MLflow")

        # Display run information
        run_id = mlflow.active_run().info.run_id
        print(f"\n[SUCCESS] MLflow Run ID: {run_id}")
        print("[INFO] To view results, run: mlflow ui")

    print("\n" + "=" * 50)
    print("TRAINING PROCESS COMPLETED SUCCESSFULLY")
    print("=" * 50)

if __name__ == "__main__":
    main()

بخش سوم: اجرای اسکریپت و مشاهده‌ی نتایج

اجرای اسکریپت:

python src/train_with_mlflow.py

خروجی مورد انتظار در ترمینال:

==================================================
STARTING HOUSE PRICE PREDICTION WITH MLFLOW TRACKING
==================================================

[INFO] Experiment parameters logged to MLflow

[STEP 1] Generating sample data...

[STEP 2] Splitting data into training and test sets...
   Training samples: 800
   Test samples: 200

[STEP 3] Training Random Forest model...
   Model training completed successfully.

[STEP 4] Evaluating model performance...
   Mean Squared Error (MSE): 23,456,789
   R-squared (R²): 0.852
   Metrics logged to MLflow

[STEP 5] Saving model with MLflow...
   Model logged to MLflow

[SUCCESS] MLflow Run ID: 1a2b3c4d5e6f7g8h9i0j
[INFO] To view results, run: mlflow ui

==================================================
TRAINING PROCESS COMPLETED SUCCESSFULLY
==================================================
نمایی از اجرای کد مربوط به MLflow در VS Code

مشاهده‌ی داشبورد MLflow

برای مشاهده‌ی همه‌ی آزمایش‌های ثبت‌شده در یک داشبورد تعاملی، دستور زیر را در ترمینال (در مسیر پروژه) اجرا کنید:

mlflow ui

سپس مرورگر خود را باز کرده و به آدرس زیر بروید:

http://localhost:5000
نمایی از محیط کاری و گرافیکی MLflow

در این داشبورد، می‌توانید:

  1. همه‌ی آزمایش‌های خود را به همراه پارامترها و معیارهایشان مشاهده کنید.
  2. آزمایش‌ها را با یکدیگر مقایسه کنید و بهترین مدل را بیابید.
  3. جزئیات هر اجرا را به همراه فایل‌های ذخیره‌شده بررسی نمایید.

بخش چهارم: آزمایش با پارامترهای مختلف

یکی از مزیت‌های اصلی MLflow، امکان ثبت و مقایسه‌ی آزمایش‌های متعدد است. بیایید اسکریپت را چند بار با پارامترهای مختلف اجرا کنیم:

اجرای اول (پیش‌فرض):

python src/train_with_mlflow.py

اجرای دوم (تغییر تعداد درخت‌ها):
فایل train_with_mlflow.py را ویرایش کرده و خط زیر را تغییر دهید:

n_estimators = 200  # تغییر از 100 به 200

سپس دوباره اجرا کنید:

python src/train_with_mlflow.py

اجرای سوم (تغییر عمق درخت‌ها):

max_depth = 15  # تغییر از 10 به 15
python src/train_with_mlflow.py
در پنل MLflow می‌توانیم تمام آزمایشات را ببینیم

حالا با باز کردن mlflow ui، هر سه آزمایش را به همراه پارامترها و معیارهایشان مشاهده خواهید کرد. به راحتی می‌توانید ببینید کدام ترکیب پارامترها بهترین نتیجه را داشته است.

با انتخاب هر سه آزمایش می‌توانیم براحتی عملکرد آنها را با یکدیگر مقایسه کنیم

جمع‌بندی و تمرین

در این درس، با MLflow به عنوان ابزاری قدرتمند برای ثبت و ردیابی آزمایش‌ها آشنا شدیم. این ابزار به ما امکان می‌دهد تا:

  • پارامترهای هر اجرا را ثبت کنیم.
  • معیارهای ارزیابی را ذخیره نماییم.
  • مدل‌های آموزش‌ دیده را به همراه تمام جزئیات ذخیره کنیم.
  • آزمایش‌های مختلف را با یکدیگر مقایسه نمائیم.

تمرین پیشنهادی:

۱. اسکریپت train_with_mlflow.py را روی سیستم خود اجرا کنید و داشبورد MLflow را ببینید.

۲. اسکریپت را حداقل سه بار با پارامترهای مختلف اجرا کنید و نتایج را در داشبورد مقایسه نمایید.

۳. پارامتر جدیدی مانند min_samples_split را به مدل اضافه کنید و آن را نیز در MLflow ثبت کنید.