مقدمه
در درس پیشین، با اهمیت مانیتورینگ در پروژههای یادگیری ماشین آشنا شدیم. گفتیم که دنیای واقعی ثابت نیست و مدلها در طول زمان ممکن است کیفیت خود را از دست بدهند. در این درس، دو مفهوم کلیدی را که باید در مانیتورینگ مدلها بشناسیم، بررسی میکنیم: تغییر داده (Data Drift) و تغییر مفهوم (Concept Drift).
این مفاهیم به ما کمک میکنند تا بفهمیم چرا مدلها با گذشت زمان افت عملکرد پیدا میکنند و چگونه میتوانیم این تغییرات را تشخیص دهیم.
بخش اول: تغییر داده (Data Drift) چیست؟
تغییر داده (Data Drift) به وضعیتی گفته میشود که توزیع آماری دادههای ورودی به مدل، در مقایسه با دادههایی که مدل با آنها آموزش دیده است، تغییر کند. به عبارت سادهتر، دادههایی که الان به مدل میدهیم، دیگر شبیه دادههایی نیستند که مدل با آنها آشنا شده است. مثال ساده زیر بما در درک این موضوع کمک میکند.
یک مثال ساده:
فرض کنید مدل پیشبینی قیمت مسکن را با دادههای سال ۱۳۹۸ آموزش دادهاید. در آن زمان، میانگین متراژ خانهها در شهر شما ۱۰۰ متر بوده است. اما در سال 1405، به دلیل تغییرات شهری، میانگین متراژ خانههای ساختهشده به ۱۳۰ متر افزایش یافته است. اگر مدل شما هنوز با دادههای سال ۱۳۹۸ کار کند، برای خانههای جدید که بزرگتر هستند، پیشبینیهای نادرستی خواهد داشت. همچنین قیمتها نیز که در ایران ساعتی بالا میرود یک چالش بزرگ در این راستاست. مدل تا آموزش میبیند برای یادگیری قیمتها، اتفاقی میافتد و مجدد افزایش قیمت پیش میآید.
در ادامه سه نوع تغییر دادهی مهم در این وادی را بصورت جدولی بشما نشان میدهیم.
انواع تغییر داده:
| نوع تغییر داده | توضیح |
|---|---|
| تغییر ویژگی (Feature Drift) | تغییر در توزیع یکی از ویژگیهای ورودی (مثلن متراژ، تعداد اتاقها و …) |
| تغییر برچسب (Label Drift) | تغییر در توزیع برچسبها (مثلن افزایش کلی قیمتها به دلیل تورم) |
| تغییر همبستگی (Correlation Drift) | تغییر در رابطهی بین ویژگیها و برچسب (مثلن رابطهی متراژ و قیمت دیگر به همان شکل سابق نیست) |
بخش دوم: تغییر مفهوم (Concept Drift) چیست؟
تغییر مفهوم (Concept Drift) وضعیتی است که رابطهی بین دادههای ورودی و خروجی (برچسب) تغییر میکند. یعنی تعریف «دادهی درست» عوض شده است، حتی اگر توزیع دادهها تغییری نکرده باشد. اجازه بدهید با ارائهی یک مثال این مورد را بیشتر شرح بدهیم.
یک مثال ساده:
فرض کنید مدلی ساختهاید که بر اساس میزان بارندگی، ترافیک شهر را پیشبینی میکند. در گذشته، هر زمان بارندگی زیاد بود، ترافیک نیز زیاد میشد. اما پس از افتتاح خط جدید مترو، مردم دیگر با بارندگی زیاد، با ماشین شخصی تردد نمیکنند و به مترو میروند. بنابراین، رابطهی بارندگی و ترافیک تغییر کرده است. این یعنی مفهوم (رابطه) عوض شده است.
در جدول ذیل سه ردهی مهم از تغییر مفهوم را میبینیم.
انواع تغییر مفهوم:
| نوع تغییر مفهوم | توضیح |
|---|---|
| تغییر ناگهانی (Sudden Drift) | مفهوم به یکباره و در یک نقطهی زمانی مشخص تغییر میکند (مثلن تصویب یک قانون جدید) |
| تغییر تدریجی (Gradual Drift) | مفهوم به مرور زمان و به آرامی تغییر میکند (مثلن تغییر سلیقهی مردم در انتخاب خانه) |
| تغییر دورهای (Recurring Drift) | مفهوم به صورت دورهای و فصلی تغییر میکند (مثلن فروش لباس در فصول مختلف سال) |
بخش سوم: تفاوت تغییر داده و تغییر مفهوم
برای اینکه این دو مفهوم (تغییر داده و تغییر مفهوم) را بهتر متوجه شوید، به جدول زیر توجه نمائید:
| تغییر داده (Data Drift) | تغییر مفهوم (Concept Drift) | |
|---|---|---|
| تغییر در چیست؟ | توزیع دادههای ورودی | رابطهی بین دادهها و خروجی |
| مثال | میانگین متراژ خانهها افزایش یافته است | رابطهی متراژ و قیمت خانه تغییر کرده است |
| آیا مدل اشتباه میکند؟ | بله، چون دادههای جدید را ندیده است | بله، چون قواعد قدیمی دیگر کار نمیکنند |
| راهحل | بازآموزی با دادههای جدید | بازآموزی با دادههای جدید و احتمالان تغییر معماری مدل |
بخش چهارم: چگونه تغییرات را تشخیص دهیم؟
برای تشخیص این تغییرات، روشهای مختلفی وجود دارد. در اینجا به سه روش ساده اشاره میکنیم:
۱. پایش توزیع آماری:
میتوانیم به طور دورهای، توزیع آماری دادههای ورودی را با دادههای آموزشی مقایسه کنیم. مثلن:
- میانگین و انحراف معیار هر ویژگی را محاسبه کنیم.
- هیستوگرام دادهها را رسم کنیم و با دورههای قبلی مقایسه کنیم.
۲. محاسبهی فاصلهی آماری:
با استفاده از معیارهایی مثل فاصلهی کولبک-لیبلر (KL Divergence) یا فاصلهی ورشتاین (Wasserstein Distance) میتوانیم به صورت عددی میزان تغییر را اندازهگیری کنیم و در صورت عبور از یک آستانه، هشدار بدهیم.
۳. پایش دقت مدل بر روی دادههای جدید:
اگر به تدریج بتوانیم برچسبهای واقعی را برای دادههای جدید به دست آوریم (مثلن بازخورد کاربران)، میتوانیم دقت مدل را در طول زمان اندازهگیری کنیم و متوجه افت آن بشویم.
بخش پنجم: ابزارهای ساده برای مانیتورینگ
برای شروع کار با مانیتورینگ، نیازی به ابزارهای پیچیده ندارید. میتوانید با ابزارهای ساده شروع کنید:
۱. امالفلو (MLflow):
علاوه بر ثبت آزمایشها، امالفلو امکان ثبت معیارهای مدل در محیط عملیاتی را نیز فراهم میکند. میتوانید در هر بار پیشبینی، معیارهایی مثل زمان پاسخدهی را در امالفلو ثبت کنید. با اینکار میتوانیم یک پایش بسیار ساده برای خودمان تنظیم کنیم.
۲. کتابخانهی Evidently:
یک کتابخانهی متنباز و فوقالعاده برای مانیتورینگ مدلهای یادگیری ماشین است که به راحتی میتوانید آن را به برنامهی خود اضافه کنید و گزارشهای آماری تهیه کنید. جهت دیدن صفحه گیتهاب این پروژه و آشنایی با عملکرد این کتابخانه، این لینــــک را ببینید. برای نصب براحتی از فرمان ذیل استفاده کنید:
pip install evidently
۳. داشبوردهای ساده با پایتون:
میتوانید با استفاده از کتابخانههایی مثل matplotlib یا plotly و اجرای دورهای یک اسکریپت، نمودارهای تغییرات را رسم کنید و به صورت دستی بررسی کنید.
جمعبندی و تمرین
در این درس، با دو مفهوم کلیدی در مانیتورینگ مدلها آشنا شدیم:
- تغییر داده (Data Drift): تغییر در توزیع دادههای ورودی.
- تغییر مفهوم (Concept Drift): تغییر در رابطهی بین دادهها و خروجی.
این دو مفهوم به ما کمک میکنند تا بفهمیم چرا مدلها با گذشت زمان عملکرد خود را از دست میدهند و چه زمانی باید دست به بازآموزی بزنیم.
تمرین پیشنهادی:
۱. به پروژهی مدل پیشبینی قیمت مسکن خود فکر کنید. کدام تغییرات در دنیای واقعی میتوانند باعث تغییر داده یا تغییر مفهوم در این پروژه شوند؟
۲. کتابخانهی evidently را روی سیستم خود نصب کنید و مستندات آن را مرور کنید. (چالش: یک گزارش سادهی تغییر داده برای دیتاست خود تهیه کنید.)
