مقدمه

تصور کنید مدل پیش‌بینی قیمت مسکن خود را روی یک وب‌سایت قرار داده‌اید و کاربران از آن استفاده می‌کنند. همه‌ چیز به خوبی پیش می‌رود تا اینکه پس از چند ماه، متوجه می‌شوید که کاربران از دقت پیش‌بینی‌ها ناراضی هستند. چه اتفاقی افتاده است؟

دنیای واقعی ثابت نیست. داده‌ها تغییر می‌کنند. شرایط اقتصادی تغییر می‌کند، سلیقه‌ی مردم تغییر می‌کند، و حتی روش‌های اندازه‌گیری ممکن است تغییر کند. مدلی که با داده‌های دیروز آموزش دیده است، ممکن است برای پیش‌بینی وضعیت امروز مناسب نباشد. همچنین ممکن است که مدل ما تحت حملات سایبری قرار گیرد و بازهم همانند روزهای گذشته عملکرد مطلوب خود را از دست بدهد. برای مطالعه در خصوص این مورد ایـــن مقـــــاله را بخوانید.

مانیتورینگ به ما کمک می‌کند تا این تغییرات را به موقع تشخیص دهیم و قبل از اینکه کاربران متوجه افت کیفیت شوند، اقدام کنیم.

بخش اول: مانیتورینگ چیست؟

مانیتورینگ در حوزه‌ی MLOps، به مجموعه‌ای از فرایندها و ابزارها گفته می‌شود که به ما امکان می‌دهند:

۱. عملکرد مدل را در محیط عملیاتی به طور مداوم بررسی کنیم.
۲. کیفیت داده‌های ورودی را پایش کنیم و تغییرات آنها را تشخیص دهیم.
۳. خطاها و ناهنجاری‌ها را به موقع شناسایی کنیم.
۴. هشدارهای لازم را در صورت بروز مشکل به تیم توسعه ارسال کنیم.

بخش دوم: چه چیزی را باید پایش کنیم؟

در مانیتورینگ مدل‌های یادگیری ماشین، بطور معمول سه دسته معیار را پایش می‌کنیم:

۱. مانیتورینگ عملکرد مدل (Performance Monitoring):

این مورد شامل معیارهایی است که کیفیت پیش‌بینی‌های مدل را می‌سنجند:

معیارتوضیح
دقت (Accuracy)درصد پیش‌بینی‌های درست (برای مسائل طبقه‌بندی)
خطا (Error)مثلن خطای میانگین مربعات (MSE) برای مسائل رگرسیون
نمره‌ی اف ۱ (F1-Score)ترکیبی از دقت و فراخوانی

۲. مانیتورینگ داده‌های ورودی (Data Monitoring):

این بخش به ما می‌گوید که داده‌هایی که به مدل می‌دهیم، آیا هنوز شبیه داده‌هایی هستند که مدل با آنها آموزش دیده است یا خیر:

مفهومتوضیح
تغییر ویژگی (Feature Drift)تغییر در توزیع ویژگی‌های ورودی (مثلن افزایش میانگین متراژ خانه‌ها)
تغییر برچسب (Label Drift)تغییر در توزیع برچسب‌ها (مثلن افزایش کلی قیمت‌ها)

۳. مانیتورینگ زیرساخت (Infrastructure Monitoring):

این بخش مربوط به سلامت فنی سرویس است:

معیارتوضیح
زمان پاسخ‌دهی (Latency)مدت زمان پاسخ‌دهی API
نرخ خطا (Error Rate)درصد درخواست‌هایی که با خطا مواجه می‌شوند
استفاده از منابعمصرف حافظه، پردازنده و پهنای باند

بخش سوم: تفاوت مانیتورینگ سیستمی و مانیتورینگ مدل

خیلی از افراد این دو را با هم اشتباه می‌گیرند، اما تفاوت مهمی دارند که در ادامه به آنها خواهیم پرداخت.

مانیتورینگ سیستمی:

  • به سلامت زیرساخت و سرویس مربوط می‌شود.
  • مثلن آیا سرور در دسترس است؟ آیا API پاسخ می‌دهد؟ مصرف حافظه چقدر است؟
  • ابزارهای معروف: Prometheus، Grafana، Datadog

مانیتورینگ مدل:

  • به عملکرد و کیفیت خود مدل مربوط می‌شود.
  • مثلن آیا دقت مدل کاهش یافته؟ آیا توزیع داده‌ها تغییر کرده؟
  • ابزارهای معروف: Evidently، MLflow، WhyLabs

بخش چهارم: چرخه‌ی بازآموزی (Retraining Cycle)

وقتی مانیتورینگ متوجه افت کیفیت مدل می‌شود، چه اتفاقی می‌افتد یا ما باید چه کارهایی انجام دهیم؟

اینجاست که مفهوم بازآموزی (Retraining) مطرح می‌شود. بسته به نیاز پروژه، بازآموزی می‌تواند به یکی از روش‌های زیر انجام شود:

روشتوضیح
بازآموزی دوره‌ایمثلن هر ماه یک بار، مدل را با داده‌های جدید آموزش می‌دهیم.
بازآموزی بر اساس آستانهوقتی معیار عملکرد به زیر آستانه‌ی مشخصی برسد، بازآموزی انجام می‌شود.
بازآموزی مداومبا هر داده‌ی جدید، مدل به روز می‌شود. (معمولن برای پروژه‌های بسیار حساس)

جمع‌بندی و تمرین

در این درس، با مفهوم مانیتورینگ در MLOps آشنا شدیم. دیدیم که پس از استقرار مدل، کار ما تمام نمی‌شود، بلکه فاز جدیدی آغاز می‌گردد که در آن باید مدام وضعیت مدل و داده‌ها را بررسی کنیم.

تمرین پیشنهادی:

۱. به یک مدل ساده که قبلن ساخته‌اید فکر کنید. چه عواملی می‌توانند باعث کاهش کیفیت آن در طول زمان شوند؟

۲. اگر مدل شما روی یک وب‌سایت قرار دارد، چگونه می‌توانید از زمان پاسخ‌دهی آن مطمئن شوید؟