از صفحات اکسل تا امن نمودن سرویس‌های هوش مصنوعی سازمان
خیلی خوبه که ماها بدونیم در این سال‌ها چه اتفاقاتی افتاده؛ چه رشته‌ها و شاخه‌هایی اومدن؛ چرا اومدن و چطوری و به چه دلیل به فیلد بعدی رسیدیم. در ادامه قصد دارم با توجه به تجربه‌ی خودم و در 8 مرحله این موارد رو بشما توضیح بدم.
1- اولش فقط تحلیل داده بود. میومدیم اعداد رو نگاه میکردیم و دنبال این بودیم که بفهمیم چه خبر بوده.
2- بعد کمی گذشت و اعتماد بنفس پیدا کردیم. جلوتر رفتیم و رسیدیم به مدل‌سازی و پیش‌بینی آینده. دیگه نمی‌گفتیم «چه شد؟» گفتیم «چه خواهد شد؟»
3- ولی ناگهان گیر کردیم. چون زیرساخت داده‌ی درست و حسابی نداشتیم. پس مجبور شدیم یک قدم عقب بریم. اینجا بود که «مهندســــی داده» وارد شد. لوله‌کشی داده، جابه‌جایی و ساختاردهی دیتا در مقیاس بزرگ و تلاش برای تحویل اطلاعاتِ تروتمیز به مصرف‌کنندگان تشنه‌ی دیتا.
4- مدتی که کارهای مهندسی داده رو بردیم جلو، فهمیدیم دستی و سنتی داریم کار می‌کنیم. این شد که دیتاآپس (DataOps) اومد؛ یعنی اتوماسیون، سی‌آی/سی‌دی برای داده، ورژن کنترل، تست خودکار و مانیتورینگ و در نهایت همکاری واقعی بین تیم‌ها. یعنی تقریبن همون دواپس، ولی اینبار برای داده.
5- حالا که دیتای خوب رسید دست اهلش، نوبت رسید به تمرکز روی مدل یادگیری ماشین. ضعف‌ها رو فهمیدیم. در این نقطه بود که ام‌ال‌آپس (MLOps) معرفی شد. یعنی مدل‌های یادگیری ماشین رو از نوت‌بوک دربیاریم و ببریم تو خط تولید. همون جوری که بچه‌های نرم‌افزار در جریان خلق یک محصول نرم‌افزاری استاندارهایی رو دارند، می‌بایست برای یک مدل یادگیری ماشین هم ما همین روش رو دنبال کنیم.
6- با اومدن مدل‌های زبانی بزرگ، ام‌ال‌آپس دیگه کافی نبود. هنوز ما استانداردهای بروزتری رو نیاز داشتیم. پس ال‌ال‌ام‌آپس (LLMOps) توسط توسعه دهندگان این نوع مدل‌ها پیشنهاد شد. مدیریت پرامپت، رگ (RAG)، هزینه‌های استنتاج. خلاصه همه چی در مرحله‌ی بکارگیری یک مدل زبانی بصورت سرویس در محیط پروداکشن باید در نظر گرفته بشود.
7- اما مدتی هست که عامل‌های خودمختار دارن همه کارها رو می‌گیرن دستشون، دیگه ال‌ال‌ام‌آپس هم یه جاهایی کم آورد. متخصصین ایجنت‌آپس (AgentOps) رو پیشنهاد دادند. یعنی مدیریت رفتار و تصمیم‌گیری این عامل‌ها. چون اگر درست محدود و هدایت نشوند، کل اکوسیستم سازمان رو ظرف چند ساعت به فنا خواهند داد.
8- و اما امروز؟ ام‌ال‌سک‌آپس (MLSecOps) و جن‌ای‌آی‌آپس (GenAIOps) اومدن بالای همه اینا؛ یعنی لایهی امنیت و حکمرانی که تضمین می‌کنه هر چی تا الان ساختیم، واقعن قابل اعتماد باشه.
من گمان می‌کنم خطرناک‌ترین شیوه‌ی چیدن تیم‌ها برای خلق یک محصول هوشمند اینه که ما به لایهی آخر توجه نکنیم. چون اینجا اگر خوب عمل نکنیم، خفن‌ترین محصول هوشمند که براش شاید میلیاردها خرج شده، ظرف چند روز به چوخ برود.
دوره‌ای که ما طراحی کردیم دقیقن همون مرحله‌ی نهمه؛ یعنی ام‌ال‌سک‌آپس. اونجا یاد می‌گیریم که چطور از کل این زنجیره در برابر حملات واقعی محافظت کنیم. نه تئوری، فقط کار عملی با ابزارهای روز. دقت کنید که من بشخصه یا هیچ فرد و سازمانی نمی‌تونیم از شما یک متخصص خفن امنیت مدل‌های یادگیری ماشین بسازیم. ما تنها سعی می‌کنیم که اون حالت ذهنی و طرز تفکر (mindset) فعلی شما رو بسمت امنیت هدایت کنیم. چطور؟ با نشون دادن چند مثال. آیا تمام حملات پوشش داده می‌شن؟ به هیچ وجه. چنین چیزی تنها یک ادعای احمقانه است.
در این دوره پروژه هم تعریف شده؟
بله یک پروژه داریم که در اون یک سرویس بر مبنای الگوریتم‌های یادگیری ماشین در صنعت بانکداری بصورت end-to-end کدنویسی و در سرورهای ابری دیپلوی خواهد شد. سپس می‌ریم سراغ اینکه نقاط ضعف این مدل و سرویس رو پیدا کنیم. چند حله براش طراحی می‌کنیم و اونها رو اجرایی می‌کنیم. هر چقدر ذات این حملات رو بیشتر بشناسیم، بهتر تصمیم خواهیم گرفت که چطوری از مدل‌هامون در دنیای واقعی محافظت کنیم.
الان یکسری سئوالات از جمله موارد زیر در ذهن شماست:
- اینکه این حوزه برای چه کسانی خوب هست
- نحوه تهیه دوره چطوریه
- برای چه کسانی خوب نیست
- سرفصل‌هاش چیه
- منابع علمی دوره چه کتاب‌هایی هستند
- چند ساعت طول خواهد کشید
مابقی سئوالات شما، شاید در لینک زیر پاسخ داده شود: