رفتن به محتوای اصلی
STسهیل تهرانی‌پور
زیرساخت هوش مصنوعی۱ دقیقه مطالعه

سکوی چندمستأجری مدل زبانی: چرا هر سازمان نباید زیرساخت خودش را از صفر بسازد

وقتی چند سازمان به مدل‌های زبانی فارسی نیاز دارند، سکوی مشترک با حاکمیت درست می‌تواند هزینه و پراکندگی را کم کند. اجزای اصلی چنین سکویی.

پیش‌نویس، در انتظار بازبینی نویسنده

هر سازمانی که می‌خواهد از مدل زبانی بزرگ استفاده کند، با یک فهرست تکراری روبه‌رو می‌شود: سخت‌افزار، سرویس‌دهی مدل، کنترل دسترسی، پایش، نسخه‌بندی و امنیت. اگر هر سازمان این فهرست را جداگانه بسازد، نتیجه ده‌ها زیرساخت نیمه‌کاره است.

اجزای اصلی

رابط برنامه‌نویسی یکپارچه. توسعه‌دهنده باید بدون دانستن جزئیات سخت‌افزار و مدل، از یک رابط ثابت استفاده کند.

جداسازی مستأجران. داده، سهمیه و دسترسی هر سازمان باید از دیگران جدا باشد. این شرط اعتماد است، نه یک ویژگی اضافه.

استودیو توسعه. تیم‌های سازمانی باید بتوانند بدون نوشتن زیرساخت، پرامپت، سند و گردش‌کار خود را بسازند و بیازمایند.

پایش و نسخه‌بندی. وقتی مدل به‌روز می‌شود، رفتار برنامه‌های مستأجران هم تغییر می‌کند. باید بدانیم کدام نسخه به کدام درخواست پاسخ داده است.

امنیت و حاکمیت. ثبت دسترسی، سیاست‌های داده و کنترل خروجی، بخشی از معماری‌اند و نباید بعداً به آن اضافه شوند.

مقیاس، چه چیزی را آشکار می‌کند

وقتی حجم پردازش به تریلیون‌ها توکن در ماه می‌رسد، مسائلی که در مقیاس کوچک دیده نمی‌شوند پیش می‌آیند: صف‌بندی منصفانه میان مستأجران، هزینه هر درخواست و پایداری در ساعت اوج. طراحی این موارد از روز اول، تفاوت میان سکو و مجموعه‌ای از سرویس‌های پراکنده است.

اشتراک‌گذاری:LinkedInXTelegram