مرزهای دسترسی عامل کدنویسی را چطور تعیین کنیم؟
خلاصهٔ پاسخ
مجوز عامل باید از ریسک همان وظیفه پیروی کند: ابزار کمتر، Scope کوچکتر، تأیید پیش از عمل حساس و مشاهدهپذیری کامل.

در این مقاله
مجوز عامل باید از ریسک همان وظیفه پیروی کند: ابزار کمتر، Scope کوچکتر، تأیید پیش از عمل حساس و مشاهدهپذیری کامل.
پاسخ کوتاه
عامل را با دسترسی کامل شروع نکنید. برای هر وظیفه مشخص کنید چه دادهای را میتواند بخواند، کجا میتواند بنویسد، کدام فرمان یا شبکه مجاز است و چه عملی حتماً به تأیید انسان نیاز دارد.
گردشکار پیشنهادی
- وظیفه را به قابلیتهای لازم مانند خواندن، ویرایش، تست و ساخت PR نگاشت کنید.
- هر ابزار، مسیر فایل، مخزن و مقصد شبکه اضافی را حذف کنید.
- حذف داده، migration، نصب dependency، انتشار و دسترسی Production را پشت تأیید بگذارید.
- محیط اجرا را از حساب و داده روزمره جدا و عمر نشست را محدود کنید.
- فراخوانی ابزار، فرمان، تغییر فایل و پاسخ تأیید را ثبت کنید.
- دکمه توقف، timeout و مسیر بازیابی را پیش از واگذاری کار آزمایش کنید.
مثال اجرایی
برای نوشتن تست واحد، خواندن سورس و نوشتن در پروژه تست کافی است؛ دسترسی شبکه، Secret، migration و انتشار هیچ توجیهی ندارد. اگر dependency جدید لازم شد، عامل باید متوقف شود و دلیل ارائه کند.
چطور نتیجه را راستیآزمایی کنیم؟
ماتریس «عمل × منبع × محیط × نیاز به تأیید» بسازید و یک سناریوی ممنوع را آزمایش کنید. کنترل فقط وقتی معتبر است که واقعاً مانع عمل شود، نه اینکه صرفاً در سیاست نوشته شده باشد.
خطاهای رایج
دادن ابزارهای متعدد برای راحتی، استفاده از یک حساب مشترک و اتکای صرف به prompt نمونههای اختیار بیشازحداند. محدودیت فنی باید در لایه اجرا اعمال شود.
جایگاه این مطلب در مسیر یادگیری
مرزها را در دستور چندمرحلهای عامل بنویسید و برای کنترل سازمانی به چکلیست حاکمیت متصل کنید.
منابع و محدودیت
OWASP ریسک Excessive Agency را حاصل قابلیت، مجوز یا خودمختاری بیشازحد میداند و کاهش هر سه بههمراه تأیید انسانی را پیشنهاد میکند. OWASP LLM06: Excessive Agency.
جمعبندی
هدف حذف توان عامل نیست؛ هدف تناسب اختیار با کار و قابلمشاهدهبودن هر اقدام است.
گفتوگو
تجربهتان را بنویسید یا سؤال بپرسید. نظرات پس از تأیید مدیر منتشر میشوند.
در حال بارگذاری…
برای ادامهٔ مطالعه
چکلیست حاکمیت هوش مصنوعی در توسعه نرمافزار سازمانی
حاکمیت مؤثر از هدف و مالک شروع میشود و داده، هویت، مجوز، مدل، شواهد کیفیت، رخداد، پایش و بازنگری را به یک سیستم تصمیم متصل میکند.
پوریا افضلی · 10 دقیقه مطالعه
مطالعه مقالهچکلیست اتصال امن مخزن خصوصی به دستیار هوش مصنوعی
اتصال امن از انتخاب روش احراز هویت و حداقل Scope شروع میشود و با انقضا، نگهداری امن، ثبت رویداد و تمرین لغو ادامه پیدا میکند.
پوریا افضلی · 9 دقیقه مطالعه
مطالعه مقالهالگوی پرامپت برای وظیفه چندمرحلهای عامل کدنویسی
پرامپت مؤثر هدف، زمینه مخزن، محدودیت، معیار پذیرش، روش بررسی و نقطه توقف را یکجا روشن میکند.
پوریا افضلی · 8 دقیقه مطالعه
مطالعه مقالهتزریق پرامپت در عامل کدنویسی؛ مرز اعتماد و آزمون دفاعی
متن مخزن و خروجی ابزار ممکن است دستور مخرب داشته باشند. داده را از مجوز جدا کنید، اختیار ابزار را محدود نگه دارید و دفاع را در محیط ایزوله بسنجید.
پوریا افضلی · 5 دقیقه مطالعه
مطالعه مقالهچطور جلوی نشت Secret در کار با عاملهای کدنویسی را بگیریم؟
Secret را از زمینه عامل حذف کنید، دسترسی را زمانمند و وظیفهمحور کنید و ورودی، خروجی، log و artifact را همزمان کنترل کنید.
پوریا افضلی · 8 دقیقه مطالعه
مطالعه مقاله



