تزریق دستور

متنی درون محتوایی که عامل می‌خواند - یک صفحه‌ی وب، ایمیل، فایل یا نتیجه‌ی یک ابزار - که می‌کوشد به عامل دستور بدهد. مدل دستورها و داده را به شکل یک رشته‌ی واحد از توکن‌ها می‌خواند، پس نمی‌شود آن را مطمئن کرد. دفاع‌ها کاری را که یک عاملِ فریب‌خورده می‌تواند بکند محدود می‌کنند، و مهم‌تر از همه هیچ‌وقت به یک عامل داده‌ی خصوصی، محتوای نامطمئن و راهی برای بیرون فرستادنِ داده را با هم نمی‌دهند.

عمق 1 · پایه

می‌توانید تشخیص دهید دستورهای تزریق‌شده از کجا می‌آیند، توضیح دهید چرا مدل‌ها نمی‌توانند کاملاً در برابرشان مقاومت کنند، و عامل را طوری تنظیم کنید که اگر فریب خورد نتواند آسیبِ زیادی بزند.

وارد شوید تا با یک آزمون کوتاه نشان دهید چه می‌دانید، ببینید تا چه عمقی پیش رفته‌اید و امتیاز بگیرید.

ورود با گوگل

عمق‌های فهم

1
پایه
می‌توانید تشخیص دهید دستورهای تزریق‌شده از کجا می‌آیند، توضیح دهید چرا مدل‌ها نمی‌توانند کاملاً در برابرشان مقاومت کنند، و عامل را طوری تنظیم کنید که اگر فریب خورد نتواند آسیبِ زیادی بزند.
بخوانید
- دستورهای پنهان در دادهعامل‌های هوش مصنوعی، سطح ۱: عامل‌ها چطور کار می‌کنند
باز می‌شود پس از
اجازه‌های عاملچون نمی‌شود مدل را مطمئن کرد، اجازه‌ها و سندباکس‌ها هستند که آسیب را محدود می‌کنند.استفاده از ابزارمتنِ تزریق‌شده معمولاً به شکل نتیجه‌ی یک ابزار می‌رسد: صفحه‌ای که باز شده، فایلی که خوانده شده، پاسخِ یک سرور.
2
عمیق‌تر
می‌توانید آن را بسازید: عاملی که متنِ برگشته از ابزارها را داده می‌داند نه دستور، یک هوکِ پس از اجرا که محتوای گرفته‌شده از وب را نامطمئن علامت می‌زند، و طراحی‌ای که با تقسیمِ کار میانِ چند عامل نمی‌گذارد داده‌های خصوصی، محتوای نامطمئن و راهی به بیرون در یک عامل به هم برسند.
بخوانید
- محافظت در برابر تزریق دستورعامل‌های هوش مصنوعی، سطح ۲: عامل خودتان را بسازید
ابتدا بر عمق 1 مسلط شوید

مسیر شما تا اینجا

آنچه هنوز میان شما و تزریق دستور، عمق 1 است، به ترتیبی که می‌توانید بیاموزید.

جایگاه این مفهوم

بنا شده بر

اجازه‌های عامل استفاده از ابزار

این مفهوم

تزریق دستورعامل‌های هوش مصنوعی

بنا شده براین مفهوماجازه‌های عامل استفاده از ابزار تزریق دستورعامل‌های هوش مصنوعی