کش کردن پرامپت

عمق‌های فهم

1. 1

   پایه

   می‌توانید توضیح دهید چرا جلسه‌های طولانی با عامل خیلی کمتر از فرستادنِ دوباره‌ی همه‌چیز هزینه دارند، چه چیزی کش را از کار می‌اندازد و چطور آن را کارآمد نگه داریم.

   • تماشا کنید · 175 ثانیهشروعِ مشترک

   بخوانید

   • هر بار همان شروععامل‌های هوش مصنوعی، سطح ۱: عامل‌ها چطور کار می‌کنند

   باز می‌شود پس از

   هزینه‌ی توکنکش تخفیفی روی توکن‌های ورودی است، پس فقط وقتی معنا دارد که بدانید توکن‌های ورودی چطور شمرده و قیمت‌گذاری می‌شوند.مدل بی‌حافظههر نوبت کل تاریخچه را دوباره می‌فرستد چون مدل هیچ‌چیز به یاد نمی‌آورد؛ کش همان چیزی است که این شروعِ تکراری را ارزان می‌کند.
2. 2

   عمیق‌تر

   می‌توانید آن را بسازید: یک نشانه‌ی cache_control در پایانِ پرامپتِ سیستم بگذارید که ابزارها و پرامپتِ سیستم را می‌پوشاند، و cache_control را روی خودِ درخواست بفرستید تا تازه‌ترین پیام هم کش شود؛ بعد با خواندنِ cache_read_input_tokens و cache_creation_input_tokens ببینید کار می‌کند، و هر چیزی را که عوض می‌شود از آغازِ درخواست دور نگه دارید.

   بخوانید

   • کش کردنِ آغازِ درخواستعامل‌های هوش مصنوعی، سطح ۲: عامل خودتان را بسازید

   ابتدا بر عمق 1 مسلط شوید

مسیر شما تا اینجا

آنچه هنوز میان شما و کش کردن پرامپت، عمق 1 است، به ترتیبی که می‌توانید بیاموزید.

1. 1مدل زبانیعمق 1 · پایه · مدل‌های زبانی
2. 2توکنعمق 1 · پایه · مدل‌های زبانی
3. 3احتمالعمق 1 · پایه · احتمال
4. 4پیش‌بینی توکن بعدیعمق 1 · پایه · مدل‌های زبانی
5. 5توکن‌های فکر کردنعمق 1 · پایه · مدل‌های زبانی
6. 6هزینه‌ی توکنعمق 1 · پایه · مدل‌های زبانی
7. 7مدل بی‌حافظهعمق 1 · پایه · مدل‌های زبانی
8. 8کش کردن پرامپتعمق 1 · پایه · مدل‌های زبانی