شروعِ مشترک

درباره‌ی این ویدیو

جلسه‌ی کار لیلا با عاملش ۴۰ نوبت طول کشید. هر نوبت کل گفت‌وگو را دوباره برای مدل می‌فرستد، پس حساب کرد: حدود ۲٫۸ میلیون توکن ورودی، با ۴ دلار برای هر میلیون یعنی حدود ۱۱ دلار. اما صفحه‌ی مصرفش حدود یک و نیم دلار نشان می‌داد.

نوبت ۳۹ و ۴۰ را کنار هم بگذارید. نوبت ۴۰ همان نوبت ۳۹ است با کمی اضافه در آخر: آخرین پاسخ مدل و آخرین نتیجه‌ی ابزار. همه‌ی چیزهای قبل از آن، یعنی پرامپت سیستمی و توضیح ابزارها، CLAUDE.md و گفت‌وگو تا اینجا، عیناً یکی است. مدل بین درخواست‌ها چیزی نگه نمی‌دارد، اما خواندنِ یک پرامپت روی هر توکن محاسبه‌ی زیادی لازم دارد و ارائه‌دهنده می‌تواند نتیجه‌ی این محاسبه‌ها را چند دقیقه بیرون از مدل نگه دارد. به این کش کردن پرامپت می‌گویند. اگر درخواست بعدی دقیقاً با همان توکن‌ها شروع شود، آن شروعِ ذخیره‌شده، که به آن پیشوند می‌گویند، از کش خوانده می‌شود.

توکن‌هایی که از کش خوانده می‌شوند حدود یک‌دهمِ قیمتِ معمول را دارند و در بعضی مدل‌ها کمتر: بزرگ‌ترین مدلِ روزمره‌ی Claude برای هر میلیون توکن ورودی حدود ۴ دلار می‌گیرد و برای توکنِ خوانده‌شده از کش ۰٫۲۰ دلار. پاسخ هم زودتر می‌آید. در نوبت ۴۰ لیلا، حدود ۱۰۶ هزار توکن از کش آمد و فقط ۲ هزار توکنِ آخر قیمت کامل داشت، و کل جلسه از حدود ۱۱ دلار به حدود ۱٫۵ دلار رسید.

فقط تطابقِ دقیق حساب است. ارائه‌دهنده درخواست تازه را از اولین توکن با درخواست ذخیره‌شده مقایسه می‌کند و در اولین تفاوت، تطابق تمام می‌شود: هر چه بعد از آن بیاید قیمت کامل دارد. برای همین هارنس‌ها آنچه کمتر عوض می‌شود را اول می‌گذارند و نوبت‌های تازه را آخر. در Claude Code عوض کردنِ مدل یا میزان تلاش در وسط جلسه، اضافه یا حذف کردنِ سرور MCP وقتی همه‌ی ابزارها از اول بار می‌شوند، و فشرده کردنِ گفت‌وگو باعث می‌شود نوبت بعدی از نو شروع کند؛ اما ویرایش فایل‌های پروژه، استفاده از یک مهارت و راه انداختنِ زیرعامل‌ها نه. پیشوندِ ذخیره‌شده اگر استفاده نشود منقضی می‌شود: در API به‌طور پیش‌فرض بعد از ۵ دقیقه و در اشتراک‌های Claude برای گفت‌وگوی اصلی بعد از یک ساعت. هر بار که از کش خوانده شود، ساعت از نو شروع می‌شود.

متن گفتار

1. ۰:۰۰جلسه‌ی کار لیلا با عاملش چهل نوبت طول کشید. هر نوبت کل گفت‌وگو را دوباره می‌فرستد، پس حساب کرد، حدود یازده دلار. صورت‌حسابش یک و نیم دلار بود.
2. ۰:۲۲نوبت سی و نه و نوبت چهل را کنار هم بگذارید. نوبت چهل همان نوبت سی و نه است با کمی اضافه در آخر. همه‌ی چیزهای قبلش یکی است.
3. ۰:۴۴مدل چیزی به یاد نمی‌آورد. اما ارائه‌دهنده می‌تواند کاری را که روی شروعِ یک درخواست انجام داده چند دقیقه نگه دارد. اگر درخواست بعدی دقیقاً با همان توکن‌ها شروع شود، آن بخش از کش خوانده می‌شود.
4. ۱:۱۰توکن‌های کش‌شده حدود یک‌دهمِ قیمتِ معمول را دارند. در نوبت چهل، حدود صد و شش هزار توکن از کش آمد. کل جلسه از یازده دلار به حدود یک و نیم دلار رسید.
5. ۱:۳۴اما فقط تطابقِ دقیق حساب است. ارائه‌دهنده از اولین توکن مقایسه می‌کند. در اولین تفاوت تطابق تمام می‌شود و هر چه بعدش بیاید قیمت کامل دارد.
6. ۲:۰۲پس عوض کردنِ مدل در وسط جلسه، اضافه کردنِ سرور MCP یا فشرده کردن، از نو شروع می‌کند. ویرایش فایل‌ها، استفاده از مهارت یا راه انداختنِ زیرعامل نه.
7. ۲:۲۶و شروعِ کش‌شده منقضی می‌شود، در API بعد از پنج دقیقه، در اشتراک‌ها بعد از یک ساعت. هر بار استفاده، ساعت را از نو شروع می‌کند.
8. ۲:۴۴شروع را ثابت نگه دارید. به آخر اضافه کنید.