پلکانی که بالا می‌رود

درباره‌ی این ویدیو

لیلا برای هوش مصنوعی‌ای که به کار می‌برد به اندازه‌ی مصرف پول می‌دهد. یک گفت‌وگوی بلند، با بیست پیامِ کوتاه، از همه‌ی گفت‌وگوهای کوتاهش روی هم خیلی گران‌تر شد. توکن‌ها کجا رفتند؟

شرکت‌های هوش مصنوعی برای دو نوع توکن پول می‌گیرند. توکن‌های ورودی همه‌ی چیزهایی است که در یک درخواست به مدل فرستاده می‌شود. توکن‌های خروجی همه‌ی چیزهایی است که مدل پس می‌نویسد، از جمله توکن‌های فکر کردن، حتی آن‌هایی که هرگز نمی‌بینید. قیمت برای هر یک میلیون توکن گفته می‌شود و خروجی گران‌تر است، برای مدل‌های Claude حدودِ پنج برابر، چون هر توکنِ خروجی یک قدمِ کاملِ کار است. در اواخرِ ۲۰۲۶ بزرگ‌ترین مدلِ روزمره‌ی Claude برای هر یک میلیون توکنِ ورودی حدودِ ۴ دلار و برای هر یک میلیون توکنِ خروجی ۲۰ دلار می‌گرفت، و کوچک‌ترین مدلش حدودِ ۴۰ برابر ارزان‌تر بود. یک درخواست با ۱۲٬۰۰۰ توکنِ ورودی و ۱٬۵۰۰ توکنِ خروجی حدودِ ۸ سنت می‌شود.

نکته‌ی غافلگیرکننده این است که صورت‌حساب چطور بزرگ می‌شود. مدل میانِ درخواست‌ها چیزی نگه نمی‌دارد، پس برنامه برای این‌که مدل «به یاد بیاورد»، با هر پیامِ تازه کلِ گفت‌وگو را تا آن‌جا دوباره می‌فرستد. اگر هر پیام و پاسخش حدودِ ۵۰۰ توکن باشد، درخواستِ اول ۵۰۰ توکن است، دومی ۱٬۰۰۰، سومی ۱٬۵۰۰، تا بیستمی که ۱۰٬۰۰۰ است. روی هم می‌شود ۱۰۵٬۰۰۰ توکنِ ورودی، برای گفت‌وگویی که خودش فقط ۱۰٬۰۰۰ توکن است. هزینه‌ی کلِ پلکان را می‌دهید، نه فقط پله‌ی آخر.

عامل هم با هر فراخوانیِ ابزار همین کار را می‌کند: نتیجه به گفت‌وگو اضافه می‌شود و همه‌اش دوباره فرستاده می‌شود. کاری صدقدمی می‌تواند میلیون‌ها توکنِ ورودی بفرستد. زمان هم همین‌طور است، چون خروجی توکن به توکن نوشته می‌شود. پس برای کارِ تازه گفت‌وگوی تازه شروع کنید، برای کارهای ساده مدلِ کوچک‌تر را به کار ببرید، متن‌های بزرگ را در گفت‌وگوهای بلند نچسبانید و برای کارهای آسان میزانِ تلاش را پایین بیاورید.

متن گفتار

1. ۰:۰۰بیست پیامِ کوتاه، هر کدام حدودِ پانصد توکن. باید ده هزار توکن بشود. پس چرا صورت‌حساب این‌قدر بزرگ‌تر است؟
2. ۰:۱۶برای توکن‌هایی که می‌روند و توکن‌هایی که می‌آیند پول می‌دهید، برای هر یک میلیون. خروجی، با فکر کردنش، حدودِ پنج برابر گران‌تر است، چون هر توکنِ خروجی یک قدمِ کار است.
3. ۰:۴۰یک درخواست، دوازده هزار توکنِ ورودی و هزار و پانصد خروجی، با بزرگ‌ترین مدل حدودِ هشت سنت می‌شود. مدلِ کوچک حدودِ چهل برابر ارزان‌تر است. پس صورت‌حساب چطور بزرگ می‌شود؟
4. ۱:۰۲مدل میانِ درخواست‌ها چیزی یادش نمی‌ماند. پس هر پیام کلِ گفت‌وگو را دوباره می‌فرستد. پانصد، بعد هزار، بعد هزار و پانصد، تا ده هزار برای بیستمی.
5. ۱:۳۲روی هم می‌شود صد و پنج هزار توکنِ ورودی، بیش از ده برابرِ آن‌چه گفت‌وگو به نظر می‌رسد. هزینه‌ی کلِ پلکان را می‌دهید، نه پله‌ی آخر.
6. ۱:۵۴عامل بعد از هر فراخوانیِ ابزار همه‌چیز را دوباره می‌فرستد. صد قدم می‌تواند میلیون‌ها توکن بفرستد. و خروجی توکن به توکن نوشته می‌شود، پس زمان هم توکن است.
7. ۲:۱۸پس برای کارِ تازه گفت‌وگوی تازه شروع کنید. برای کارهای ساده مدلِ کوچک. متن‌های بزرگ را در گفت‌وگوی بلند نچسبانید، و برای کارِ آسان تلاش را کم کنید.
8. ۲:۴۰هزینه‌ی کلِ پلکان را می‌دهید، نه پله‌ی آخر.