پرداخت برای هر توکن
شرکتِ لیلا برایش یک حسابِ API گرفته است (راهی برای استفاده‌ی مستقیم از مدل، بدونِ اپلیکیشنِ گفت‌وگو)، پس او برای هوش مصنوعی به اندازه‌ی مصرفش پول می‌دهد، نه یک مبلغِ ثابتِ ماهانه. بعد از یک هفته صورت‌حساب را نگاه می‌کند. یک گفت‌وگوی طولانی خیلی بیشتر از همه‌ی گفت‌وگوهای کوتاهش روی هم هزینه داشته، در حالی که آن‌قدرها هم طولانی نبوده است. توکن‌ها کجا رفته‌اند؟
ورودی و خروجی
شرکت‌های هوش مصنوعی برای توکن پول می‌گیرند، برای دو نوعِ آن:
- توکن‌های ورودی (input tokens): هر چیزی که در یک درخواست برای مدل فرستاده می‌شود. پیامِ شما، و همان‌طور که می‌بینید، خیلی چیزهای دیگر.
- توکن‌های خروجی (output tokens): هر چیزی که مدل در پاسخ می‌نویسد، از جمله توکن‌های فکر کردنش، حتی آن‌هایی که هیچ‌وقت نمی‌بینید.
قیمت‌ها برای هر یک میلیون توکن گفته می‌شوند، و خروجی گران‌تر از ورودی است، در مدل‌های Claude حدود پنج برابر. دلیلش این است که خواندنِ متن برای مدل کارِ سریعی است، ولی هر توکنِ خروجی یک گامِ کاملِ جداگانه لازم دارد.
برای اینکه حسی از اندازه‌ها داشته باشید: در اواخرِ ۲۰۲۶، بزرگ‌ترین مدلِ روزمره‌ی Claude برای هر یک میلیون توکنِ ورودی حدود ۴ دلار و برای هر یک میلیون توکنِ خروجی حدود ۲۰ دلار می‌گرفت. کوچک‌ترین مدلش حدود ۴۰ برابر ارزان‌تر بود. یک میلیون توکن تقریباً ۷۵۰ هزار کلمه‌ی انگلیسی است، پس یک پرسش و پاسخ کسری از یک سنت هزینه دارد. پرسشِ جالب این است که صورت‌حساب چطور بزرگ می‌شود.
لیلا بخشِ عجیبش همین است. در آن گفت‌وگوی طولانی بیست پیام نوشتم. هر پیامم و پاسخش روی هم حدودِ ۵۰۰ توکن بود. پس ۲۰ ضربدر ۵۰۰ می‌شود ۱۰٬۰۰۰ توکن. این که تقریباً هیچ هزینه‌ای ندارد.
امید وقتی پیامِ بیستمت را می‌فرستی، مدل از کجا می‌داند در پیامِ اولت چه گفتی؟
لیلا یادش می‌ماند؟
امید به‌زودی یک درسِ کامل درباره‌اش داریم. فعلاً پاسخِ کوتاهش این است: مدل بین دو درخواست هیچ چیز نگه نمی‌دارد. برای اینکه «یادش بماند»، برنامه با هر پیامِ تازه کلِ گفت‌وگوی تا آن لحظه را می‌فرستد.
لیلا هر بار؟ یعنی پیامِ دومم پیامِ اول را هم می‌فرستد؟
امید و پیامِ بیستمت هر نوزده پیامِ قبل از خودش را. جمعش را حساب کن.
لیلا درخواستِ اول حدودِ ۵۰۰ توکن است. دومی ۱٬۰۰۰. سومی ۱٬۵۰۰... تا ۱۰٬۰۰۰ برای بیستمی.
امید و جمعشان؟
لیلا ۵۰۰ به‌اضافه‌ی ۱٬۰۰۰ به‌اضافه‌ی ۱٬۵۰۰، همین‌طور تا ۱۰٬۰۰۰... می‌شود ۱۰۵٬۰۰۰ توکن. بیشتر از ده برابرِ چیزی که گفت‌وگو به نظر می‌رسد!
امید توکن‌هایت همان‌جا رفته‌اند.
پلکانی که بالا می‌رود
هر پیامِ تازه کلِ تاریخچه را با خود می‌برد، پس ورودی با هر نوبت بزرگ‌تر می‌شود، مثلِ یک پلکان. چیزی که برایش پول می‌دهید مساحتِ کلِ پلکان است، نه فقط پله‌ی آخر.
حالا به یک عامل فکر کنید. هر بار که از یک ابزار استفاده می‌کند، نتیجه به گفت‌وگو اضافه می‌شود و کلِ آن دوباره فرستاده می‌شود. یک کار ممکن است صد گام از این دست طول بکشد، با ده‌ها هزار توکن فایل و نتیجه در گفت‌وگو. این برای یک کار می‌تواند به میلیون‌ها توکنِ ورودی برسد. درسی نزدیکِ پایانِ دوره ترفندی را نشان می‌دهد که این را خیلی ارزان‌تر می‌کند. با این حال، جلسه‌های طولانی همچنان بیشترین هزینه را دارند.
زمان هم توکن است
سرعت هم همین‌طور حساب می‌شود. خواندنِ ورودی سریع است، ولی خروجی هر بار یک توکن نوشته می‌شود، معمولاً از چند ده تا چند صد توکن در ثانیه، بسته به مدل. مدلی که پیش از پاسخ ۵٬۰۰۰ توکن فکر می‌کند، شما را منتظرِ تک‌تکِ آن‌ها نگه می‌دارد.
اگر به جای پرداخت برای هر توکن اشتراک دارید، همین ماجرا به شکلِ دیگری برقرار است: اشتراک‌ها سقفِ مصرف دارند، و همان جلسه‌های طولانی و زمینه‌های بزرگی که صورت‌حسابِ توکنی را بالا می‌برند، شما را زودتر به این سقف می‌رسانند.
امتحان کنید
بیشترِ شرکت‌های هوش مصنوعی صفحه‌ی عمومیِ قیمت دارند. قیمتِ هر یک میلیون توکنِ ورودی و خروجی را برای دو مدل از یک شرکت پیدا کنید، بزرگ‌ترین و کوچک‌ترین. بعد حساب کنید آخرین گفت‌وگوی طولانی‌تان تقریباً چقدر هزینه داشته: پیام‌ها را بشمرید، توکن‌های هر پیام را حدس بزنید و پلکان را جمع بزنید.
درست به کار بردن
- برای کارِ تازه گفت‌وگوی تازه شروع کنید. اگر یک گفت‌وگوی قدیمی و طولانی را برای پرسشی بی‌ربط ادامه دهید، هر پیامِ تازه هزینه‌ی همه‌ی پیام‌های قدیمی را هم می‌پردازد.
- برای کارهای ساده و پرتعداد از مدلِ کوچک‌تر استفاده کنید. دسته‌بندی، مرتب کردنِ قالب و خلاصه‌های کوتاه به‌ندرت بزرگ‌ترین مدل را لازم دارند، و یک مدلِ کوچک می‌تواند ده‌ها برابر ارزان‌تر باشد.
- متن‌های بزرگ را در گفت‌وگوهای طولانی نچسبانید. سندی بیست‌صفحه‌ای که در پیامِ سوم چسبانده شود، با هر پیامِ بعدی دوباره فرستاده می‌شود. آنچه را از آن لازم دارید در یک گفت‌وگوی تازه و کوتاه بپرسید.
- در کارهای ساده حواستان به فکر کردن باشد. توکن‌های فکر کردن توکنِ خروجی‌اند، یعنی نوعِ گران. وقتی کار ساده است، میزانِ تلاش را پایین بیاورید.
واژه‌های این درس
- توکن‌های ورودی - همه‌ی توکن‌هایی که در یک درخواست برای مدل فرستاده می‌شوند، از جمله گفت‌وگوی قبلی که برنامه دوباره می‌فرستد
- توکن‌های خروجی - همه‌ی توکن‌هایی که مدل در پاسخ می‌نویسد، از جمله فکر کردنش؛ گران‌تر از ورودی
- قیمت برای هر یک میلیون توکن - شیوه‌ی قیمت‌گذاریِ استفاده از هوش مصنوعی: این‌قدر دلار برای هر یک میلیون توکنِ ورودی، و بیشتر برای هر یک میلیون توکنِ خروجی
ایده‌ی اصلی
برای هر توکنی که وارد می‌شود و هر توکنی که بیرون می‌آید پول می‌دهید، و خروجی گران‌تر است. چون هر پیام کلِ گفت‌وگو را دوباره می‌فرستد، یک گفت‌وگوی طولانی یا یک جلسه‌ی کار با عامل خیلی بیشتر از آنچه طولش نشان می‌دهد هزینه دارد: برای کلِ پلکان پول می‌دهید، نه فقط پله‌ی آخر.