Knaph

عمق ۱ · ۱۷۰ ثانیه

نوارِ پرشونده

چرا عامل حرفی را که یک ساعت پیش زدید فراموش می‌کند؟ زمینه همه‌ی چیزی است که مدل در یک درخواست می‌بیند، پنجره‌ی زمینه بیشترین چیزی است که جا می‌گیرد، و عامل آن را با هرچه می‌خواند و اجرا می‌کند پر می‌کند.

درباره‌ی این ویدیو

یک ساعت از کار گذشته، و عاملِ هوش مصنوعی طوری جواب می‌دهد که انگار حرفی را که اولِ کار زده بودید هرگز نشنیده. چیزی خراب نشده. برای فهمیدنِ دلیلش باید دقیق بدانیم مدل چه چیزهایی را می‌بیند.

مدلِ زبانی بینِ درخواست‌ها چیزی نگه نمی‌دارد، پس هر درخواست باید همه‌ی چیزهایی را که لازم دارد با خودش بیاورد. به همه‌ی این‌ها زمینه می‌گویند. زمینه‌ی یک عامل خیلی بیشتر از پیام‌های شماست: دستورهای برنامه، شرحِ ابزارهایی که می‌تواند بخواهد، یادداشت‌هایی که شما یا تیم‌تان برایش نوشته‌اید، گفت‌وگو تا این‌جا، و هرچه خوانده یا اجرا کرده، یعنی محتوای فایل‌ها و خروجیِ دستورها. همه‌اش متن است، پس همه‌اش توکن است، و مدل در هر درخواست همه‌اش را می‌خواند و چیزِ دیگری نمی‌بیند.

پنجره‌ی زمینه بیشترین چیزی است که مدل یک‌جا می‌تواند بگیرد، و پاسخی که می‌نویسد هم باید در آن جا شود. در اواخرِ ۲۰۲۶ این برای مدل‌های فعلیِ Claude حدودِ یک میلیون توکن است، نزدیکِ ۷۵۰ هزار کلمه. بعضی مدل‌های کوچک‌تر یا قدیمی‌تر ۲۰۰ هزار توکن دارند. یک گفت‌وگوی معمولی به‌ندرت به آن نزدیک می‌شود. ولی عامل می‌شود: بیست فایل می‌خواند، یکی‌شان ۳٬۰۰۰ خط، پنج بار تست‌ها را اجرا می‌کند، و هر فایل و هر خروجی برای همه‌ی درخواست‌های بعدی در زمینه می‌ماند.

پاسخ هم در همین پنجره نوشته می‌شود، توکن به توکن، پس جای خالی همان فضایی است که مدل برای پاسخ دادن یا فکر کردن دارد. وقتی پنجره نزدیکِ پر شدن است، برنامه باید بخش‌های قدیمی‌تر را کوتاه یا حذف کند، و این‌طور است که چیزی از اولِ کار گم می‌شود. در Claude Code دستورِ ‎/context نشان می‌دهد هر بخش چقدر جا گرفته.

درست به کار بردن: آنچه کار لازم دارد به عامل بدهید، به‌جای خروجیِ خیلی بزرگ خلاصه یا جست‌وجو بخواهید، در نشستِ طولانی چیزهای مهم را دوباره بگویید، و وقتی فراموشکار شد نوار را نگاه کنید.

این ویدیو عمق ۱ از «پنجره‌ی زمینه» را نشان می‌دهد.

یادگیری پنجره‌ی زمینه

متن گفتار

  1. ۰:۰۰یک ساعت از کار گذشته و عامل چیزی را که اولِ کار گفتید فراموش کرده. چیزی خراب نشده. ماجرا این است که مدل چه می‌بیند.
  2. ۰:۱۸هر درخواست همه‌ی چیزهایی را که مدل می‌بیند با خودش دارد. دستورهای برنامه، شرحِ ابزارها، یادداشت‌های شما، گفت‌وگو، و هر فایل و خروجی‌ای که عامل خوانده. این زمینه است. همه‌اش توکن است و مدل هر بار همه‌اش را می‌خواند.
  3. ۰:۴۸ولی حدی هست. پنجره‌ی زمینه بیشترین چیزی است که مدل یک‌جا می‌گیرد، و پاسخ هم باید در آن جا شود. برای مدل‌های فعلیِ Claude در اواخرِ ۲۰۲۶، حدودِ یک میلیون توکن، چند رمانِ بلند. یک گفت‌وگوی معمولی به‌ندرت به آن نزدیک می‌شود.
  4. ۱:۱۲عامل فرق دارد. بیست فایل می‌خواند. یکی‌شان سه هزار خط است. پنج بار تست‌ها را اجرا می‌کند. هر فایل و هر خروجی برای همه‌ی درخواست‌های بعدی در زمینه می‌ماند. یک نشستِ طولانی حتی یک میلیون را هم پر می‌کند.
  5. ۱:۴۰پاسخ در همین پنجره نوشته می‌شود، توکن به توکن، بعد از همه‌چیز. جای خالی همه‌ی فضایی است که مدل برای پاسخ دادن، یا فکر کردن، دارد.
  6. ۲:۰۴وقتی پنجره نزدیکِ پر شدن است، چیزی باید کنار برود. برنامه بخش‌های قدیمی‌تر را کوتاه یا حذف می‌کند، و حرفِ اولِ شما این‌طور گم می‌شود. در Claude Code دستورِ کانتکست نوار را نشانتان می‌دهد.
  7. ۲:۲۲پس آنچه کار لازم دارد بدهید، نه هرچه دارید. به‌جای خروجیِ بزرگ خلاصه بخواهید. چیزهای مهم را دوباره بگویید. و وقتی فراموشکار شد، نوار را نگاه کنید.
  8. ۲:۴۲مدل فقط زمینه‌اش را می‌بیند. شما انتخاب کنید چه چیزی در آن برود.