عمق ۱ · ۱۷۲ ثانیه
توکن به توکن
چرا پاسخِ هوش مصنوعی کمکم روی صفحه میآید؟ چون مدل آن را توکن به توکن مینویسد: برای هر توکنِ بعدی یک احتمال، یکی انتخاب میشود، به ته متن اضافه میشود و دوباره از نو. این چه چیزهایی را توضیح میدهد.
درباره‌ی این ویدیو
وقتی از یک دستیارِ گفت‌وگو چیزی می‌پرسید، پاسخ چند واژه چند واژه روی صفحه میآید. این یک جلوه‌ی ظاهری نیست: مدل واقعاً آن را تکه به تکه می‌سازد. تنها کاری که یک مدل زبانی یاد گرفته حدس زدنِ ادامه‌ی متن است، پس با گرفتنِ یک متن، حدسش را برای توکنِ بعدی میدهد. فقط یک توکن.
در هر قدم، مدل به همه‌ی توکن‌های واژگانش یک احتمال میدهد، یعنی شانسِ این‌که بعدی باشند. بعد از «گربه آمد و نشست روی»، شاید «فرش» ۴۱ درصد بگیرد، «زمین» ۱۷، «مبل» ۹، «تخت» ۶، و هزاران توکنِ دیگر تقریباً هیچ. بعد یک توکن از میانِ این احتمال‌ها انتخاب میشود. به این قدم نمونه‌گیری می‌گویند: معمولاً یکی از توکن‌های محتمل انتخاب میشود، ولی نه همیشه محتمل‌ترینِ آن‌ها، چون همیشه انتخاب کردنِ اولی متنی کسل‌کننده و تکراری می‌سازد. تنظیمی به نامِ دما تعیین می‌کند انتخاب چقدر ماجراجویانه باشد. توکنِ انتخاب‌شده به ته متن اضافه میشود، کلِ متن دوباره به مدل داده میشود و مدل برای توکنِ بعدی احتمال میدهد، بارها و بارها، تا یک توکنِ پایانِ ویژه انتخاب شود یا به سقفِ طول برسد. این پیش‌بینیِ توکنِ بعدی است، و تنها کاری است که یک مدل زبانی می‌کند.
این سه چیز را توضیح میدهد. پاسخ کمکم میآید، چون هر توکن یک قدمِ کاملِ کار است. یک سؤال می‌تواند پاسخ‌های متفاوت بگیرد، چون انتخابِ توکنی دیگر در اول کار بقیه را به راهِ دیگری می‌برد. و اشتباهِ اولِ کار معمولاً می‌ماند: توکنِ نوشته‌شده هیچ‌وقت پس گرفته نمی‌شود و هر قدمِ بعدی متن را همان‌طور که هست ادامه میدهد، پس بعد از یک ادعای غلطِ مطمئن، ادعاهای مطمئنِ دیگری میآید. اگر پاسخی از اول راهِ غلط رفت، به‌جای بحث از نو شروع کنید؛ برای نظرِ دوم دوباره بپرسید؛ و برای هر چیزِ دقیق، چیزی بخواهید که بتوانید بررسی‌اش کنید.
این ویدیو عمق ۱ از «پیش‌بینی توکن بعدی» را نشان میدهد.
یادگیری پیش‌بینی توکن بعدیمتن گفتار
- ۰:۰۰پاسخِ هوش مصنوعی چند واژه چند واژه روی صفحه میآید. آماده است و آرام نشان داده میشود، یا همان لحظه نوشته میشود؟
- ۰:۱۸همان لحظه نوشته میشود. مدل برای متنِ تا این‌جا به هر توکنِ ممکن یک احتمال میدهد. بعد از «گربه آمد و نشست روی»، فرش چهل و یک درصد، زمین هفده درصد، و هزاران توکنِ دیگر تقریباً هیچ.
- ۰:۴۴بعد یک توکن از میانِ این احتمال‌ها انتخاب میشود. معمولاً یکی از محتمل‌ها، ولی نه همیشه اولی. تنظیمی به نامِ دما تعیین می‌کند انتخاب چقدر ماجراجویانه باشد.
- ۱:۰۶توکنِ انتخاب‌شده به ته متن اضافه میشود و کلِ متن دوباره به مدل می‌رود. احتمال، انتخاب، اضافه کردن، و دوباره، صدها بار، تا توکنِ پایان یا سقفِ طول. تنها کارِ مدل زبانی همین است.
- ۱:۳۶برای همین یک سؤال می‌تواند پاسخ‌های متفاوت بگیرد. اگر در اول کار توکنِ دیگری انتخاب شود، بقیه‌ی پاسخ راهِ دیگری می‌رود.
- ۲:۰۲و توکنی که نوشته شد هیچ‌وقت پس گرفته نمی‌شود. هر قدمِ بعدی متن را همان‌طور که هست ادامه میدهد، با اشتباهش. بعد از یک ادعای غلطِ مطمئن، ادعاهای مطمئنِ دیگری میآید.
- ۲:۲۶اگر پاسخی از اول راهِ غلط رفت، به‌جای بحث از نو شروع کنید. برای نظرِ دوم دوباره بپرسید. و برای هر چیزِ دقیق، چیزی بخواهید که بتوانید بررسی کنید.
- ۲:۴۴توکن به توکن. احتمال، انتخاب، اضافه، دوباره.