توت‌فرنگیِ تکه‌تکه

درباره‌ی این ویدیو

مدت‌ها یکی از راه‌های معروفِ گیر انداختنِ مدل‌های هوش مصنوعی این سؤال بود: در واژه‌ی انگلیسیِ strawberry (توت‌فرنگی) چند تا حرفِ r هست؟ مدل‌هایی که مقاله می‌نوشتند اغلب می‌گفتند دو تا. این اشتباه نشان می‌دهد هر مدل زبانی چطور می‌خواند: نه حرف به حرف، نه واژه به واژه، بلکه توکن به توکن.

توکن تکه‌ای از متن است: یک واژه‌ی رایج، بخشی از یک واژه، یک نشانه‌ی نگارشی یا تکه‌ای از یک عدد. پیش از آن‌که مدل چیزی بخواند، برنامه‌ای به نامِ توکن‌ساز متن را به توکن‌ها می‌بُرد و هر کدام را به یک عدد تبدیل می‌کند. مدل عددها را می‌خواند و عدد پس می‌دهد، و توکن‌ساز آن‌ها را دوباره متن می‌کند. واژه‌ی strawberry به شکلِ سه تکه می‌رسد، st و raw و berry، پس مدل حرف‌هایش را هیچ‌وقت نمی‌بیند.

چرا حرف به حرف نه؟ مدل برای هر تکه یک قدم کار می‌کند، و جمله‌ای هفتاد‌حرفی هفتاد قدم می‌شد. چرا واژه به واژه نه؟ واژه‌ها میلیون‌ها هستند، در هر زبانی، و هر روز واژه‌ی تازه‌ای پیدا می‌شود. توکن‌ها در این میان‌اند: واژگانی ثابت با حدودِ ۱۰۰٬۰۰۰ تا ۲۰۰٬۰۰۰ تکه، که چون زیاد پیش می‌آیند انتخاب شده‌اند. واژه‌های رایج یک توکن‌اند، واژه‌های کمیاب به چند تکه شکسته می‌شوند و عددهای بلند هم تکه‌تکه می‌شوند.

در انگلیسی هر توکن حدودِ چهار نویسه یا سه‌چهارمِ یک واژه است، پس ۱٬۵۰۰ واژه حدودِ ۲٬۰۰۰ توکن می‌شود. زبان‌های دیگر اغلب بیشتر می‌خواهند: یک پاراگرافِ کوتاه در انگلیسی ۴۰ توکن شد و در فارسی با یک توکن‌سازِ رایج ۶۲ توکن، و با یک توکن‌سازِ قدیمی‌تر ۱۲۷. سرعت، محدودیت‌ها و قیمت همه با توکن شمرده می‌شوند، و برای همین کارِ یک عامل وقتی معنا پیدا می‌کند که به‌جای پیام، توکن بشمارید.

متن گفتار

1. ۰:۰۰در واژه‌ی strawberry چند تا r هست؟ مدل‌های قدیمی‌تر اغلب می‌گفتند دو تا. چرا؟
2. ۰:۰۸مدل هیچ‌وقت حرف‌ها را نمی‌بیند. سه تکه می‌بیند، و هر تکه برایش فقط یک عدد است.
3. ۰:۲۰چرا حرف به حرف نه؟ برای یک جمله هفتاد قدم می‌شد. چرا واژه به واژه نه؟ واژه‌ها میلیون‌ها هستند، و همیشه یکی تازه می‌آید.
4. ۰:۴۲توکن‌ساز متن را به توکن‌ها می‌بُرد، تکه‌هایی از یک واژگانِ ثابت، و هر کدام را عدد می‌کند. مدل عدد می‌خواند و عدد پس می‌دهد.
5. ۱:۰۶واژه‌های رایج یک توکن‌اند. واژه‌های کمیاب و عددهای بلند به چند تکه‌ی رایج شکسته می‌شوند.
6. ۱:۲۸در انگلیسی هر توکن حدودِ چهار نویسه است، سه‌چهارمِ یک واژه. هزار و پانصد واژه حدودِ دو هزار توکن می‌شود.
7. ۱:۵۰زبان‌های دیگر اغلب بیشتر می‌خواهند. یک پاراگراف در انگلیسی چهل توکن شد و در فارسی شصت و دو، یا با توکن‌سازی قدیمی‌تر صد و بیست و هفت.
8. ۲:۱۴سرعت، محدودیت و قیمت همه با توکن شمرده می‌شوند. پس به‌جای پیام، توکن بشمارید.
9. ۲:۳۲مدل حرف یا واژه نمی‌خواند. توکن می‌خواند.