توکن
تکهای از متن که مدل زبانی میخواند یا مینویسد: یک کلمهی رایج، بخشی از یک کلمه، یک نشانهی نگارشی یا تکهای از یک عدد، برگرفته از واژگانِ ثابتِ یک توکنساز. هر توکنِ انگلیسی حدود چهار حرف است. فارسی معمولاً توکنهای بیشتری میگیرد. سرعت، محدودیتها و قیمت همه با توکن شمرده میشوند.
عمق 1 · پایه
میتوانید بگویید توکن چیست و چرا مدلها از آن استفاده میکنند، تعداد توکنهای یک متن انگلیسی را تخمین بزنید و بگویید چرا زبانهای دیگر اغلب توکن بیشتری لازم دارند.
وارد شوید تا با یک آزمون کوتاه نشان دهید چه میدانید، ببینید تا چه عمقی پیش رفتهاید و امتیاز بگیرید.
ورود با گوگلعمقهای فهم
- 1
پایه
میتوانید بگویید توکن چیست و چرا مدلها از آن استفاده میکنند، تعداد توکنهای یک متن انگلیسی را تخمین بزنید و بگویید چرا زبانهای دیگر اغلب توکن بیشتری لازم دارند.
مسیر شما تا اینجا
آنچه هنوز میان شما و توکن، عمق 1 است، به ترتیبی که میتوانید بیاموزید.
جایگاه این مفهوم
بنا شده بر
این مفهوم