Knaph

توکن

تکه‌ای از متن که مدل زبانی می‌خواند یا می‌نویسد: یک کلمه‌ی رایج، بخشی از یک کلمه، یک نشانه‌ی نگارشی یا تکه‌ای از یک عدد، برگرفته از واژگانِ ثابتِ یک توکن‌ساز. هر توکنِ انگلیسی حدود چهار حرف است. فارسی معمولاً توکن‌های بیشتری می‌گیرد. سرعت، محدودیت‌ها و قیمت همه با توکن شمرده می‌شوند.

عمق 1 · پایه

می‌توانید بگویید توکن چیست و چرا مدل‌ها از آن استفاده می‌کنند، تعداد توکن‌های یک متن انگلیسی را تخمین بزنید و بگویید چرا زبان‌های دیگر اغلب توکن بیشتری لازم دارند.

وارد شوید تا با یک آزمون کوتاه نشان دهید چه می‌دانید، ببینید تا چه عمقی پیش رفته‌اید و امتیاز بگیرید.

ورود با گوگل

عمق‌های فهم

  1. 1

    پایه

    می‌توانید بگویید توکن چیست و چرا مدل‌ها از آن استفاده می‌کنند، تعداد توکن‌های یک متن انگلیسی را تخمین بزنید و بگویید چرا زبان‌های دیگر اغلب توکن بیشتری لازم دارند.

مسیر شما تا اینجا

آنچه هنوز میان شما و توکن، عمق 1 است، به ترتیبی که می‌توانید بیاموزید.

  1. 1مدل زبانیعمق 1 · پایه · مدل‌های زبانی
  2. 2توکنعمق 1 · پایه · مدل‌های زبانی

جایگاه این مفهوم