Model matnni harflab ham, so’zlab ham emas, tokenlab o’qiydi. Inglizcha matnda bitta token o’rtacha 3–4 belgiga teng. O’zbekcha matn odatda ko’proq tokenga bo’linadi, chunki tokenizatorlar asosan ingliz tilida o’qitilgan.
Amaliy ahamiyati
- Narx tokenlar soni bo’yicha hisoblanadi (kiruvchi va chiquvchi alohida).
- Kontekst oynasi ham tokenlarda o’lchanadi.
- Uzun fayl yoki log’ni to’liq berish o’rniga, kerakli qismini berish — ham arzonroq, ham natijaliroq.