الرمز (Token)
Token
التعريف
أصغر وحدة نصية يعالجها النموذج اللغوي، وقد تكون كلمة أو جزءاً من كلمة أو حرفاً.
Definition (English)
The basic unit of text a language model reads and writes — a word, part of a word or a character.
جرّب هذا الأمر
كم رمزاً تقريباً يحتوي هذا النص، وهل يتسع في رسالة واحدة؟