Token (language model)
تۆکن
Proposed Kurdish term — under reviewزاراوەی پێشنیارکراو — لە ژێر پێداچوونەوەدایە Definitionپێناسە
A small piece of text that a reads and writes: a whole word, part of a word, a punctuation mark or a space. Each token has an id number.
پارچەیەکی بچووکی دەق کە دەیخوێنێتەوە و دەینووسێت: وشەیەکی تەواو، بەشێک لە وشەیەک، نیشانەیەکی خاڵبەندی یان بۆشاییەک. هەر تۆکنێک ژمارەیەکی ناسنامەی هەیە.
Exampleنموونە
A Kurdish word is often cut into two or three tokens, while a common English word is usually one token.
وشەیەکی کوردی زۆرجار دەکرێت بە دوو یان سێ ، بەڵام وشەیەکی باوی ئینگلیزی زۆرجار تەنیا یەک .
Other Kurdish renderings in useوەرگێڕانە کوردییەکانی تر
تۆکنەکە، تۆکنەکان، تۆکنێک، تۆکنی، تۆکنەکانی، تۆکنێکی
Note on the Kurdish termتێبینی لەبارەی زاراوە کوردییەکە
Proposed by NOTES-B01 (2026-11-09) while moving the owner's Apple Notes into ai-machine-learning-basics. The owner's note (i=10) writes «تۆکن». Kept apart from auth-token «تۆکنی چوونەژوورەوە».
Related termsزاراوە پەیوەندیدارەکان
Learn more inزیاتر فێربە لە
- Machine Learning Basics (Supplementary)بنەماکانی فێربوونی ئامێر (زیادە)
- How a Language Model Writes: Tokens, Probabilities and the Context Windowمۆدێلی زمان چۆن دەنووسێت: تۆکنەکان، ئەگەرەکان و پەنجەرەی کۆنتێکست
- Token Optimization: Saving Cost, Time and Contextباشترینکردنی تۆکن: پاشەکەوتی پارە، کات و شوێن
- AI Models Today: Claude, GPT, Gemini and Open Modelsمۆدێلەکانی ژیریی دەستکرد ئەمڕۆ: Claude، GPT، Gemini و مۆدێلە کێشکراوەکان
- What Is Generative AI?ژیریی دەستکردی بەرهەمهێنەر چییە؟
- AI Agents and Loop Engineeringئەیجێنتەکانی ژیریی دەستکرد و ئەندازیاریی خول
- Neural Networks and Deep Learningتۆڕە دەمارییەکان و فێربوونی قووڵ
- Prompt Engineering: Asking a Model Wellئەندازیاریی هەوێن: چۆن بە باشی داوا لە مۆدێل بکەیت
- Can Machines Think? The Turing Testئایا ئامێرەکان بیر دەکەنەوە؟ تاقیکاریی تیورینگ
- Limits and Safety: Using Generative AI Responsiblyسنوور و سەلامەتی: بەکارهێنانی بەرپرسیارانەی ژیریی دەستکردی بەرهەمهێنەر
- Cloud Computingهەورەژمێرکاری
- Probability in Computing: Speech, Predictive Text and Riskبەکارهێنانی ئەگەر لە بواری کۆمپیوتەردا: ئاخاوتن، پێشبینیی دەق و مەترسی
- ASCII and Character CodesASCII و کۆدەکانی نووسە
- Meaning as Numbers: Vectors and Embeddingsمانا وەک ژمارە: ئاڕاستەبڕەکان و ئیمبەدینگەکان