Tokenization
تۆکنکردن
Proposed Kurdish term — under reviewزاراوەی پێشنیارکراو — لە ژێر پێداچوونەوەدایە Definitionپێناسە
Cutting text into and giving each one its id number: the first step before a can work on text.
بڕینی دەق بۆ و دانی ژمارەی ناسنامە بە هەر یەکێکیان: یەکەم هەنگاو پێش ئەوەی کار لەسەر دەق بکات.
Exampleنموونە
Tokenization turns the sentence you type into a list of id numbers.
ئەو ڕستەیەی دەینووسیت دەکات بە لیستێک لە ژمارەی ناسنامە.
Other Kurdish renderings in useوەرگێڕانە کوردییەکانی تر
تۆکن کردن، تۆکنکردنەکە، تۆکنکردنی
Note on the Kurdish termتێبینی لەبارەی زاراوە کوردییەکە
Proposed by NOTES-B01 (2026-11-09) while moving the owner's Apple Notes into ai-machine-learning-basics. The owner's note (i=10) writes «تۆکن کردن».
Related termsزاراوە پەیوەندیدارەکان
Learn more inزیاتر فێربە لە
- Machine Learning Basics (Supplementary)بنەماکانی فێربوونی ئامێر (زیادە)
- How a Language Model Writes: Tokens, Probabilities and the Context Windowمۆدێلی زمان چۆن دەنووسێت: تۆکنەکان، ئەگەرەکان و پەنجەرەی کۆنتێکست
- Token Optimization: Saving Cost, Time and Contextباشترینکردنی تۆکن: پاشەکەوتی پارە، کات و شوێن
- Neural Networks and Deep Learningتۆڕە دەمارییەکان و فێربوونی قووڵ