טוקנים: איך AI קורא את מה שאתם כותבים

המודל לא קורא מילים

לפני שמודל קורא טקסט, תוכנה קטנה שנקראת טוקנייזר מפרקת אותו לחתיכות. כל חתיכה נקראת טוקן. מילה נפוצה מקבלת בדרך כלל טוקן אחד שלם. מילה פחות נפוצה מתפרקת לכמה חתיכות. גם סימני פיסוק, מספרים ואימוג'ים הם טוקנים.

זוכרים שבמחשב הכול מספרים? לכל טוקן יש מספר ברשימה קבועה. למשל, ברשימה של GPT-4o יש בערך 200 אלף טוקנים שונים. המודל לא רואה אותיות, הוא רואה רשימה של מספרים כאלה.

שימו לב לכמה דברים: "בינה מלאכותית" התפרקה ל-5 חתיכות, ו-"artificial intelligence" רק ל-2. המילה "וכשהתחלנו" התפרקה ל-5. והמספר 2026 התפרק ל-"202" ול-"6".

למה עברית מתפרקת ליותר חתיכות

הטוקנייזר נבנה מתוך כמויות עצומות של טקסט, ורובו באנגלית. לכן מילים באנגלית קיבלו טוקן משלהן, ומילים בעברית, שמופיעות פחות, מתפרקות יותר. ויש עוד סיבה: בעברית מדביקים למילה אותיות כמו ו, ה, ש, כ, ל, ב. "וכשהתחלנו" היא מילה אחת בעברית, ובאנגלית אלה ארבע מילים (and when we started).

מדדתי את זה על אותה פסקה בדיוק, בעברית ובאנגלית:

למה זה משנה לכם

• הזיכרון של המודל נמדד בטוקנים. כמה טקסט המודל יכול "לראות" בבת אחת (השיחה, קבצים שהעליתם, ההוראות) נקרא חלון ההקשר, והוא נמדד בטוקנים. במודלים של היום זה בדרך כלל מאות אלפי טוקנים, ובחלק מהם יותר ממיליון. נרחיב על זה בעוד שני שיעורים.
• המחיר נמדד בטוקנים. מי שמשתמש במודל דרך API משלם לפי מיליון טוקנים: על מה ששולחים למודל ועל מה שהוא כותב בחזרה. במנוי חודשי לא רואים את זה ישירות, אבל גם שם מגבלת השימוש קשורה לכמות הטקסט.
• הוא לא רואה אותיות. בגלל שהוא רואה חתיכות, משימות כמו לספור אותיות במילה, לכתוב מילה הפוך או לחשב מספרים ארוכים קשות לו יותר ממה שנדמה. המודלים משתפרים בזה כל הזמן, אבל זה בדיוק המקום לבדוק אותם.

נסו בעצמכם: תנסו לתפוס אותו

עכשיו כשאתם יודעים שהמודל לא רואה אותיות, תנו לו משימה של אותיות, ובדקו בעצמכם אם הוא צדק. אם הוא צדק, מצוין: המודלים באמת משתפרים בזה. אם טעה, עכשיו אתם יודעים למה.