בינה מלאכותית בעברית: למה אותו פרומפט יקר יותר

בינה מלאכותית בעברית יקרה יותר מאותה בינה מלאכותית באנגלית, וזה לא עניין של ספק או של מחירון. זה עניין של הדרך שבה המודל קורא את הטקסט שלכם.

בואו נהיה כנים: רוב בעלי העסקים בישראל מתמחרים פיצ'ר AI לפי דוגמה שראו באנגלית. אחר כך מגיע החשבון האמיתי.

למה בינה מלאכותית בעברית צורכת יותר טוקנים

אז ככה. מודל שפה לא קורא מילים, הוא קורא טוקנים. הטוקנייזר מפרק את הטקסט לחתיכות, ולפי מספר החתיכות אתם משלמים.

הבעיה פשוטה. את הטוקנייזרים האלה בנו בעיקר סביב אנגלית. לכן מילה אנגלית שלמה נכנסת בדרך כלל לטוקן אחד, ומילה עברית מתפרקת לשניים ויותר.

ולעברית יש חומרה נוספת. אנחנו מדביקים למילה אחת את ו', ה', ב', ל' ומ', ומוסיפים כינויי שייכות בסוף. לכן "ומהחברה שלנו" היא מילה אחת בעברית, וחמש מילים באנגלית. הטוקנייזר לא מכיר את הצורות המולחמות האלה, ולכן הוא חותך אותן לרסיסים.

זו לא תקלה נקודתית. מחקר שהוצג ב-NeurIPS 2023 מצא פערים של עד פי 15 בין שפות, על אותו טקסט מתורגם. החוקרים מצביעים על שלושה מקומות שנפגעים: המחיר, זמן התגובה, וכמות המידע שנכנסת לחלון ההקשר.

המדידה: כמה באמת יקרה בינה מלאכותית בעברית

לא הסתפקנו במחקר. לקחנו 12 משפטים עסקיים טיפוסיים, כמו פניות שירות, בירור סטטוס הזמנה ומדיניות החזרות. תרגמנו אותם לאנגלית, ומדדנו טוקנים בספרייה הרשמית של OpenAI.

אלה התוצאות בשני הטוקנייזרים המרכזיים:

שימו לב לשורה השנייה. בטוקנייזר הישן, טוקן עברי ממוצע החזיק 1.06 תווים בלבד. כלומר כמעט אות לאות, כמעט בלי דחיסה. בטוקנייזר החדש הוא מחזיק 2.76 תווים, ובאנגלית 5.35.

מה הפער עושה לחשבון ולחלון ההקשר

שתי השלכות מעשיות, ושתיהן נמדדות בכסף.

ראשית, התקציב. אם ספק הציג לכם עלות לשיחה על דוגמה באנגלית, הכפילו אותה בערך ב-1.44 לפני שאתם מתכננים. זה לא אסון, אבל זה ההבדל בין תחזית לבין הפתעה.

שנית, חלון ההקשר. חלון של 128 אלף טוקנים מכיל כ-116 אלף מילים באנגלית, ורק כ-64 אלף מילים בעברית, קצת יותר ממחצית. מי שמזין חוזים, קטלוגים או תמלולים ארוכים בעברית מגיע לתקרה מהר יותר משהוא מצפה.

ויש השלכה שלישית שפחות מדברים עליה: הזמן. מודל מייצר טוקן אחרי טוקן, ולכן תשובה עברית ארוכה מגיעה לאט יותר מתשובה אנגלית באותו אורך. מהניסיון שלנו בפרויקטים, הלקוחות מרגישים את זה בעיקר בצ'אט חי. שם כל שנייה חשובה.

ההחלטה שאפשר לקבל כבר החודש

וכאן מגיע החלק המעשי. הפער בין שני הטוקנייזרים הוא פי 2.6 לטובת החדש, על אותו טקסט עברי בדיוק.

המסקנה ישירה. אם רץ אצלכם בפרודקשן פיצ'ר על gpt-4 או על gpt-3.5-turbo, אתם משלמים על עברית בערך פי 2.6 מהנדרש.

ארבעה צעדים, בלי פרויקט:

1. בדקו את הקוד: אתרו איזה שם דגם מופיע בקריאות ל-API שלכם.
2. זהו את הטוקנייזר: השמות gpt-4 ו-gpt-3.5-turbo מצביעים על הטוקנייזר הישן.
3. הריצו השוואה: אותם פרומפטים על דגם מהמשפחה החדשה, ובדקו גם את איכות הפלט.
4. מדדו טוקנים: לפני ואחרי, במספרים ולא בתחושות.

מתי הפער הזה לא מעניין אתכם

וגם את זה צריך להגיד בכנות. אם אתם שולחים כמה מאות קריאות בחודש, ההפרש מסתכם בשקלים בודדים. אל תשרפו על זה יום עבודה.

רוב העסקים שמפעילים AI בעברית עובדים בדיוק שם, בנפחים קטנים. הפער מתחיל להכאיב בשלושה מצבים בלבד: נפח גבוה של פניות, מסמכים ארוכים, או פיצ'ר שרץ על כל לקוח באתר. בכל מקרה אחר, יש לכם דברים דחופים יותר לתקן.

וכמו תמיד, המדידה קודמת להשקעה. כתבנו על ההיגיון הזה בפוסט על אוטומציה עסקית בישראל, וגם בפוסט על פיתוח תוכנה בעידן ה-AI, שם תחושת המהירות סתרה את המספרים.

שאלות על בינה מלאכותית בעברית

האם כדאי לתרגם לאנגלית כדי לחסוך?

בדרך כלל לא. תרגום מוסיף קריאה נוספת, ולכן הוא מוסיף גם עלות וגם זמן. בנוסף, ניואנסים של עברית עסקית מתפוגגים בתרגום אוטומטי. בדגמים החדשים הפער עומד על 1.44 בלבד, ותרגום מלא יקר ממנו.

איפה AI בעברית עדיין מאחור?

בעיקר בטקסט לא מנוקד, בשמות פרטיים ובראשי תיבות. הפער שתיארנו כאן הוא פער כמות, לא פער איכות. איכות היא בדיקה אחרת לגמרי, וכדאי להריץ אותה על הדאטה שלכם. קחו חמישים פניות אמיתיות, הריצו אותן, ותנו לאדם מהצוות לדרג את התשובות. ככה תדעו איפה AI בעברית עומד אצלכם, במקום להסתמך על מצגת של ספק.

איך מודדים את זה לבד?

בספריית tiktoken של OpenAI, בשלוש שורות קוד. קחו פרומפט אמיתי מהמערכת שלכם, הריצו אותו בעברית ובאנגלית, והשוו. עשר דקות עבודה, ובסוף מספר אמיתי במקום הערכה.

השורה התחתונה: העברית לא מייקרת את ה-AI בגלל קסם, אלא בגלל טוקנייזר שאומן על שפה אחרת. את רוב הפער סוגרים בהחלפת שם דגם אחד בקוד. ואם אתם רוצים שמישהו יבדוק איתכם את הארכיטקטורה, זה בדיוק שירות ה-AI והאוטומציה שלנו. מי שלא בודק איזה דגם רץ אצלו היום, משלם את ההפרש בלי לדעת.