האלגוריתם החדש של גוגל שמכווץ מודלי שפה פי שישה

מה קרה

חוקרי Google Research הכריזו ב-24 במרץ 2026 על פיתוח טכנולוגיית TurboQuant. מדובר באלגוריתם דחיסה מתקדם למודלי שפה ולמנועי חיפוש וקטוריים. הפיתוח יוצג רשמית בכנס ICLR הקרוב וזמין כבר עכשיו לבדיקות של מפתחים.

עובדות מפתח

• דחיסה חדה בזיכרון: הטכנולוגיה מכווצת את זיכרון המטמון של המודל ל-3 ביט בלבד, מה שמפחית את הצריכה הכוללת פי שישה לפחות.
• מהירות תגובה: חישובי תשומת הלב של המודל רצים עד פי שמונה מהר יותר על כרטיסי מסך מתקדמים מבית NVIDIA.
• אפס פגיעה בדיוק: בניגוד לשיטות קודמות, האלגוריתם שומר על רמת דיוק זהה לחלוטין למודל המקורי, בלי צורך באימון מחדש.
• תיקון שגיאות מתמטי: המערכת משתמשת באלגוריתם עזר שדורש ביט אחד בלבד כדי לתקן סטיות חישוביות בזמן אמת.
• תמיכה בהקשר ארוך: הפיתוח נבדק בהצלחה על מודלים כמו Gemma ו-Mistral במשימות שדורשות קריאת כמויות טקסט עצומות.

למה הזיכרון של הבינה המלאכותית כל כך יקר

הבעיה הגדולה ביותר כיום בהפעלת מודלי שפה היא לא כוח העיבוד אלא הזיכרון. כשאתה מבקש מהמודל לקרוא מסמך ארוך, הוא שומר את כל המידע בזיכרון מטמון זמני כדי לשלוף אותו מהר. ככל שהטקסט מתארך, הזיכרון הזה מתנפח ודורש שרתים יקרים מאוד.

עד היום, הדרך היחידה להקטין את העלויות הייתה לדחוס את המידע בצורה שפגעה באיכות התשובות. מודלים דחוסים נטו להזות עובדות או לפספס פרטים חשובים בתוך טקסטים ארוכים. הפשרה הזו מנעה מהרבה חברות להשתמש בבינה מלאכותית לניתוח מאגרי מידע גדולים.

הפיתוח של Google משנה את המשוואה הזו לגמרי. היכולת לדחוס מידע פי שישה בלי לאבד אף פרט קריטי פותחת דלת לשימושים שעד כה נחשבו ליקרים מדי. אני מאמינה שנראה בקרוב הרבה יותר מערכות שמסוגלות לקרוא ספרים שלמים בשניות בודדות!

איך זה עובד מאחורי הקלעים

הסוד של הפיתוח החדש טמון בשימוש בשני תהליכים מתמטיים משלימים שעובדים יחד. השלב הראשון לוקח את המידע ומסובב אותו במרחב הווירטואלי כדי למצוא את הזווית היעילה ביותר לשמירה. הפעולה הזו לבדה חוסכת המון מקום בלי לאבד את המשמעות של הטקסט.

בשלב השני, האלגוריתם משתמש בביט בודד אחד כדי לתקן סטיות קטנות שנוצרו במהלך הדחיסה. זה מתפקד כמו בודק שגיאות אוטומטי שמוודא שהמודל לא איבד את ההקשר של המשפט. השילוב הזה מאפשר להגיע לאיכות של מודל כבד על שבריר מהזיכרון.

היתרון העצום בגישה הזו הוא שהיא לא דורשת אימון מחדש של המודל, תהליך שלוקח חודשים ועולה מיליונים. מפתחים יכולים פשוט לקחת מודל קיים, להעביר אותו דרך האלגוריתם, ולהתחיל לעבוד. הפשטות הזו היא מה שהופך את הפיתוח לכל כך אטרקטיבי עבור התעשייה.

מה זה אומר לעסק הישראלי?

עבור חברות בארץ, הבשורה המרכזית כאן היא חיתוך דרמטי בעלויות התשתית. עסקים שמשלמים היום אלפי דולרים בחודש על שירותי ענן יוכלו להריץ את אותן משימות על שרתים קטנים בהרבה. זה משמעותי במיוחד לסטארטאפים ששורפים תקציב עצום על בדיקות פיתוח.

מעבר לחיסכון הכספי, זה פותח אפשרות להריץ מודלים חזקים באופן מקומי לחלוטין. משרדי עורכי דין, מרפאות פרטיות או גופים פיננסיים יוכלו להפעיל את ה-AI על השרת במשרד. כך המידע הרגיש נשאר אצלך, ולא נשלח לשרתים חיצוניים ברחבי העולם.

בנוסף, זמן התגובה של שירותי לקוחות אוטומטיים עומד להתקצר משמעותית. צ'אטבוטים יוכלו לענות ללקוחות כמעט באפס השהיה, גם כשהם נדרשים לסרוק היסטוריית רכישות ארוכה. הלקוח הישראלי, שאין לו הרבה סבלנות, יקבל חוויה חלקה ומהירה הרבה יותר.

מה צפוי לקרות?

בחודשים הקרובים, ספקיות הענן הגדולות צפויות לאמץ אלגוריתמים דומים כדי להוריד עומס מהשרתים שלהן. זה יוביל ככל הנראה לירידה במחירי הגישה למודלי שפה דרך ממשקי פיתוח. מפתחים עצמאיים יתחילו לשחרר גרסאות דחוסות של מודלים פתוחים שרצים בקלות על מחשבים ניידים.

אני צופה שנראה זינוק בפיתוח סוכנים אוטומטיים שפועלים ברקע. ברגע שהעלות והזיכרון יורדים בצורה כזו, אפשר להפעיל עשרות סוכנים במקביל שקוראים מסמכים ומנתחים נתונים בלי לעצור. תחום החיפוש הארגוני יעבור שדרוג רציני, כי מנועי חיפוש וקטוריים יוכלו לסרוק מיליוני מסמכים בשבריר שנייה.

בשוק המקומי, חברות פיתוח ישראליות ינצלו את הטכנולוגיה כדי להציע פתרונות חכמים לארגונים מסורתיים. סוכנויות נדל"ן, חברות ביטוח ומוסדות ציבור יוכלו להרשות לעצמם להטמיע מערכות שעובדות על שרתים פנימיים. הוזלת העלויות תכניס את הטכנולוגיה להרבה עסקים שעד עכשיו ישבו על הגדר.