למה מערכת הבינה המלאכותית התעקשה שהנהג הער הזה ישן

איך בינה מלאכותית מזהה עייפות ואיפה היא נכשלת? האם המכונות שלנו חפות מהטיות אנושיות?

האם אי פעם עצרתם לחשוב מי בדיוק אימן את האלגוריתם ששולט בחיים שלכם? אנחנו נוטים להאמין שמכונות מציעות נקודת מבט נקייה מאינטרסים אנושיים ופועלות מתוך היגיון טהור. המציאות היא שכל מערכת טכנולוגית יורשת את העיוורון ואת נקודות התורפה של האנשים שתכנתו אותה.

ההנחה הרווחת היא שקוד מחשב פשוט מנתח נתונים קרים בצורה אובייקטיבית לחלוטין. בפועל ה-AI לומד אך ורק מהמידע שאנחנו מספקים לו מראש בשלב הפיתוח. אם המידע הזה חסר או חלקי התוצאה הסופית תהיה שגויה מהיסוד ותפגע בלקוחות.

אני חושבת שכל מנכ״ל חייב להבין את המנגנון הזה לעומק לפני שהוא מאמץ אוטומציה בארגון שלו. טכנולוגיה מתקדמת עלולה להפוך למכשול עצום אם לא מתאימים אותה למציאות המורכבת של קהל היעד.

למה הנהג נאלץ להחזיק את העיניים פקוחות בכוח?

זאק די (Zack D) יוצר תוכן דיגיטלי שמנגיש תופעות מדעיות מציג מקרה בוחן מרתק על נהג שיצא לנסיעה שגרתית. מערכת הרכב החכמה סרקה את פניו והחלה להבהב באדום כדי להעיר אותו מהשינה. הוא היה ער לחלוטין אבל המערכת סירבה להאמין לו!

לפי התיאור שלו הנהג ניסה להזדקף ולהיראות עירני יותר ללא שום הצלחה. האזעקה הופעלה לא פחות מעשרים פעמים במהלך הנסיעה והפכה אותה לסיוט מתמשך. הפתרון היחיד שעבד היה לפקוח את העיניים בצורה מוגזמת ולא טבעית עד סוף הדרך.

הוא מסביר שהבינה המלאכותית תוכנתה לצפצף ברגע שהיא לא מזהה את קשתית העין של הנהג. לנהג המדובר היו עפעפיים כבדים שכיסו באופן טבעי חלק גדול מהקשתית שלו. המערכת פשוט לא הכירה מבנה פנים כזה ולכן הסיקה שהוא ישן שנת ישרים.

איך עיוורון אלגוריתמי פוגע בשורת הרווח?

המקרה הזה נשמע כמו תקלה נקודתית אבל הוא מסתיר בעיה עסקית עמוקה הרבה יותר. תחשבו על הלקוחות שלכם שמנסים להשתמש במוצר חכם שפשוט לא מבין את הצרכים הבסיסיים שלהם. תסכול כזה גורם לאנשים לנטוש מותגים ברגע אחד ולעבור למתחרים.

לקוחות לא סולחים על תקלות טכניות שגורמות להם להרגיש שקופים.

ראיתי לא מעט חברות שממהרות להטמיע כלים מתקדמים בלי לבדוק מקרי קיצון. מערכת שעובדת רק עבור שמונים אחוז מהלקוחות היא לא מערכת אלא פצצת זמן מתקתקת. אתם לא יכולים להרשות לעצמכם לאבד חמישית מקהל היעד רק בגלל מודל לא אפוי.

לדבריו התקלה המביכה הזו נבעה מחוסר גיוון בנתוני האימון הבסיסיים של תוכנת הרכב. כשצוות הפיתוח מזין רק סוג אחד של נתונים התוצר הסופי יתאים אך ורק לקבוצה אחת. זה שיעור קריטי לכל מנהל שמתכנן לשלב אוטומציה בארגון שלו.

מה הסכנה בהסתמכות מוחלטת על נתונים יבשים?

הסיפור של הנהג ממחיש נקודה חשובה על האופן שבו אנחנו מנתחים מידע עסקי ביומיום. המערכת מדדה נתון אחד בלבד והתעלמה לחלוטין מההקשר הרחב של הסיטואציה. היא חיפשה את הקשתית במקום לנתח את ההתנהגות הכללית של האדם מאחורי ההגה.

כמייסדת סטארטאפ אני פוגשת הרבה מנהלים שעושים בדיוק את אותה טעות בניהול השוטף שלהם. הם מסתכלים על מדד בודד בדו״ח החודשי ומקבלים החלטות הרות גורל על בסיסו. ניהול חכם דורש הבנה של התמונה המלאה ולא רק של המספרים שקל למדוד.

הדוגמה הזו מראה איך מערכות קורסות כשהן נתקלות במשהו חדש שהן לא מזהות מראש. ברגע שאנחנו נותנים למכונה לקבל החלטות על סמך פרמטר צר אנחנו מזמינים אסון עסקי. המכונה עדיין לא יודעת להפעיל שיקול דעת אנושי רחב.