שוליית הקוסם ומרוץ הבינה
מחאה בלונדון נגד פיתוח מואץ של בינה מלאכותית, ספטמבר 2026 | Photo by ANADOLU AGENCY via REUTERS
בשבוע האחרון קרה משהו יוצא דופן בצמרת תעשיית הבינה המלאכותית. יעקב פאחוצקי, המדען הראשי של חברת OpenAI, פרסם מסה בשם "תבונה זרה", ובה הזהיר שאנחנו מתקרבים למערכות שיהיו חכמות מאיתנו בתחומים חשובים – ממחקר מדעי ופיתוח תוכנה ועד לפיתוח הדורות הבאים של הבינה המלאכותית עצמה. כבר היום, כתב, מערכות כאלה מסוגלות להפעיל מחשבים, לעבוד עם בני אדם ועם מערכות בינה אחרות ולבצע משימות מחקר מורכבות. אלא שהיכולת שלנו לשלוט במערכות האלה אינה מתפתחת באותו הקצב. אנחנו עדיין לא יודעים להבטיח שהמטרות שהן ילמדו יהיו המטרות שאליהן התכוונו; להבין היטב מדוע הן פועלות כפי שהן פועלות; או לפקח עליהן כאשר הן פועלות באופן עצמאי בסביבה שלא צפינו מראש.
פאחוצקי לא נשאר לבד. ג'ייקוב קוקסון, חוקר שעבד ב-OpenAI ובאנתרופיק, התפטר והזהיר כי אנשים הנמצאים בלב בניית מערכות הבינה המלאכותית מאמינים ברצינות שהן עלולות להביא לאסון קיומי. דריו אמודיי, מנכ"ל אנתרופיק, קרא להאט את קצב פיתוח המערכות כדי שמנגנוני הבטיחות יספיקו להדביק אותו. שלוש היריבות הגדולות, OpenAI אנתרופיק וגוגל דיפמיינד, מנהלות שיחות על תיאום בתחום הבטיחות.
לא מדובר בדיון פילוסופי. החשש הוא שככל שסוכני בינה מלאכותית נעשים אוטונומיים יותר ומקבלים גישה למחשבים, לאינטרנט, לשירותי ענן ובהמשך גם לתשתיות קריטיות, כך טעות במטרות שלהם או ניסיון לעקוף את הפיקוח האנושי עלולים לגרום נזק בעולם האמיתי. דו"ח הבטיחות הבינלאומי לבינה מלאכותית, שפורסם בפברואר 2026 בהובלת פרופ' יושוע בנג'יו ויותר ממאה מומחים, מדגיש כי המערכות הקיימות עדיין אינן מסוגלות לגרום ל"אובדן שליטה", אבל הן משתפרות ביכולות הרלוונטיות לכך: פעולה אוטונומית, תכנון ארוך טווח, זיהוי שהן נמצאות במבחן ומציאת דרכים לעקוף מנגנוני פיקוח.
לכן, בסנאט האמריקאי דנים בחקיקה שתחייב חברות לנקוט אמצעי זהירות ותאפשר בדיקה ממשלתית של מודלים מתקדמים. הנשיא דונלד טראמפ, לעומת זאת, דוחה את הקריאות להאט. הסיבה שלו פשוטה: סין. מבחינתו, מי שמנצח במרוץ הבינה המלאכותית, מנצח בשליטה בעולם.
ברוכים הבאים לאחת מדילמות האסיר הקשות שידעה האנושות. גם אם כל השחקנים היו מעדיפים עולם שבו כולם מאטים ומפתחים מנגנוני בטיחות, אף חברה אינה רוצה להיות זאת שמאטה בזמן שמתחרותיה ממשיכות לרוץ; ואף מעצמה אינה רוצה לעצור בזמן שיריבתה ממשיכה. לכן גם מי שמאמין שהמרוץ מסוכן מקבל תמריץ להאיץ אותו.
במרכז הוויכוח נמצאת בעיית ההתאמה - alignment, שמשמעותה הפער האפשרי בין המשימה שאנחנו מצליחים להגדיר למערכת, לבין הכוונה האנושית האמיתית מאחרי המשימה. אפשר להסביר אותה באמצעות האגדה המפורסמת על "שוליית הקוסם". שוליית הקוסם, המתעצל לשאוב מים בעצמו, מוצא בספר הקסמים לחש שבאמצעותו הוא מצווה על המטאטא להביא מים. המטאטא עושה בדיוק מה שהתבקש, וזאת בדיוק הבעיה. הוא ממשיך לשאוב ולמלא את החבית עד שהבית מוצף, מפני שהשוליה הצליח להגדיר משימה, אבל המשימה שהגדיר לא קלעה לכוונתו האמיתית: כמה מים, בשביל מה, באיזה מחיר ומתי צריך להפסיק. הבעיה איננה שהמטאטא הפך להיות "רשע", אלא שהוא טוב להחריד בביצוע המשימה הלא נכונה.
מדינת ישראל לא תכריע את דילמת האסיר שבין ארצות הברית לסין. אבל אנחנו גם לא צריכים לעמוד מהצד ולסקר את המחלוקת מרחוק. בשנה האחרונה הוקם במשרד ראש הממשלה מטה הבינה המלאכותית, שתכליתו לבסס מובילות ישראלית בתחום. התוכנית החדשה שלו, שפורסמה לפני כמה שבועות, משקפת את ההבנה שישראל צריכה לחפש יתרונות יחסיים ומזהה בין היתר את הסייבר, ההון האנושי המחקרי והבינה המלאכותית הפיזית כתחומי בידול ישראליים. היא אף מציעה לחבר בין סייבר לבינה מלאכותית, כלומר להשתמש בבינה כדי לשפר את הגנת הסייבר מפני תוקפים ולהגן על מערכות בינה מפני מתקפות סייבר. אבל מה שלמדנו השבוע הוא שיש גם חזית שלישית - כיצד מתגוננים מפני התנהגות בלתי צפויה של מערכות הבינה עצמן.
אפשר לקרוא לזה "הסייבר של המערכות התבוניות". אם מודלים מסוגלים למצוא פרצות במנגנונים שנועדו לבדוק אותם, "לרמות" מבחני הצלחה ואף לזהות שהם נמצאים בסביבת בדיקה ולשנות את התנהגותם, הרי שחלק מבעיית ההתאמה מתחיל להיראות מוכר מאוד לאנשי סייבר: צריך לחפש חולשות לפני שהמערכת מוצאת אותן, לחשוב באופן "יריבותי", לבחון כיצד היא עוקפת מגבלות ולבנות שכבות הגנה גם מול מערכת מתוחכמת ומשתנה.
כאן יכול להיות לישראל יתרון יחסי אמיתי. החיבור בין מומחיות בבינה מלאכותית לבין מסורת ישראלית של מחקרי סייבר יכול ליצור תחום חדש: להבין כיצד מודלים פועלים ומתי הם עוקפים מגבלות; לבדוק אותם באופן עצמאי ולחשוף התנהגויות מסוכנות לפני פריסתם; ולפתח מנגנונים שיאפשרו לבני אדם לפקח, להתערב ולעצור גם מערכות אוטונומיות וחכמות מאוד. זו יכולה להיות התעשיה הישראלית הבאה.
בקיצור, במקום להתחרות רק על בניית המטאטא החזק ביותר, כדאי שנתחיל להתחרות גם על השאלה איך גורמים לו להבין מתי להניח את הדלי.
התפרסם לראשונה באתר אנשים ומחשבים
