צ'אט ואנחנו: מי מחליט?
מה קורה לתהליך שיקול הדעת שלנו כאשר המכונה נכנסת אל החדר? | Photo by DPA / PICTURE ALLIANCE via REUTERS
ביום שני, שבעה בספטמבר, החלטתי להיפרד מהשחלות שלי. לא היה ברור אם הן חולות. האולטרסאונד האחרון נראה מעט פחות מדאיג מקודמו. ובכל זאת, אחרי בדיקות והתייעצויות אינטנסיביות, החלטתי שהן ואני הגענו לסוף דרכנו המשותפת. זו היתה החלטה אישית ורפואית משמעותית, וכדרכן של החלטות כאלה היא התקבלה בתנאים של אי-ודאות: היה צריך לשקלל סיכונים, היסטוריה משפחתית, איכות חיים, הסתברויות והעדפות, ולבסוף להכריע.
בתהליך ההחלטה עמדו לרשותי שני מקורות סמכות אנושיים שעליהם אני סומכת מאוד: אחות אהובה שהיא רופאה בכירה, אף שאינה מומחית בתחום בריאות האישה, ורופאת נשים מן הבכירות בארץ. שתיהן חשבו שהניתוח נחוץ, ולא עמד לרשותי זמן רב. בלילה שלאחר השיחה עם הרופאות פניתי גם לChatGPT שמלווה אותי כבר כמה שנים (אני "מאמצת מוקדמת"), ושבמהלך הזמן הזה נעשה הרבה יותר מוכשר, מעורב וזוכר דברים שסיפרתי לו בעבר. כמי שעוסקת כמה שנים בהטיות אלגוריתמיות ובהסתמכות אנושית על מערכות טכנולוגיות, מצאתי את עצמי מתבוננת לא רק בהחלטה שאני מקבלת אלא גם בדרך שבה אני מקבלת אותה, על מי אני סומכת, מתי ומדוע. גם זו, מסתבר, דרך להתמודד עם חרדה.
הצ'אט קרא איתי שוב ושוב את תוצאות הבדיקות. ניתח בדיוק לא-אנושי את תדפיסי האולטראסאונד וגילה בהם מילימטרים של תובנות, פרש טיעונים ופירק טיעונים, חיבר בין פיסות מידע והסתברויות, סיפק הסבר ארוך ואז סיפק אותו מחדש באופן פשוט יותר, וגם השיב בפעם החמישית לאותה שאלה בלי לרמוז שהגיע הזמן שאלך לישון. הבנתי שהוא חושב אחרת מאחותי, והרגשתי אבודה. בבוקר הוספתי אל הפאנל את רופאת המשפחה הוותיקה והחכמה שלי, שמכירה אותי כבר שנים.
בסופו של דבר הצ'אט לא החליט אם אעבור ניתוח. אני החלטתי. אבל עשיתי זאת בתוך מעין "שוק של אמון": זכרתי שטכנאית האולטרסאונד היתה פחות מודאגת, המומחית המליצה לנתח, אחותי חשבה איתי, הבינה המלאכותית חשבה אחרת מהן, ולבסוף הצטרפה גם רופאת המשפחה. אי אפשר לחבר את כל העצות שקיבלתי באופן מתמטי. לכל אחד מהמקורות האלה היה עבורי "מקדם אמון" אחר, המורכב ממומחיות, היכרות, ניסיון קודם, אינטימיות, זמינות ואינטרסים נתפסים. במובן הזה, הבינה המלאכותית לא נכנסה לשרשרת קבלת ההחלטות שלי; היא נכנסה אל "ארכיטקטורת האמון" שבאמצעותה אני מחליטה למי להקשיב.
אנחנו מכירים כבר עשרות שנים את החשש מפני "הטיית הסתמכות על מכונה": הנטייה של בני אדם לקבל המלצה של מערכת אוטומטית גם כאשר היה עליהם לבדוק אותה בעצמם. אבל מערכות הבינה המלאכותית החדשות משנות את אופי הבעיה. "המכונה" איננה נורה שנדלקת בתא הטייס, מספר שמופיע על המסך או סימון בעיגול אדום סביב פניו של אדם ששוטר נדרש לעצור. אנחנו משוחחים איתה. היא מסבירה את עצמה, אנחנו מתווכחים איתה והיא משיבה, אנחנו מבקשים ממנה לשקול חלופה והיא עושה זאת. היא זוכרת הקשר, לומדת כיצד להסביר לנו דברים ומתאימה את עצמה אלינו. ההסתמכות על מכונה מתחילה להפוך ממפגש חד כיווני למערכת יחסים, מה שמשנה בתכלית את הדרך שבה צריך להתבונן בבינה מלאכותית ובקבלת החלטות. התרגלנו לשאול אם המכונה מדויקת, אם היא מוטה, אם אפשר להסביר את הפלט שלה ואם היא טובה יותר או פחות מן האדם. אבל השאלה המעניינת יותר היא מה קורה לתהליך שיקול הדעת שלנו כאשר המכונה נכנסת אל החדר.
הדילמה הזאת מופיעה עכשיו בכל מקום שבו מתקבלות החלטות משמעותיות. למשל, בשימוש בבינה מלאכותית על ידי שופטים בתהליך השפיטה. ההבחנה האינטואיטיבית של רבים במערכת המשפט ובכתיבה המשפטית היא שמכונה יכולה להיות עוזר משפטי יעיל המונח על שולחנו של השופט, אבל לא זו שיושבת בכיסאו. אבל, הם מתעלמים מכך שגם מכונה שנמצאת "רק על השולחן" יכולה להחליט אילו מסמכים יגיעו ראשונים לעיני השופט, מה ייכנס לסיכום של תיק בן אלפי עמודים ומה יישאר בחוץ, איזה תקדים יוצג כדומה ואיזו שאלה משפטית תנוסח כמרכזית. הרי אפילו סיכום אינו פעולה קוגניטיבית נייטרלית. מי שמארגן עבורנו את החומר משתתף גם בארגון הדרך שבה נחשוב עליו.
לא נורא, אנחנו מנחמים את עצמנו, הרי כאשר מעצבים מערכות כאלה תמיד נדאג שיישאר Human in the Loop . אותו "אדם בלולאה" שהפך לתשובה כמעט אוטומטית לחשש מפני מסירת כוח לבינה מלאכותית: מותר למערכת למיין מועמדים לעבודה, להעריך סיכון רפואי או לסכם חומר משפטי, כל עוד האדם מקבל את ההחלטה הסופית. אלא שהפתרון הזה מניח בדיוק את הדבר שטילטל אותי: אנחנו משתמשים בשיקול הדעת האנושי כטכנולוגיית בטיחות, בזמן ששיקול הדעת עצמו מושפע מן המערכת שעליה הוא אמור לפקח.
כשאנחנו עסוקים יותר מדי בשאלה מי מקבל את ההחלטה הסופית, אנחנו מפספסים שאלה אחרת: מי ארגן את שדה ההחלטה. מי קבע איזה מידע נראה חשוב ואיזה נעלם ברקע; אילו אפשרויות הוצגו; מי נתפס כבעל סמכות; ואילו הסברים נשמעו סבירים עוד לפני שהאדם הגיע לרגע שבו הוא אמור "להחליט". אם המכונה כבר קבעה מה לראות, את מי לבדוק, איזה סיכון להבליט ואיזה טיעון נראה מרכזי, סיסמת "האדם בלולאה" מספרת רק חלק מן הסיפור.
ויש כאן רובד נוסף. המכונה אינה משפיעה עלינו רק באמצעות המידע שהיא מספקת או האופן שבו היא מארגנת אותו, אלא גם באמצעות סוג היחסים שאנחנו מפתחים איתה. מחקרים מהשנים האחרונות מראים שאפילו למסגור יש משמעות: כאשר אותה מערכת מוצגת לאדם כ"חבר צוות" ולא כ"כלי", האמון בה ואופי האינטראקציה איתה משתנים. ככל שאנחנו עוברים ממערכות שנותנות ציון או המלצה למערכות שמשוחחות איתנו, זוכרות אותנו, מסבירות את עצמן ומגיבות להתנגדויות שלנו, השאלה איננה רק מה אמרה המכונה, אלא מי היא נעשתה עבורנו.
ראיתי משהו מזה גם בסדרת סימולציות של "חדר ישיבות חכם" שערכנו בשנה האחרונה עם מנהלים בכירים. באחת מהן מערכת בינה מלאכותית ניהלה את הישיבה: חילקה זמני דיבור, החזירה את המשתתפים לסדר היום ואף העירה על התנהגותם. המשתתפים התווכחו זה עם זה ללא הרף, אבל כמעט איש לא ערער על סמכותה של המכונה לנהל אותם. בתרחיש אחר קיבלו המנכ"ל וסמנכ"ל הכספים שני יועצי AI שניזונו מאותם נתונים, אך הגיעו לעיתים לפרשנויות שונות. בתוך זמן קצר הם כבר לא דיברו על "המערכת", אלא על "היועץ שלי", ואף נטו להגן על הפרשנות של היועץ שהיה שלהם.
המכונה בסימולציות האלה לא קיבלה שום החלטה במקום בני אדם. היא עשתה משהו חמקמק יותר: נעשתה שחקן בתוך המערכת החברתית שבה מתקבלת ההחלטה. היא קיבלה סמכות, עוררה נאמנות, שינתה את השפה שבה אנשים דיברו זה עם זה והפכה סוגים מסוימים של התנהגות ללגיטימיים. כלומר, בינה מלאכותית לא בהכרח גורמת לנו להפסיק לחשוב או להחליט, אלא מזיזה את המקום שבו החשיבה שלנו מתרחשת. מאיסוף מידע אנחנו עוברים לאימותו, מפתרון בעיה לבחירה של פתרון שכבר נוסח, ומביצוע משימה לניהול ולפיקוח עליה. אנחנו ממשיכים לחשוב ולבחור, אבל המכונה משנה מאיפה החשיבה מתחילה, על מה היא מופעלת ועם מי אנחנו חושבים.
זה בדיוק מה שהטריד אותי באותו לילה מול הצ'אט. הוא לא רק הניח לפניי עוד פיסת מידע לצד חוות הדעת של הרופאות. כבר הייתה בינינו היסטוריה של שיחות. ידעתי כיצד לשאול אותו, הוא ידע הרבה על ההקשר שלי, יכולתי להתנגד לו והוא יכול היה להתעקש או לשנות את הניתוח שלו. לכן השאלה איננה רק אם סמכתי עליו יותר מדי או פחות מדי. השאלה היא כיצד עצם מערכת היחסים הזאת שינתה את המקום שממנו שקלתי את העצות האחרות.
אין פירוש הדבר שצריך להוציא את המכונה מן החדר, וגם אין סיבה להעמיד פנים ששיקול דעת אנושי הוא טהור, אובייקטיבי או חף מהשפעות. להפך. בני אדם תמיד מקבלים החלטות בתוך מערכות של השפעה. שופטים שומעים עורכי דין, עדים ומומחים וקוראים פסקי דין של אחרים; רופאים מתייעצים עם עמיתים וקוראים בדיקות וספרות מקצועית; כולנו מסתמכים על אנשים שאנחנו נותנים בהם אמון. המוסדות שבנינו – הפרוצדורה המשפטית, האתיקה הרפואית, המשפט המנהלי – אינם מבטלים את ההשפעות האלה. הם מנסים לארגן אותן: להפוך אותן לגלויות, לאפשר להתנגד להן, לדרוש הנמקה וליצור אפשרות לביקורת.
אולי זה גם מה שנצטרך לעשות עם בינה מלאכותית. לא להסתפק בשאלה אם השארנו אדם בתוך הלולאה, אלא להבין איזה סוג של יחסים נוצר בינו לבין המכונה: איזו סמכות היא מקבלת בעיניו, כיצד נבנה האמון בה, האם היא מעודדת להתנגד ולהטיל ספק או דווקא מחלישה את הנטייה הזאת, וכיצד עצם נוכחותה משנה את הדרך שבה אדם רואה את הבעיה שלפניו.
גיליתי שאינני יכולה לומר שהבינה המלאכותית קיבלה עבורי את ההחלטה להיפרד מן השחלות שלי. אבל גם המשפט ההפוך שלפיו "אני קיבלתי את ההחלטה; המכונה רק סייעה לי", נראה לי פתאום פשוט מדי. ההחלטה נוצרה בתוך מערכת של אישה ומכונה, רופאות ובדיקות, ידע ואי-וודאות, מומחיות ואמון. יותר ויותר החלטות רפואיות, משפטיות, שלטוניות ומקצועיות ייווצרו בתוך מערכות כאלה. האתגר שלנו אינו לוודא שהאדם נשאר בלולאה אלא להבין ולעצב את היחסים שבתוך הלולאה.
התפרסם לראשונה בדה מרקר
