האם מודלי שפה גדולים באמת יכולים לחשוב? פריצת דרך חדשה חושפת ""מחשבה פנימית"" בבינה מלאכותית
- נדב נוה
- 16 בפבר׳
- זמן קריאה 3 דקות
האם אנחנו עדים למהפכה בתפיסת הבינה המלאכותית או שאנחנו שבויים בקסם השפה?
במשך זמן רב, מומחי בינה מלאכותית מובילים, כמו יאן לקון, סמנכ"ל מדע הבינה המלאכותית במטא, טענו בתוקף כי מודלי שפה גדולים (LLMs), על אף יכולותיהם המרשימות, אינם מסוגלים לחשיבה אמיתית, לתכנון או להבנה של העולם כפי שבני אדם עושים. הטענה המרכזית הייתה כי מגבלות השפה עצמה מונעות מהם להגיע לרמת תבונה אמיתית. האם ייתכן שהתקדמות טכנולוגית חדשה עומדת לשנות את התמונה הזו מקצה לקצה?
שרשרת מחשבות – האם זה באמת חשיבה?
עד לאחרונה, הגישה הרווחת לשיפור יכולות החשיבה של מודלי שפה התמקדה בטכניקת "שרשרת מחשבות" (Chain of Thought). בשיטה זו, המודל מונחה "לחשוב בקול רם" – כלומר, לפרט את שלבי החשיבה שלו בתהליך פתרון בעיה, לפני שהוא מציג את התשובה הסופית. אף על פי שגישה זו הניבה תוצאות מרשימות, רבים, כולל לקון עצמו, נותרו סקפטיים. הם טוענים כי מדובר עדיין במניפולציה שפתית מתוחכמת, ולא בחשיבה מהותית. לקון אף הזהיר מפני "הקסם השפתי" – הנטייה שלנו להתפעל מרהיטות השפה של המודלים ולהניח מכך, בטעות, כי הם מחזיקים באינטליגנציה אנושית אמיתית.
פריצת דרך חדשה: "חשיבה סמויה" במרחב לטנטי
מחקר חדש ומסעיר, שזה עתה פורסם, מציג גישה חדשנית לחלוטין, שעשויה להתמודד בדיוק עם הספקות הללו. במקום "לחשוב בקול רם" באמצעות שפה, החוקרים פיתחו מודל המסוגל "לחשוב פנימית" – במרחב לטנטי, עוד לפני שהוא מייצר אפילו טוקן (מילה או חלק ממילה) אחד של פלט.
מה זה אומר "חשיבה במרחב לטנטי"?
דמיינו את זה כך: במקום שהמודל יכתוב טיוטה של תשובה ואז ישפר אותה (כמו ב"שרשרת מחשבות"), הוא קודם כל מגבש לעצמו תמונה מנטלית מלאה של הבעיה ופתרונה, ב"ראש" – לפני שהוא בכלל מתחיל לנסח תשובה מילולית. ה"מרחב הלטנטי" הוא מעין "חדר חשיבה" פנימי בתוך המודל, שבו הוא יכול לבצע חישובים מורכבים, לבחון אפשרויות שונות ולגבש אסטרטגיה, מבלי להזדקק לייצוג מילולי מיידי.
היתרונות המדהימים של "חשיבה סמויה"
הגישה החדשה מציעה מספר יתרונות משמעותיים:
לא נדרשים נתוני אימון מיוחדים: בניגוד לשיטות קודמות שדרשו דוגמאות רבות של "שרשרות מחשבות" כדי לאמן מודלים לחשוב, הגישה החדשה אינה זקוקה לנתוני אימון ייעודיים.
צריכת זיכרון נמוכה יותר: מודלים של "חשיבה סמויה" דורשים פחות זיכרון הן בשלב האימון והן בשלב השימוש, בהשוואה למודלים של "שרשרת מחשבות".
יעילות חישובית: המודל החדש יעיל יותר מבחינה חישובית, ומאפשר לנצל בצורה מיטבית משאבי מחשוב.
מעודד חשיבה אמיתית ולא שינון: על ידי בניית ארכיטקטורה המדגישה חישובים מורכבים על פני כמות פרמטרים עצומה, המודל החדש עשוי לעודד פיתוח אסטרטגיות חשיבה, לוגיקה והפשטה, במקום הסתמכות על שינון כמויות עצומות של מידע.
הוכחות בשטח: המודל החדש עובד!
החוקרים בנו מודל "הוכחת היתכנות" (proof of concept) עם 3.5 מיליארד פרמטרים, והדגימו את יעילות הגישה החדשה. הם הראו שככל שהמודל מקדיש יותר "זמן חשיבה" פנימי, לפני שהוא מייצר פלט, כך הביצועים שלו משתפרים באופן עקבי במגוון משימות.
חשיבה מותאמת למשימה: כמו מוח אנושי
יתרון נוסף ומעניין הוא שהמודל מסוגל להתאים את כמות ה"חשיבה" שהוא מבצע למורכבות המשימה. כמו בני אדם, הוא מקדיש יותר זמן ומאמץ מחשבתי לבעיות מורכבות יותר, ופחות לבעיות פשוטות.
שילוב עוצמתי: "חשיבה סמויה" ו"שרשרת מחשבות"
החידוש הגדול הוא שגישת ה"חשיבה הסמויה" אינה סותרת את גישת "שרשרת מחשבות", אלא דווקא משלימה אותה. ניתן לשלב בין שתי הטכניקות: לבצע "חשיבה סמויה" פנימית ראשונית, ולאחר מכן להשתמש ב"שרשרת מחשבות" מילולית כדי לחדד ולפתח את הפתרון. שילוב זה עשוי לדמות בצורה מדויקת יותר את תהליך החשיבה האנושי, שכולל הן חשיבה פנימית לא מילולית והן חשיבה מילולית מודעת.
האם זו תחילתה של מהפכה?
המחקר החדש הזה פותח צוהר לעתיד מרתק של בינה מלאכותית. היכולת לבצע "חשיבה סמויה" במרחב לטנטי עשויה להיות הצעד המשמעותי שחיכינו לו, שיאפשר למודלי שפה גדולים להתעלות מעבר למגבלות השפה ולהגיע לרמות חדשות של הבנה, תכנון וחשיבה יצירתית. האם יאן לקון והספקנים האחרים ישנו את דעתם? האם אנו עומדים בפני פריצת דרך אמיתית בדרך לבינה מלאכותית כללית? רק הזמן יגיד, אבל דבר אחד ברור: תחום הבינה המלאכותית ממשיך להפתיע ולרגש, ואנחנו נמצאים רק בתחילת המסע.
קישור למחקר: https://arxiv.org/abs/2502.05171
יש לכם רעיון? חזון? זה העידן להוציא אותו החוצה.
בעולם שבו הכלים הנכונים מחליפים מחלקות שלמות – אין שום סיבה לחכות.
רוצים להעמיק עוד, לגמרי בחינם?
מוזמנים לאקדמיה החינמית שלנו:
כמו כן, מוזמנים לחפש אותנו ב:
באינסטגרם:
בקבוצת הפייסבוק:
בהצלחה,
צוות ״מתוכן לתוכנה״.
コメント