איליה סוצקבר, מנכ"ל SSI וממייסדי OpenAI, טוען שהמודלים של היום מצטיינים במדדי מעבדה אבל נחלשים ככל שהיוזקייס עמוק יותר. הסיבה: אימון על כל הדאטה שקיים מייצר ידע כללי רדוד, לא מומחיות. הפתרון שהוא מציע הוא מעבר מעידן ה-scaling לעידן המחקר: שיטות אימון חדשות שישפרו את יכולת ההכללה של המודלים. הפרשנות שלי: זה הכיוון של כלים שעובדים על דאטה מדויק, כמו NotebookLM.
- 1איליה סוצקבר, מנכ"ל SSI וממייסדי OpenAI, משתף 10 תובנות בראיון על עתיד אימון המודלים.
- 2האנלוגיה שהוא מביא: סטודנט שהתאמן 10,000 שעות בתכנות תחרותי ושינן כל טכניקה, לעומת סטודנט שהתאמן כ-100 שעות והצליח גם הוא, וצפוי להצליח יותר בקריירה. המודלים של היום דומים לסטודנט הראשון.
- 3הדוגמה לגישה הוורטיקלית שכבר עובדת: NotebookLM, שמפעיל את אותן יכולות הסקה וחשיבה אבל רק על הדאטה המדויק שהוזן אליו.
- 4הטענה המרכזית: המודלים מצטיינים במה שאימנו אותם עליו, אבל מכלילים לעולם האמיתי הרבה פחות טוב מבני אדם, ולכן נשארים סבירים ולא מצוינים ביוזקייס עמוק.
מה איליה סוצקבר אמר, ולמה עצרתי הכל כדי להקשיב
יש ראיונות שאני מקשיב להם ברקע. הראיון הזה עם איליה סוצקבר, מנכ"ל SSI וממייסדי OpenAI, לא היה כזה. הכותרת שלו, שאנחנו עוברים מעידן ה-scaling לעידן המחקר, מסבירה בעצמה למה. הוא לא מדבר על עוד פיצ'ר, הוא מדבר על שינוי כיוון בשיטת האימון של המודלים.
אספתי מהראיון 10 תובנות שתפסו אותי במיוחד. חלקן טכניות, חלקן נוגעות ישירות לאיך אנחנו בוחרים כלי AI לעבודה. הנה הריכוז שלי, עם הפרשנות העסקית שאני מוסיף כל פעם שאני קורא חומר כזה.
מבחני מעבדה מול מבחן המציאות
התובנה הראשונה של סוצקבר היא הכי חדה: המודלים של היום מצטיינים ברצות מדדי השוואה במעבדה, לא בעולם האמיתי. זו הסיבה שבינה שנשמעת חכמה בדמו לא בהכרח יודעת לייצר כסף ביוזקייס אמיתי.
מבחן המציאות, לדבריו, קורה כשמנסים להריץ את זה בשטח. ביוזקייסים פרקטיים המודלים פשוט לא עומדים, וככל שהדומיין המקצועי עמוק יותר הם מאבדים אחיזה מהר יותר. זה בדיוק ההבדל בין דמו מרשים לכלי שאפשר לסמוך עליו בעבודה יום יומית.
הפרדוקס של הדאטה: למה ללמוד על הכל מייצר בינוניות
החלק שהכי תפס אותי בראיון הוא הפרדוקס של האימון: ללמוד על כמה שיותר דאטה, בלי הבחנה, פשוט מייצר בינוניות בקצה. הדוגמה הכי טובה לגישה ההפוכה שכבר עובדת היא NotebookLM. הוא משתמש באותן יכולות הסקה וחשיבה כמו כל מודל שפה גדול, אבל רק על הדאטה המדויק שהזנתם אליו, והתוצרים מדויקים ומעולים בהרבה.
זה בדיוק מה שאני מכיר גם מהניסיון שלי: כשלא מנקים נכון את הדאטה שנכנס למודל, יוצא זבל בקצה השני של התהליך. הנה למה, לפי ההבנה שלי מהראיון, זה קורה במתמטיקה פשוטה:
- דאטה איכותי ודאטה גרוע, בממוצע, מייצרים תוצאה סבירה ולא מצוינת
- דאטה שמצוין לנושא ספציפי אחד יכול להיות הרסני לגמרי בנושא אחר
- אימון על כל הדאטה הקיים בעולם הופך את המודל לכללי מדי לכל דומיין ספציפי
10,000 שעות תרגול מול 100 שעות: מי מצליח יותר בקריירה
סוצקבר מביא אנלוגיה שממחישה את זה מצוין: סטודנט שהתאמן 10,000 שעות בתכנות תחרותי ושינן כל טכניקה, מול סטודנט שהתאמן כ-100 שעות והצליח גם הוא. השני, עם הרבה פחות שעות למידה, צפוי להצליח יותר בקריירה, והמודלים של היום דומים דווקא לראשון. במקום אחר בראיון הוא מזכיר שבני נוער לומדים לנהוג אחרי כ-10 שעות תרגול בלבד.
בני אדם מצטיינים כל אחד בתחום שלו ומסוגלים להעמיק בלמידה מעשית הרבה מעבר למה שהמכונות מייצרות היום. זו הסיבה שכשמודל מנסה לפתור באג בקוד הוא עלול לפגוע בחלק אחר של המערכת: הוא מנותק מהפרקטיקה ומהשטח במהות שלו. קונטקסט עוזר, אבל זה רק סוג של קב שמאפשר לו להתקדם עוד כמה צעדים, לא תחליף לניסיון.
מה קורה כשהדאטה נגמר: מ-Age of Scaling ל-Age of Research
יש עוד שכבה לתובנה הזו: כמויות הדאטה החדש בעולם נגמרות. המודלים כבר אומנו על כל מה שקיים, והדאטה שנוצר מאז מבחינה כמותית פשוט לא מספיק כדי לייצר קפיצה נוספת.
כדי לקדם את הביצועים לרמה הבאה, סוצקבר מעריך שנצטרך גישות אימון אחרות לגמרי, שישפרו את יכולת ההכללה של המודלים, ולא רק עוד סקייל. במילים אחרות, חזרה לשלב המחקר. הוא מאמין שהחברות הגדולות יצטרכו לפרק ולהרכיב מחדש את המנועים, ולבנות תשתית שלא רק מתבססת על כל הידע הקיים אלא יודעת להתאים את עצמה ללמידה מתמשכת לצד בני אדם.
לדעתי, זו בדיוק הנקודה שכל מי שמטמיע AI בארגון חייב להפנים. אם אתם בוחרים כלי כללי בשביל משימה מקצועית עמוקה, אתם צפויים לתוצאה סבירה, לא מצוינת. השאלה שכדאי לשאול לפני שבוחרים כלי היא לא כמה הוא חכם, אלא כמה הוא מכיר את הדומיין הספציפי שלכם.
שאלות נפוצות
מי זה איליה סוצקבר ולמה כדאי להקשיב לראיון שלו?
מנכ"ל וממייסדי SSI (Safe Superintelligence) וממייסדי OpenAI, אחד הקולות המשפיעים ביותר על כיוון המחקר בתעשיית ה-AI. בראיון הוא מסביר למה המודלים הכלליים של היום מגיעים לתקרה, ומה הכיוון הבא.
למה מודל AI כללי נכשל דווקא ביוזקייסים מקצועיים עמוקים?
כי הוא מאומן על כל הדאטה הקיים, טוב ורע בערבוביה, ובממוצע הוא נשאר סביר במקום מצוין. ככל שהדומיין המקצועי עמוק יותר, הפער בין ידע כללי לניסיון מעשי גדל.
מה זה עידן המחקר שסוצקבר מדבר עליו?
המעבר מ-scaling, כלומר הגדלת המודלים והדאטה, לגישות חדשות של למידה וורטיקלית עמוקה. כמויות הדאטה החדש נגמרות, ולכן הקפיצה הבאה תגיע ממחקר, לא מכמות.
מקורות
הראיון המקורי: Ilya Sutskever, מנכ"ל SSI וממייסדי OpenAI, בפודקאסט של Dwarkesh Patel (25.11.2025)
מדריך חדש עולה? שתדע ראשון.
מדריכים פרקטיים, סקירות שוק ותהליכי עבודה מהשטח. מה שעובד, עם המספרים והמקורות. בלי תיאוריה ובלי ספאם.
