איך בודקים כלי AI חדש על משימה עסקית אמיתית

בפוסט שלי על ההתנסות בכלי של Google כתבתי שהתקבל תוצר ראשון מעניין בבניית סטודיו לעריכת תוכן. באותה נשימה ציינתי שבכלים האחרים כבר עשיתי יותר איטרציות. זאת נקודה שקל לפספס כשמשווים צילומי מסך.

הפוסט נצפה ב־18.10.2026 עם הסימון "4d • Edited". הוא מתאר את ההתרשמות שלי באותה התנסות. המאמר הזה מציע דרך לבדוק כלי חדש; הוא אינו טבלת יכולות או מחירים עדכנית של המוצרים שהוזכרו בפוסט.

מתוך פוסט המקור: "עדיין ממש לא ברמת ביצוע שהגעתי אליה עם הכלים האחרים"

מה אתם רוצים לקבל בסוף?

"תבנה לי משהו יפה" משאיר המון מקום לפרשנות. כדי להחליט אם כלי מתאים לעבודה, תארו שימוש אמיתי: מי פותח את התוצר, איזה מידע נכנס ואיזו פעולה הוא אמור להיות מסוגל להשלים.

בסטודיו לתוכן, למשל, אפשר לבדוק האם המשתמש מצליח לערוך טקסט, לשמור את השינוי ולפתוח שוב את התוצאה. עיצוב הוא חלק מהמבחן, אבל צריך לבדוק גם את הפעולות שלשמן בניתם את הכלי.

זו דוגמה מוצעת לבדיקה, לא דיווח על רשימת בדיקות שביצעתי באותו פוסט. את מה שלא נבדק מסמנים כלא נבדק.

איך מייצרים השוואה שאפשר לסמוך עליה?

הכינו שלושה דברים לפני הפעלת הכלים: קלט משותף, הגדרת תוצר ורשימת בדיקות. תעדו גם איזו סביבת עבודה וכלים זמינים בכל ניסיון. הבדל בחיבורים או בחומרים יכול להסביר הבדל בתוצאה.

תנו לכל כלי הזדמנות דומה לתיקונים. אם באחד השקעתם שעה ובשני רק פרומפט ראשון, אלה שני שלבי עבודה שונים. אפשר להציג את שניהם, אבל צריך לומר בדיוק מה הושווה.

אין כאן מספר איטרציות שמתאים לכל משימה. קבעו מסגרת סבירה מראש ורשמו מה הושלם בתוכה.

דוגמה לניסוי שנקבע מראש

זו הצעת ניסוי למדריך, לא תוצאות מההתנסות האישית שתיארתי. שני כלים מקבלים את אותו קובץ CSV מדומה, ובו פריטי תוכן עם כותרת וסטטוס, ואת אותה בקשה: להציג את הפריטים, לערוך כותרת, לשמור ולפתוח שוב בלי לאבד את השינוי.

לפני שמתחילים, מסכימים על תקציב תיקונים זהה: עד שני סבבי תיקון ועד 30 דקות לכל כלי, המוקדם מביניהם. הזמן כולל הפעלה, בדיקה ותיקונים. שני הכלים מקבלים את אותה רשימת בדיקות ואת אותן הרשאות לקבצי ההדגמה. זהו תקציב מוצע לצורך הדוגמה, לא המלצה לכל סוג משימה.

טבלת התוצאות נשארת ריקה עד להרצה ולבדיקה בפועל. אין כאן ציונים או דירוג כלים:

אם לשני הכלים אין אותן יכולות שמירה או אותה גישה, מתעדים זאת כמגבלה לפני פירוש התוצאה. אין להציג ניסוי כזה כבדיקה של המודל בלבד. עלות לא זמינה נשארת לא ידועה; לא גוזרים אותה מניחוש לגבי המנוי.

מה מודדים חוץ מזמן עד לתוצאה הראשונה?

1. האם התוצר עושה את הפעולה שהגדרתם.
2. האם הנתונים, החישובים והמקורות נכונים כשיש כאלה.
3. כמה תיקונים ביקשתם וכמה זמן השקעתם בבדיקה.
4. האם תוכלו להמשיך לערוך ולתחזק את התוצר.
5. מה הייתה העלות הכוללת של אותו ניסיון.

בעיניי, מהירות צריכה להימדד עד לנקודה שבה אפשר להשתמש בתוצר. אם נדרשת אחר כך שעה של תיקונים, היא חלק מהתהליך. אם נחסך לכם זמן, בדקו גם מה עשיתם איתו לפני שמכריזים על חיסכון כספי.

איפה התכנון נכנס?

בפוסט כתבתי שהאיזון בין התקדמות מהירה לתכנון הוא עדין. בעבודה עסקית אפשר להפוך את זה לבדיקה פשוטה: בקשו מהכלי להציג תחילה מטרה, הנחות, צעדים ודרך אימות.

לא צריך לפתוח דיון ארוך על כל פעולה קטנה. כן צריך לוודא שהוא הבין את השימוש, את האילוצים ואת נקודת הסיום. תכנון טוב צריך להוביל להחלטות שהופכות את הביצוע לברור יותר.

אם אתם עובדים עם סוכן לאורך זמן, חשוב גם איך הוא מקבל את המידע הרלוונטי. Anthropic מתארת בחירה וניהול של קונטקסט כחלק מתכנון סוכנים. זו תזכורת לבדוק את סביבת העבודה כולה, ולא לייחס כל הבדל רק לשם המודל.

איך מסכמים את ההחלטה?

כתבו משפט שאפשר לפעול לפיו: "למשימה הזאת, עם החומרים והבדיקות האלה, הכלי עמד בדרישות לאחר מספר התיקונים שתועד." אם חסרה בדיקה, ציינו אותה לפני המעבר לשימוש קבוע.

אפשר לבחור כלי שונה לכל שלב. אפשר גם להחליט שכרגע אין מספיק מידע להשוואה. עדיף להשאיר שאלה פתוחה על פני דירוג שלא משקף את העבודה.

להמשך קראו על חלוקת העבודה בין צ'אט לדפדפן AI ועל חישוב ROI של שימוש ב־AI.

שאלות נפוצות

האם צריך תמיד את המודל החזק ביותר?

בדקו על המשימה שלכם. בחירה תלויה בדרישות, בתוצאה ובעלות שנמדדה, ולא בשם המודל בלבד.

האם צילום מסך מספיק להשוואה?

הוא מציג חלק מהתוצאה. הוא לא מוכיח שהפעולות, השמירה או הנתונים עובדים.

מה אם כלי אחד מחובר למערכות והשני לא?

תעדו את ההבדל. ייתכן שאתם בודקים שתי סביבות עבודה שונות, וזה יכול להיות רלוונטי להחלטה העסקית.

האם המאמר מדרג את Google, Claude ו־Codex?

לא. הוא נותן מסגרת לבדיקה שאפשר לחזור עליה עם כלים שונים ולתעד את התוצאה.