מדריכים ‹ ניסוי
בודקים רעיון לפני שבונים: נתתי ל-Jev לנחש איזה סרטון יצליח
הסרטון נטען מיוטיוב רק כשלוחצים עליו. לצפייה ביוטיוב
Jev הוא מודל AI שלא מחזיר טקסט אלא החלטה. היה לי רעיון להשתמש בו כמסננת זולה לרעיונות למודעות בפייסבוק: הוא משאיר רק את הטובים, וממשיכים לעבוד רק עליהם. לפני שבונים מוצר כזה צריך לבדוק דבר אחד: האם Jev בכלל טוב בהחלטות כאלה?
איך בדקתי
- נתונים. Claude בנה לי סקריפט שסורק ערוצי יוטיוב (AI וגיימינג) ושולף את הסרטונים האחרונים של כל ערוץ עם מספר הצפיות.
- הגדרת הצלחה. אי אפשר להשוות ערוץ גדול לקטן, אז כל סרטון נבדק מול הממוצע של הערוץ שלו. פי 2 או יותר נחשב הצלחה, חצי או פחות נחשב כישלון.
- זוגות. הצלחה אחת וכישלון אחד מאותו ערוץ, ו-Jev צריך לנחש מי מהם הצליח. בסך הכול 199 זוגות.
מה יצא
- כותרות בלבד: 57%. ניחוש אקראי הוא 50%, כך שזה לא אומר הרבה.
- עם היסטוריית הערוץ: כ-70%. אבל אז גיליתי שבטעות נתתי לו להציץ לעתיד, כלומר לסרטונים שיצאו אחרי הסרטון שהוא מנחש. כשהוא ראה רק את העבר, התוצאה ירדה ל-65%–70%.
- שופט פשוט בלי AI, שרק משווה מילים לכותרות קודמות של הערוץ, הגיע כמעט לאותה תוצאה. רוב הערך הגיע מהנתונים, לא מ-Jev.
- סרטונים רגילים (לא רק קיצוניים): Jev סידר 15 סרטונים לפי הצלחה צפויה, וצדק ב-59%. הפער קטן מכדי להחליט לפיו על כסף.
- מבחן הכותרות: אותו סרטון עם כותרת אמיתית ועוד ארבע ש-Claude כתב. לא היה שום הבדל בין סרטונים שהצליחו לסרטונים שנכשלו. זה מדגם קטן (60 סרטונים לכל סוג), אבל לא מצאתי שום סימן שהוא מבין כותרות.
כל הקריאות ל-Jev עלו 15 סנט.
שלוש מסקנות
- מי שיש לו נתונים אמיתיים (יוטיוב, Meta) ינצח את מי שמנחש מבחוץ, גם כשהניחוש זול.
- זה לא אומר ש-Jev לא טוב. בדקתי אותו על המשימה הכי קשה: לנחש מה אנשים יאהבו. הוא בנוי להחלטות שיש להן תשובה נכונה, ושם שווה לבדוק אותו שוב.
- בודקים רעיון לפני שבונים אותו. הבדיקה לקחה יום-יומיים ועלתה כמעט כלום. הרבה יותר טוב מלגלות אחרי חודשים של בנייה שהרעיון לא עובד.
פרקים בסרטון
- הקריאות ל-Jev עלו 15 סנט
- מה זה Jev: מודל שמחזיר החלטה ולא טקסט
- הרעיון: Jev כמסננת למודעות בפייסבוק
- הנתונים: כותרות וצפיות מיוטיוב
- איך מודדים הצלחה: 199 זוגות סרטונים
- התוצאות: 57% מכותרות בלבד, כ-70% עם היסטוריית הערוץ
- הטעות: Jev הציץ לעתיד
- שופט פשוט בלי AI מול Jev
- סרטונים רגילים ולא רק קיצוניים: 59%
- הבדיקה האחרונה: חמש כותרות ואפס הבדל
- שלוש מסקנות: לבדוק רעיון לפני שבונים
- איזה רעיון לבדוק בפעם הבאה?
