בודקים רעיון לפני שבונים: ניסוי אמיתי ב-15 סנט

הניסוי: האם AI יודע לנחש איזה סרטון יצליח?

היה לי רעיון: להשתמש ב-Jev, מודל AI שמחזיר החלטה ולא טקסט, כמסננת זולה לרעיונות למודעות. לפני שבונים מוצר כזה צריך לבדוק דבר אחד: האם הוא בכלל יודע לנחש מה יצליח?

אז לקחתי 199 זוגות של סרטונים מיוטיוב. בכל זוג, שני סרטונים מאותו ערוץ: אחד שהצליח מאוד (פי 2 מהממוצע של הערוץ, או יותר), ואחד שנכשל (חצי מהממוצע, או פחות). ביקשתי ממנו לנחש מי מהשניים הצליח. לפני שתראו מה יצא, נחשו:

ומה עוד יצא:

• עם ההיסטוריה של הערוץ: כ-70%. נשמע טוב. אבל אז גיליתי שבטעות נתתי לו להציץ לעתיד: לסרטונים שיצאו אחרי הסרטון שהוא ניחש. כשהוא ראה רק את העבר, התוצאה ירדה ל-65% עד 70%.
• שופט פשוט, בלי AI, שרק משווה מילים לכותרות קודמות של הערוץ, הגיע כמעט לאותה תוצאה. רוב הערך הגיע מהנתונים, לא מה-AI.
• העלות של כל הניסוי: 15 סנט, ויום-יומיים של עבודה. הרבה יותר זול מלגלות אחרי חודשים של בנייה.

וחשוב לדייק: זה לא אומר ש-Jev לא טוב. בדקתי אותו על אחת המשימות הכי קשות שיש, לנחש מה אנשים יאהבו, והוא בנוי להחלטות שיש להן תשובה נכונה. אבל לרעיון המסוים שלי, הבדיקה חסכה לי חודשים. את כל הניסוי, עם הנתונים והמסקנות, אפשר לראות במדריך המלא.

חמישה עקרונות של בדיקה הוגנת

• מגדירים הצלחה מראש, במספר. אצלי: סרטון שקיבל פי 2 מהממוצע של הערוץ שלו. בלי הגדרה, כל תוצאה "נראית טוב".
• משווים לניחוש אקראי. בזוגות זה 50%. תוצאה שווה משהו רק אם היא מעל זה, ובפער.
• משווים לפתרון פשוט. אם שופט פשוט בלי AI מגיע לאותה תוצאה, ה-AI לא מוסיף הרבה במשימה הזו.
• לא נותנים להציץ לעתיד. בבדיקה משתמשים רק במה שהיה ידוע באותו רגע. זו הטעות שאני עשיתי, והיא נפוצה מאוד.
• מתחילים זול. מדגם קטן, יום-יומיים, כמה סנטים. אם יש סימן טוב, מרחיבים.

בדיקה בלי ניסוי

לא כל רעיון צריך ניסוי עם נתונים. לפעמים מספיק לבנות גרסה קטנה ולתת ל-5 אנשים לנסות, להעלות דף שמתאר את הרעיון ולראות אם מישהו נרשם, או לבקש מ-AI לשחק את פרקליט השטן של הרעיון, כמו בשיעור על הטיות. השאלה תמיד אותה שאלה: מה הדרך הכי זולה לגלות שאני טועה?