איך מאמנים מודל כמו ChatGPT, מההתחלה ועד הסוף

שלב 1: אימון מקדים, לקרוא כמעט הכול

המודל מתחיל עם מיליארדי משקלים אקראיים. הוא מקבל כמויות עצומות של טקסט מהאינטרנט, מספרים ומקורות נוספים, ומתאמן על משימה אחת: לנחש את הטוקן הבא. בדיוק כמו הקו שאימנתם, רק עם טריליוני טוקנים.

בסוף השלב הזה יש מודל בסיס. הוא יודע המון: שפה, עובדות, סגנונות, קוד. אבל הוא לא עוזר. הוא רק ממשיך טקסט.

שלב 2: ללמוד מדוגמאות של תשובות טובות

עכשיו מראים למודל עשרות אלפי דוגמאות של שיחות: שאלה, ותשובה טובה שאנשים כתבו. המודל ממשיך להתאמן באותה שיטה, ולומד את הצורה של עוזר: לענות על השאלה, להסביר, לשאול כשלא ברור, לסרב לבקשות מזיקות.

שלב 3: משוב מבני אדם

המודל כותב כמה תשובות לאותה שאלה, ואנשים מדרגים: איזו יותר מועילה, יותר נכונה, יותר בטוחה. מהדירוגים האלה המודל לומד להעדיף תשובות טובות. לשיטה קוראים RLHF (למידת חיזוק ממשוב אנושי), ויש לה כמה גרסאות, למשל כאלה שבהן מודל עוזר לבדוק לפי רשימת עקרונות.

ומודלים שחושבים? בשנים האחרונות אומנו גם מודלים "שחושבים" לפני שהם עונים: כותבים לעצמם שלבי פתרון, בודקים ומתקנים, ורק אז עונים. הם אומנו בעיקר על בעיות שיש להן תשובה נכונה, כמו מתמטיקה וקוד, וקיבלו "פרס" כשהגיעו אליה. לכן הם חזקים במיוחד בבעיות כאלה, ולוקח להם יותר זמן לענות.

מחברים את הכול

עכשיו אפשר להבין הרבה דברים שראיתם ביחידות הקודמות:

חזרה על היחידה