נוירון אחד: איך מחשב "מחליט"
- להבין מה נוירון מלאכותי עושה: שוקל קלטים ומחליט
- להבין מה זה משקל, ולמה המשקלים הם מה שהמודל "יודע"
- לדמיין איך מיליארדי נוירונים יוצרים מודל שפה
ברוכים הבאים ליחידה "איך זה עובד מבפנים". כאן נפתח את מכסה המנוע, בלי מתמטיקה ועם סימולציות שאפשר לשחק בהן. ונתחיל באבן הבניין הקטנה ביותר: נוירון אחד.
נוירון אחד, החלטה אחת
בשיעור הראשון אמרנו שבתוך מודל AI יש "רשת נוירונים". נוירון מלאכותי הוא רעיון פשוט מאוד: הוא מקבל כמה קלטים, נותן לכל אחד משקל (כמה הוא חשוב), מחבר הכול, ואם הסכום עובר סף, הוא אומר "כן".
בואו נבנה נוירון שמחליט אם ללכת לים:
שימו לב למה שקרה: אותם קלטים, משקלים שונים, החלטה אחרת. המשקלים הם בעצם "הדעה" של הנוירון: מה חשוב לו ומה לא. אצל אדם שהלימודים חשובים לו, המשקל של "מבחן מחר" גדול ושלילי. אצל אחר, קטן.
משקלים = מה שהמודל יודע
עכשיו הנקודה החשובה: במודל AI, אף אחד לא קובע את המשקלים ביד. הם מתחילים אקראיים, ובזמן האימון המודל משנה אותם קצת אחרי כל טעות, עד שההחלטות שלו טובות. בשיעור הבא תעשו את זה בעצמכם.
לכל המספרים האלה, המשקלים, קוראים פרמטרים. כשאומרים שלמודל יש "מיליארדי פרמטרים", זה בדיוק זה: מיליארדי משקלים, שכולם נקבעו באימון. וכל מה שהמודל "יודע", דקדוק, עובדות, סגנון, שמור בהם.
בשכבות הראשונות הנוירונים מזהים דברים פשוטים, ובשכבות העמוקות יותר, דברים מורכבים. מזה בא השם "למידה עמוקה": הרבה שכבות.
הערה קטנה: בנוירונים אמיתיים במודלים, ההחלטה היא לא "כן" או "לא" חד, אלא מספר שיכול להיות קצת או הרבה. אבל העיקרון זהה: לשקול, לחבר, ולהעביר הלאה.
- נוירון מלאכותי מקבל קלטים, נותן לכל אחד משקל, מחבר, ומחליט לפי סף.
- המשקלים הם "הידע". לכל המשקלים במודל קוראים פרמטרים.
- מודל שפה הוא רשת ענקית של שכבות נוירונים, עם מיליארדי משקלים שנקבעו באימון.
🎉 כל הכבוד! סיימתם את שיעור 16.
לשיעור הבא: איך מודל לומד ←