מודלים פתוחים: AI שרץ על המחשב שלכם
- להבין מה זה מודל פתוח, ומה אפשר לעשות איתו
- לדעת את היתרונות והחסרונות של הרצה על המחשב
- לדעת מאיפה מתחילים, אם רוצים לנסות
עד עכשיו כל מודל שדיברנו עליו רץ בשרתים של חברה. אבל יש גם מודלים שאפשר להוריד ולהריץ על המחשב שלכם, בלי אינטרנט, ובלי שאף מילה יוצאת החוצה. זה השיעור האחרון ביחידה.
מה זה מודל פתוח?
זוכרים שהמודל הוא בעצם קובץ ענק של משקלים? חברות מסוימות מפרסמות את הקובץ הזה, וכל אחד יכול להוריד אותו. לזה קוראים מודל פתוח (או בדיוק יותר: משקלים פתוחים). דוגמאות למשפחות כאלה: Llama של Meta, Gemma של Google, Mistral, Qwen ו-DeepSeek.
כדי להריץ אותם לא צריך לתכנת. יש תוכנות חינמיות שעושות את זה בכמה לחיצות, כמו Ollama ו-LM Studio: בוחרים מודל מרשימה, מורידים, ומדברים איתו בחלון צ'אט, ממש כמו ב-ChatGPT.
מתי זה שווה?
איזה מחשב צריך?
כלל אצבע: ככל שהמודל גדול יותר, צריך יותר זיכרון. מודלים קטנים רצים על הרבה מחשבים ניידים חדשים, ועדיף עם 16 גיגה זיכרון ומעלה, ובמיוחד טוב על מחשבי מק חדשים או על מחשבים עם כרטיס מסך חזק. מודלים גדולים צריכים מחשבים מיוחדים. הדרך הכי פשוטה לדעת: להתקין אחת התוכנות, ולנסות מודל קטן.
חזרה על היחידה
- מודל פתוח אפשר להוריד ולהריץ על המחשב, עם תוכנות כמו Ollama ו-LM Studio.
- יתרונות: פרטיות, בלי אינטרנט, בלי תשלום לפי שימוש. חסרונות: חלש יותר, וצריך מחשב חזק.
- הדרך הכי טובה לדעת אם זה בשבילכם: להתקין ולנסות מודל קטן.
🎉 כל הכבוד! סיימתם את שיעור 30.
לשיעור הבא: מה זה סוכן AI ←