מילון מונחים ל-AI ולמידת מכונה - כל המושגים שכולם משתמשים בהם ולא תמיד מבינים

בשנתיים-שלוש האחרונות עולם ה-AI התפוצץ, ואיתו התפוצצה כמות המונחים שכולם מטיחים בשיחה כאילו ברור מה זה. מודל, טוקן, פרומפט, הזיה, RAG - המילים האלה קופצות בכל כתבה, בכל ראיון עבודה ובכל שיחת קפה עם מתכנתים. הבעיה היא שרוב האנשים מהנהנים בהבנה אבל בפועל לא ממש יודעים להסביר את זה. המדריך הזה נועד לפרק את כל המושגים האלה לשפה פשוטה, בלי סופרלטיבים ובלי צורך ברקע במתמטיקה.

יסודות למידת מכונה

למידת מכונה - Machine Learning היא הרעיון הבסיסי שבמקום לתכנת מחשב עם חוקים מפורשים, אתם מאכילים אותו בהמון דוגמאות והוא לומד לזהות דפוסים בעצמו. לדוגמה, במקום לכתוב קוד שמגדיר מה זה "חתול", מראים למערכת אלפי תמונות של חתולים והיא לומדת לזהות אותם לבד.

למידה עמוקה - Deep Learning היא תת-תחום של למידת מכונה שמשתמש ברשתות נוירונים גדולות עם הרבה שכבות. היא זו שאחראית לרוב הפריצות המרשימות של העשור האחרון, מזיהוי תמונות ועד יצירת טקסט. ChatGPT, למשל, מבוסס על למידה עמוקה.

רשת נוירונים - Neural Network היא מבנה מתמטי שמחקה בצורה גסה מאוד את האופן שבו נוירונים במוח מחוברים זה לזה. היא מורכבת משכבות של "נוירונים" מלאכותיים שמעבירים ביניהם מספרים, ומתאימים את עצמם במהלך האימון כדי לייצר תשובות טובות יותר.

מודל - Model הוא התוצר הסופי של תהליך האימון - קובץ (או אוסף קבצים) שמכיל את כל מה שהרשת למדה, ומסוגל לקבל קלט חדש ולהחזיר פלט. כשאומרים "המודל של GPT" או "מודל של תמונות", מתכוונים בדיוק לזה.

מאגר נתונים - Dataset הוא אוסף הדוגמאות שמשתמשים בהן כדי לאמן מודל. יכול להיות מיליוני תמונות עם תיוג, טקסטים מהאינטרנט, או שיחות תמיכה מהעבר. איכות ה-Dataset היא לרוב הגורם הכי משמעותי לאיכות המודל בסוף.

פרמטרים - Parameters הם המספרים הפנימיים שהמודל מתאים במהלך האימון - למעשה "המשקלים" שקובעים איך כל נוירון מגיב לקלט. כשאומרים שמודל מסוים הוא "70 מיליארד פרמטרים", מתכוונים לגודל שלו במונחי המספרים האלה, וככלל אצבע - יותר פרמטרים אומר יכולת גבוהה יותר, אבל גם צורך גדול יותר בחומרה.

איך מודלים לומדים

אימון מול הסקה - Training vs Inference הם שני שלבים שונים לגמרי בחיים של מודל. אימון הוא התהליך היקר והממושך שבו המודל לומד מהנתונים, ולעומת זאת הסקה היא הרגע שבו המודל המוכן נותן תשובה לשאלה חדשה שלכם. כשאתם שולחים הודעה לצ'אטבוט, זו הסקה, לא אימון.

למידה מונחית מול לא מונחית - Supervised vs Unsupervised Learning מתארים שתי גישות אימון. בלמידה מונחית לכל דוגמה יש תווית נכונה (תמונה מתויגת "כלב"), והמודל לומד להתאים בין קלט לתשובה. בלמידה לא מונחית אין תוויות בכלל, והמודל מנסה למצוא בעצמו מבנה או קבוצות בתוך הנתונים.

התאמת יתר - Overfitting קורית כשמודל "משנן" את נתוני האימון במקום ללמוד את הדפוסים הכלליים שמאחוריהם. התוצאה היא מודל שמצטיין בדיוק על הדוגמאות שראה, אבל נכשל כשמגיע קלט חדש ולא מוכר. זה דומה לתלמיד שמשנן שאלות מבחן ישנות ולא באמת מבין את החומר.

הטיה בנתונים - Bias מתארת מצב שבו הנתונים ששימשו לאימון לא מייצגים את המציאות בצורה הוגנת, וכתוצאה מכך המודל "יורש" את אותה הטיה. לדוגמה, מודל גיוס שאומן בעיקר על קורות חיים של גברים עלול לפעול בצורה מוטה כלפי מועמדות.

למידת חיזוק - Reinforcement Learning היא גישת אימון שבה המודל לומד דרך ניסוי וטעייה, ומקבל "פרס" כשהוא מתנהג נכון ו"עונש" כשהוא טועה, בדומה לאילוף כלב עם חטיפים. שיטה כזו שימשה, למשל, כדי לאמן מערכות שמנצחות בני אדם במשחקי לוח מורכבים.

כיוונון עדין - Fine-tuning הוא תהליך שבו לוקחים מודל כללי שכבר אומן, ומאמנים אותו עוד קצת על נתונים ספציפיים כדי להתאים אותו למשימה מסוימת. חברה שרוצה צ'אטבוט שמדבר בשפה מקצועית של תחום הביטוח, למשל, יכולה לקחת מודל קיים ולעשות לו כיוונון עדין על שיחות מהתחום שלה.

מודלי שפה גדולים

מודל שפה גדול - LLM (ראשי תיבות של Large Language Model) הוא מודל שאומן על כמויות ענק של טקסט כדי לחזות מה המילה הבאה ברצף. ChatGPT, Claude ו-Gemini הם כולם דוגמאות למודלי שפה גדולים, שיודעים לכתוב, לסכם, לתרגם ולענות על שאלות.

טרנספורמר - Transformer הוא הארכיטקטורה המתמטית שעליה מבוססים כמעט כל מודלי השפה הגדולים של היום. החידוש המרכזי שלה הוא מנגנון שמאפשר למודל "לשים לב" בו-זמנית לכל המילים במשפט ולהבין את הקשר ביניהן, במקום לעבד אותן אחת אחת.

טוקן - Token הוא יחידת הטקסט הבסיסית שהמודל מעבד - לא בהכרח מילה שלמה, אלא לפעמים חלק ממילה, סימן פיסוק או רווח. המילה "התכנתות", למשל, יכולה להתפרק לכמה טוקנים. כשמשלמים על שימוש במודל שפה, לרוב משלמים לפי כמות הטוקנים שנכנסו ויצאו.

פרומפט - Prompt הוא הטקסט שאתם כותבים למודל כדי לבקש ממנו משהו - שאלה, הוראה או תיאור משימה. איכות הפרומפט משפיעה ישירות על איכות התשובה, ומכאן כל המדריכים ל"הנדסת פרומפטים" שצצו בשנים האחרונות.

הטמעה וקטורית - Embedding היא שיטה להמיר טקסט (או תמונה, או צליל) לרצף מספרים שמייצג את המשמעות שלו במרחב מתמטי. המשמעות המעשית היא שמילים או משפטים דומים במשמעות מקבלים ייצוגים מספריים קרובים, וזה מה שמאפשר למנועי חיפוש חכמים למצוא תוצאות רלוונטיות גם בלי התאמת מילים מדויקת.

הזיה - Hallucination היא כשמודל שפה נותן תשובה שנשמעת בטוחה ומשכנעת, אבל היא שגויה או פשוט מומצאת. זה קורה כי המודל לא "יודע" עובדות במובן האנושי, אלא מנחש את הרצף הכי סביר של מילים, ולפעמים הניחוש הזה פשוט טועה. חשוב לזכור את זה כשמבקשים ממודל שפה עובדות מדויקות, כמו תאריכים או מקורות.

אחזור מועשר בידע - RAG (ראשי תיבות של Retrieval-Augmented Generation) היא שיטה שמשלבת חיפוש מידע רלוונטי ממקור חיצוני עם היכולת של מודל השפה לנסח תשובה. במקום לסמוך רק על מה שהמודל "זוכר" מהאימון, המערכת קודם מאתרת מסמכים רלוונטיים ואז מבקשת מהמודל לענות בהתבסס עליהם - שיטה נפוצה להפחתת הזיות ולעדכון ידע בלי צורך לאמן מחדש את כל המודל.

מושגים שכדאי להכיר

עיבוד שפה טבעית - NLP (ראשי תיבות של Natural Language Processing) הוא תחום שלם שעוסק ביכולת של מחשבים להבין ולייצר שפה אנושית - החל מתיקון שגיאות כתיב ועד תרגום אוטומטי ומודלי שפה גדולים. מודלי השפה של היום הם למעשה ההישג הבולט ביותר של תחום ה-NLP.

ראייה ממוחשבת - Computer Vision הוא תחום מקביל שעוסק ביכולת של מערכות "לראות" ולהבין תמונות ווידאו - זיהוי פנים, זיהוי מכשולים ברכב אוטונומי, או סינון תמונות פוגעניות ברשתות חברתיות הם כולם יישומים שלו.

עברתם על רוב המונחים שתשמעו בכל שיחה על AI היום. אם בא לכם להעמיק ולא רק להבין מונחים אלא גם לעבוד עם הכלים בפועל, מוזמנים להצטרף לקורס הפיתוח עם AI החינמי שלנו.

אין צורך לדעת הכל מהיום למחר - תחזרו למילון הזה כל פעם שנתקעים במונח, ולאט לאט זה יהפוך לשפה טבעית.

הצטרפו לקהילה בדיסקורד