אנליסטים ממאדים, מנהלי מוצר מנוגה

כבר ידוע ומוכח שודלי שפה מצוינים בלייצר טקסט. אבל בעולם מוצרי  ג׳נרטיב איי.אי, הם משמשים גם כשופטים. בפרק הזה אנחנו צוללים לעולם של LLM as a Judge הגישה שבה מודלי שפה משמשים להערכת האיכות של מודלי שפה אחרים. נדבר על למה אוואליואציה אוטומטית היא חלק קריטי ממוצרי ג׳נרטיב איי.אי, נסקור סוגים שונים של הערכות, ובחלק המרכזי נציג פריימוורק פרקטי. זה פרק שמחבר בין עולמות ה איי.אי לעולמות המוצר ועוזר להפוך...

כבר ידוע ומוכח שודלי שפה מצוינים בלייצר טקסט. אבל בעולם מוצרי  ג׳נרטיב איי.אי, הם משמשים גם כשופטים. בפרק הזה אנחנו צוללים לעולם של LLM as a Judge הגישה שבה מודלי שפה משמשים להערכת האיכות של מודלי שפה אחרים. נדבר על למה אוואליואציה אוטומטית היא חלק קריטי ממוצרי ג׳נרטיב איי.אי, נסקור סוגים שונים של הערכות, ובחלק המרכזי נציג פריימוורק פרקטי. זה פרק שמחבר בין עולמות ה איי.אי לעולמות המוצר ועוזר להפוך...

בפרק השלישי אנחנו צוללים אל אחת הפרקטיקות החשובות ביותר בעולם האבלואציה - Error Analysis. אחרי שבפרקים הקודמים דיברנו על מהי אבלואציה ולמה חשוב להתחיל מאבלואציה ידנית, הפעם אנחנו מראים איך משתמשים בתוצאות האלה כדי להבין מה לא עובד , למה זה קורה , ואיפה בדיוק לשפר את המוצר. דרך דוגמאות אנחנו חושפים איך תהליך של ארור-אנליסיס מזהה נקודות כשל ומפרק מנגנון מורכב לשלבים ברורים, ואיך בונים קטגוריות של טע...

היי, אנחנו רעות ואריאל, מנהלי מוצר ודאטה ב-Wix. בפרק הראשון אנחנו פותחים את המסע שלנו אל עולם האבלואציה – המונח שכולם מזכירים, אבל מעט מאוד מדברים עליו באמת. נדבר על למה אבלואציה חשובה כל כך בעולמות ה-Gen-AI, למה קשה כל כך ליישם אותה, ואיך מתחילים לבנות תהליך מדידה חכם שמחבר בין מטרות עסקיות למדדים איכותיים. נשתף איך זה נראה אצלנו ב-Wix Customer Care ומה למדנו מהמסע של הצ'טבוט שלנו.

בפרק הזה אנחנו צוללים לעולם האבלואציה הידנית למוצרי Gen-AI: איך הופכים שאלה עסקית לשאלון, איך בונים דאטה-סט מייצג, מי הם ה-evaluators הנכונים, ואילו טעויות קריטיות חשוב להימנע מהן. דרך דוגמאות אמיתיות מ-Wix CC, נפרק את התהליך ונראה איך מעריכים את איכות ה-LLM.