ExplAInable

בפרק זה נציג את אתגר הלווינות החדש בסדרת MAFAT Challenge. אירחנו את ליאל ממפא"ת ואת שי ועידן מ-Webiks. דיברנו על מהפכת החלל, האתגר בזיהוי אובייקטים מתצלומי לוויין במאפיינים שונים וההבדלים ביחס לגילוי אובייקטים קלאסיים.   קישור לתחרות: https://codalab.lisn.upsaclay.fr/competitions/9603

זיהוי אנומליות הוא נושא שימושי למגוון בעיות, זיהוי סנסורים דפוקים, אאוטליירים בדאטא או התנהגות חשודה. הבעיה היא שזיהוי אנמליות בפני עצמו הא לא תמיד שימושי, אם אין פעולה שאפשר לבצע בעקבות החריגה. נדבר על הגישות הקלאסיות לאנומלי, כגון * Density estimation * Auto regressive * Distance based measures ועל הבעייתיות שנובעת מחישוב מרחקים במימדים גבוהים. אנדרס יציג את הגישה ההירכית שעבדה להם בריסקיפייד, ה...

פרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס. המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית. אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום. באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו https://t.me/explainablepodcast לעיון במבחן הבית: https://argm...

בפרק זה אירחנו את חי מרון מ nvidia לדבר על עיבוד גרפים עם רשתות נוירונים. נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית. נדבר על 4 הגישות הרווחות למידול שיטות ספקטרליות מודלי העברת הודעות רשתות אקוויורינטיות וכמובן, טרנספורמרים לקריאה נוספת: https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf הרצאה של חגי על יצוג גרפים כסימטריות https://www...

בפרק קודם דיברנו על קודקס, מודל השפה שמאחורי Github Co-Pilot בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי TabNine ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב. נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי. כמו כן נדבר על אתגרים מוצריים ב TabNine ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומר...

נראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות. הטרנד של data centric ai שמוביל Andrew Ng דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים. סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של resampling / augmentation קישורים רלוונטים: imbalanced-learn TGAN CTGAN TABDDPM SDV...

בפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים. בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב. האם הגיע המקום לחשיבה בשיטת ai4all על משקל תנועת ה coding4all הפופולארי. דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים. מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.  

מייק, אורח קבוע של הפודקאסט ידבר איתנו על Normalized Flows מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל Diffusion model, GANS and VAE נדבר על ההבדלים בין המודלים, על היתרון ב density estimations ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות

בפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות.. חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים. בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות OOD חריגה סמנטית, אובייקט לא מוכר. ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)   נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות קרדיט למחקר משותף...

תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש. בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים. נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים. איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל AI והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.

הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של Program Synthesis העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה. אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי. ונדבר על קודקס, מודל השפה ש Open AI אימנו על גיטהאב, וכיצד הוא עובד. כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.

בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס. שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר. ששת המאמרים הם: (1) Attention Is All You Need(2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(3) A Style-Based Generator Architecture for Generative Adversarial Networks(4) Learning Transferable Visual Models From Natural La...

בפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה. מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ? זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה. נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו Contrastive ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה...

בפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר. מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו. נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ? מה ההבדל מול Transfer learning ? ואיך משלבים כמה מטרות לפונקציית לוס אחת

כמשתמשים אנחנו נחפשים למערכות המלצה כל הזמן, בין אם זה בסופר בקניות או בגלילת סרטים בנטפליקס. בפרק זה נדבר עם דנה, על איך טאבולה, ענקית ההמלצות העולמית ממליצה לנו על כתבות דומות כשאנחנו גולשים באינטרנט. נדבר על המלצות מבוססות תוכן בלבד content filtering המלצות מבוססות אינטראקציות בלבד, בהשראת פרס נטפליקס 2009 collaborative filtering ונדבר על מימושים כגון וריאציות על matrix factorization ו factoriz...

בפרק זה נדבר על זיהוי אובייקטים בתמונה, ונארח את אברהם רביב - דוקטורנט בתחום בבר אילן ופעיל מאוד בקהילה עם הסקירות המעולות שלו. נדבר על בעיות בראיה ממוחשבת, מקלאסיפיקציה, דרך זיהוי אובייקטים ועד סגמנטציה - ועל הקושי בתיוג. זיהוי אובייקטים יכול להיות ממודל או כבעיה דו שלבית, הכוללת שלב נקודות עניין ואז קלאסיפיקציה או יחדיו - ונזכיר את YOLO שהיה מודל חלוצי בתחום. נדבר על המעבר מרשתות CNN לטרנספורמרי...

ראיון מיוחד עם מייק ארליכסון האחד והיחיד על מודל גנרטיבי "חדש". Diffusion Models הם שיטה חדש לפעפוע רעש, ואימון מודל להפוך רעש  על ידי סדרה של מודלים לתמונות סופר איכותיות. נדבר על המאמר: Diffusion models beat gans on image synthesis שמראה שמודלי דיפוזיה מצליחים להביס מודלים קודמים כגון GANs. ונסקור את המטריקות לאיכות תמונה שנבדקו, כמו כן נדבר על החסרונות של DDPM לעומת VAE & GANs

בפרק זה נדבר עם אורן רזון שמוביל את superwise על שלושת השלבים של דיפלוימנט של מודלי למידת מכונה. נדבר על מה יכול להשתבש בפרודקשן כשמודל מתיישן והעולם מתיישן, ואיך ניתן להיות עם יד על הדופק עם Monitoring   קישורים רלוונטים: Building your MLOps roadmap Build or buy? Choosing the right strategy for your model observability Superwise Community Edition   

למידת מכונה נורא כיפית ופשוטה כשמורידים מחברת מקאגל וכל הדאטא יושב בקובץ על המחשב ליד, אבל בחיים האמיתיים המצב לא כ"כ פשוט. בפרק זה אסף פנחסי (יועץ בתחום, בוגר פייפל ובכיר בזברה מדיקל לש') לספר לנו על החיים האמיתיים. שאלנו את אסף את כל השאלות הקשות: מחברות או קוד ? האם feature store זה משהו שאנחנו צריכים, ומתי הוא לא מתאים ? וכמובן, מה ההבדל בין ML engineering ל MLops ?  

סטטיסטיקאים נחצים ל2 מחנות: הסטטיסטיקאים הקלאסיים-תדירותיים, והסטטיסטיקאים הבייסיאנים. סטטיסטיקה בייסיאנית היא גישה שונה לסטטיסטיקה, שמנסה לדון בסבירות לא רק של הדאטא הנצפה בהנתן השערה, אלא גם בסבירות של הפרמטרים של ההתפלגות. מודלים רבים כגון GMM, Naive Bayes  ו Latent Dirrechlet allocation מתבססים על סטטיסטיקה בייסיאנית, ולאחרונה גם רשתות נוירונים זוכות לפרשנות בייסיאנית. בפרק נדבר על ההבדלים, וע...

בפרק זה אירחנו את ברק אור לספר לנו על ניווט אינרציאלי. כשאנחנו חושבים על ניווט, אנחנו חושבים על גוגל מאפס, ווייז ושלל אפליקציות שמשתמשות ב GPS. אבל לג'י פי אס יש מגבלות, ויש דרכים נוספות לנווט - כגון מדדי תאוצה, מהירות ומצפן. ברק יספר לנו על אלגוריתם קלמן פילטר ששרד את מבחן הזמן ועל הרחבות שלו עם למידת מכונה.

בפרק זה ראיינו את רועי טבח שייספר לנו על האתגרים בעולם הסייבר, דיברנו על שימוש  באנומלי דטקשן להתראה על אירועים חשודים בלוגים של מערכות. ודיברנו על מירוץ החימוש הנצחי בין התוקפים למגינים

כבר התרגלנו בעולם המשין לרנינג, ששום מודל לא שורד יותר משנה-שנתיים בתור ה SOTA עד שמגיעה גישה חדשה שטורפת את הקלפים. לכן מעניין דווקא לדבר על PPO שנשאר הגישה הדומיננטי ב Reinforcement learning כבר חמש שנים, ולא נראה שהוא הולך לשום מקום. נלמד על הבעיתיות של למידה רק עם גרדיאנט, ונדבר על מה זה "גרדיאנט טבעי"

בפרק זה אירחנו את דניאל חן מפייבר, לדבר על אלגוריתמי בנדיטים. Multi armed bandit היא גרסה מנוונת של Reinforcement learning אבל שימושית מאוד, עם אלגוריתמים ייחודיים לפתרון יעיל. נדבר על שימושים בעולמות הפרסום, תימחור דינמי, ואיך מכניסים קונטקסט לבנדיטים ושומרים על שפיות.

פרק מהארכיון, עם מייק ארליכסון המפורסם מסקירות המאמרים. בפרק זה נדבר על הדרך מאוטו-אנקודר אל VAE לצורך יצירה של דאטא סינטתי. ונדבר על ההבדלים מול GAN