ExplAInable

בר שאלתיאל מוביל את קהילת בינה מלאכותית בגובה העיניים המונה מעל 30000 אנשים. בר שיצא בשאלה מהעולם החרדי לפני כשלוש שנים גילה כמעט בטעות את כוחם של מודלי השפה הגדולים כשהתחיל לסייע לסטודנטים לכתוב עבודות אקדמיות. מאז נכנס בר למסע של מחקר והבנה איך המנגנון עובד, ואילו פרומפטים יעילים ביותר. יוצא לנו הרבה לדבר על מודלי שפה גדולים מנקודת המבט של החוקר, ובפרק זה נצלול לראשונה לחוויית המשתמש והbest prac...

כבר חמש שנים שאנחנו מקליטים על למידת מכונה, אלגוריתמים ולא מעט על GenAI. עוד אף פעם לא מאוחר להזמין לפרק לייב, בשיתוף פעולה עם qodo לפרק מיוחד של Ask me anything/ כדי שנוכל להתכונן, נשמח לענות על השאלות שלכם בקישור הבא: https://docs.google.com/forms/d/e/1FAIpQLSeqQX4VtEoGxa4IlEi4-cpn46mtkhOdogR4FTxNwuq8cXy2HA/

כולם מדברים על דיפסיק, המודל הסיני, החדש, הזול והאופן סורס שמביס את צ׳אט ג׳י פי טי ומביך את OpenAIבפרק זה נדבר על ארבעת החידושים הטכנולוגיים מהמאמר: GRPO, KL-divergence approximation, multi token prediction והקוואנטיזציה.ואיך לא, גם קצת השערות של מייק ארליכסון ושל אורי גורן על מה באמת קורה מתחת למכסה המנוע.

בפרק זה מצטרף אלינו פרופ' אופיר לינדנבאום מאוניברסיטת בר-אילן לשיחה על השימוש בלמידת עומק לגילוי מדעי. נדון באתגרים הייחודיים של נתונים טבלאיים, היתרונות של רשתות נוירונים מול שיטות מסורתיות, ויישומים מעשיים בתחומים כמו ביולוגיה ורפואה. המאמר שהזכרנו בפרק האתר של אופיר לינקדאין של אופיר

בפרק זה, אירחנו את דן עופר, מדען נתונים בכיר ב-Medtronic ודוקטורנט באוניברסיטה העברית, נדבר על ניסיונו בתחרויות Kaggle ובתחום מדעי הנתונים. נדון גם בתרומתה של Kaggle לפיתוח יכולות מעשיות, באתגרים שבין התחרויות לבין המציאות המקצועית, ובתובנות שנרכשו מתחרות ProteinBERT לאנליזת חלבונים באמצעות מודלים מבוססי שפה. גיטהאב של דן לינקדאין של דן  

פרק שני בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. 

בעקבות הפרק שיפור וודאות במודלים: הצצה לעולם של ניבוי קונפורמי החלטנו  הפעם לצלול עמוק פנימה. בפרק הזה, אנחנו צוללים לעומק עולם הניבוי הקונפורמי. יחד עם חילף חסון, נדון כיצד ניתן ליישם ניבוי קונפורמי בבעיות קלאסיפיקציה, מה היתרונות, ואיך זה לסייע בקבלת החלטות מדויקות יותר בעולם הנתונים. פרק עשיר בתובנות לכל חובבי ה-AI והדאטה סיינס   האתר של חילף Conformalized Quantile Regression Robots That Ask Fo...

היום בפרק נדבר עם סרג' סמורדינסקי, ראש תחום NLP ומחקר ב-Loris AI, לשיחה על חלופות להנדסת פרומפטים וכלי DSPy. סרג' ישתף על האתגרים בעבודה עם מודלים לשוניים גדולים (LLMs) וכיצד DSPy מאפשר יצירת פרומפטים דינמיים ואופטימליים. נציע מבט חדשני על עתיד ה-NLP ושיטות עבודה מתקדמות בתעשייה.   לינקדאין של סרג׳ DSPy: Machine Learning Attitude Towards LLM Prompting מאמרים של סרג׳ במדיום

ברוכים הבאים לפרק סיכום שנת 2024! הפעם שוחחנו עם איתן צימרמן, מוביל צוות הדאטא סייאנס ב-ARGMAX סיכמנו את שנת 2024 ועל המגמות, האתגרים וטרנדים שנתקלנו בהם לאורך השנה בנוסף, שיתפנו את התחזיות שלנו לשנת 2025 – אילו טרנדים חדשים צפויים לצבור תאוצה? אילו בעיות טכנולוגיות נצטרך לפתור? מה אתם צופים ששנת 2025 תביא איתה בעולמות הML?   לינקדאין של איתן

היום בפרק נצלול לעומק עולמות האקדמיה בתחום הNLP  אבי ואמיר, חוקרים ומומחים בעולמות ה-NLP, משתפים במסלולי הקריירה שלהם, ההבדלים בין מחקר באקדמיה לעבודה בתעשייה, וכיצד ניתן למנף דוקטורט לקריירה מצליחה. נדון גם בשאלה מה הופך מחקר אקדמי למעניין, אילו כישורים ניתן לפתח בתהליך הדוקטורט, ומהם ההבדלים בין מחקר לתעשייה בעידן של LLMs האתר של אבי לינקדאין של אמיר

בפרק הבא נחקור יחד עם הדר שרביט את השילוב בין פיזיקה ללמידת מכונה בחיזוי סדרות זמן. נדון בהבדלים בין חיזוי לניבוי בזמן אמת, באתגרים תעשייתיים, ובדרכים שבהן מודלים פיזיקליים ונתוני חיישנים משתלבים כדי ליצור פתרונות מתקדמים.   לינקדאין של הדר Nixtla הבלוג של הדר

בפרק זה נדבר עם לירון יצחקי אלרהנד באתגרים הטכניים ביצירת וידאו באמצעות בינה מלאכותית. נדון בניהול זיכרון, שמירה על קוהרנטיות בין פריימים, והקשרים בין מודלי שפה ליצירת וידאו, ונציג גם פתרונות חדשניים להתמודדות עם תנועות מורכבות ושיפור עקביות ויזואלית

פרק שני בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. 

בפרק זה נשוחח עם בן בורן, CTO של SwarmOne, על האתגרים בהכשרת מודלים בבינה מלאכותית. בן יסביר על עבודה עם GPU, שמירה על אבטחת מידע, וסקלת מודלים גדולים. הם ונדון גם בהשפעת LLM ובדרכים לייעל את תהליכי ההכשרה. SwarmOne הלינקדאין של בן

 פרק משותף עם הפודקאסט ״״המחוללים של דורון שדה ושקד זיכלינסקי והפעם, נדון בכל מה שקשור ל-RAG, והאם אכן מכאן תגיע הישועה לפתרון בעיית ההזיות של מודלי שפה?   ״המחוללים״ האתר של דורון לינקדאין של שקד

בפרק הבא נדבר עם עמית מנדלבאום על התפתחות סוכנים אוטונומיים תוך שימוש במודלים מתקדמים של ראיית מחשב ו-LLMs. נתייחס לאתגרים בשילוב יכולות היסק ושיקול דעת, ולבעיות שהיו בפרויקטים כמו AutoGPT. נציג את הצלחתה של חברת Anthropic בהבנה של פעולות ממסכי מחשב ונסביר כיצד טכנולוגיות אלו משפרות את ההתמודדות עם פעולות ממוחשבות בצורה קרובה להתנהגות אנושית.   https://medium.com/@luke.birdeau/reverse-engineering-...

פרק ראשון בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. 

בפרק הבא נדבר על העולם המורכב של זיהוי טקסט שנוצר על ידי בינה מלאכותית. נסקור את השימושים הנפוצים ב-ChatGPT, מהכתיבה ועד ליישומים אפורים כמו העתקות ובוטים. יחד עם אביב קרן, נדון בשיטות לזיהוי טקסט מג׳ונרט, השפעות על האקדמיה, שימושים בבינה מלאכותית לאימון מודלים, ונדבר גם על האתגרים האתיים והטכנולוגיים שמלווים את התחום. Semantic Scholar A Survey on LLM-generated Text Detection: Necessity, Methods,...

היום בפרק נעסוק בהבנת למידה ניגודית ובחקר ההתפתחות שלה בשנים האחרונות. נדבר על עקרונות הבסיסיים של למידת קונטרסט, כמו חיפוש דימויים דומים (חיוביים) ודימויים שונים (שליליים), על כך שלפעמים קשה להגדיר את הדימויים השונים בצורה חד משמעית, והצורך בהגדלת כמויות הדאטה כדי להשיג תוצאות טובות יותר. נזכיר את השיטות השונות שהתפתחו, כגון SimCLR ו-Moco, ונסביר את החשיבות של טרנספורמציות והתאמות בתמונות כדי ללמ...

היום בפרק נדבר עם גל פרץ, מהפודקאסט "LangTalks" ומומחה בתחום הבינה המלאכותית. נשוחח על נושאים כמו התפתחות השימוש במודלים של בינה מלאכותית, תפקידם של כלי No-Code בעולם הטכנולוגי, ואיך בינה מלאכותית משפיעה על הגישה ההנדסית והמחקרית של פיתוח מערכות היום. נבחנן גם את האתגרים וההזדמנויות שהתחום מציב עבור אנשי מוצר, מהנדסים וחוקרים, ועל חשיבותם של כלי Prompt Engineering ככלי שימושי בעבודה עם מודלים מתקד...

בפרק זה דיברנו  על מאמר פורץ דרך בתחום הרובוטיקה: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion המאמר טוען לשיפור של 46.9% במשימות מוטוריות של רובוטים. הם מראים תוצאות על סימולציות ועל רובוטים פיסיים. פעולות כמו מזיגה, עירבוב, הנחת ספל והסביבה המפורסמת push-T. בגדול הם לקחו את מה שכבר סקרנו בעבר stable diffusion לעולם הרובוטיקה, כאשר כאן נכנסת סדרת תמונות (המתקבלות ממצלמת הרובו...

אחרת הטכניקות הקלאסיות (משנות ה80) שזוכה לאחרונה לפופולאריות מחודשת היא Conformal Prediction. ברוב משימות הניבוי, לא מספיק לחזות רק מה התוצאה הכי סבירה - אלא מה הן מגוון האפשרויות, ומה הסבירות. ניקח למשל רופא שצריך לאבחן מטופל על סמך הסימפטומים, תוצאת הדיאגנוזה שלו תגרור את הטיפול המתאים. לכל אבחנה מתוך סט האבחנות יש סיכוי, וייתכן שיידרשו בדיקות נוספות כדי לאסוף עוד נתונים. ניבוי קונפורמי מנסה לקש...

בפרק הבא נדבר על הגרסה החדשה GPT-4o1, שמבטיחה יכולות מתקדמות של הסקת מסקנות. מייק יסביר כיצד המודל מנסה להתמודד עם בעיות מורכבות שדורשות יכולת לוגית מרובה, ומעלה את השאלה האם המודל באמת מצליח להתמודד עם משימות הסקה מורכבות או שמא הוא "מגזים" בהערכותיו. נבדוק גם את ההבדלים בין גרסאות קודמות, כמו GPT-3 ו-GPT-4, ונבחן את האתגרים וההזדמנויות שהגרסה החדשה מביאה.  נדבר על איך אנחנו כבני חושבים ולמה הגרס...

בפרק הבא, נצלול לנושא המורכב של מכניסטית אינטרפרטביליות (Mechanistic Interpretability) במודלים של שפה, וננסה לפשט את הדרך בה ניתן להבין מה מתרחש בתוך מודלים אלה. נסביר כיצד מודלים בשימוש רחב כמו טרנספורמרים ומבנים מתמטיים אחרים מנסים לפענח את מנגנוני השפה, אבל נדבר גם על הקושי להבין מה באמת קורה "מאחורי הקלעים" של רשתות נוירונים עמוקות. נבין את השיטות השונות לפרש את פעולת המודל תוך התמקדות בניתוח...

בפרק הבא, נארח את ניר דיאמנט, יועץ בתחום הבינה המלאכותית הגנרטיבית (GenAI) שיספר לנו על המסע המקצועי שלו והתפתחויות חדשניות בתחום. ניר מצטרף אלינו בעקבות תרומתו המשמעותית לשיטות RAG (Retrieval-Augmented Generation) כולל פיתוחים כמו GenAI Agents ו-Controlable RAG, שזכו להכרה רחבה ואף פורסמו על ידי מנכ״ל LangChain, האריסון צ׳ייס, כתכנים הפופולריים ביותר שלהם. בפרק נדון בפתרונות לשיפור החיפושים והשלי...