fr

Mechanical Dirk

Mechanical Dreams

An automatically generated podcast about machine learning and natural language processing. The two fictional hosts talk about papers that I want to learn more about on my way to work. It's not good, but it's useful.

N'hésitez pas à visiter le site du podcast et à soutenir son créateur : mechanicaldreams.mechanicaldirk.com

Auteur

Mechanical Dirk

Catégorie

Science

Dernier épisode

27 sept. 2026

Où écouter ?

Les podcasts dans l'appli Replaio Radio Bientôt disponible

Les podcasts arrivent très bientôt dans l'appli. Installe-la dès maintenant et découvre en avant-première une toute nouvelle façon de vivre les podcasts

Télécharger sur Google Play Installe-la gratuitement Android près de 10 M de téléchargements · note de 4,8 iOS bientôt

Épisodes

Continual Pre-training of MoEs 12.03.2025
s1 - Simple test-time scaling 06.03.2025
Cognitive Behaviors that Enable Self-Improving Reasoners 05.03.2025
Phi 4 Multimodal Instruct 04.03.2025
Claude 3.7 Sonnet System Card 25.02.2025
Project Sid: Many-agent simulations toward AI civilization 09.02.2025
The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training 09.02.2025
Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models 05.02.2025
NExtLong - Toward Effective Long-Context Training without Long Documents 30.01.2025
Over-Tokenized Transformer 30.01.2025
Optimizing Pretraining Data Mixtures with LLM-Estimated Utility 30.01.2025
HashAttention: Semantic Sparsity for Faster Inference 16.01.2025
From Tokens to Words 15.01.2025
DeepSeek V3 07.01.2025
Optimal Linear Decay Learning Rate Schedules and Further Refinements 05.01.2025

In this episode: • The Death of Cosine?: Introduction to the episode and the paper. Professor Norris expresses his skepticism about changing established habits like Cosine Annealing, while Linda teases a shake-up in the status quo. • Theory vs. Reality: A discussion on the massive gap between theoretical learning rates (like 1/t) and what practitioners actually use. Linda explains why the theory h...

Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers 20.12.2024
Efficient and Approximate Per-Example Gradient Norms for Gradient Noise Scale 20.12.2024
Phi-4 14.12.2024
Rephrasing natural text data with different languages and quality levels 13.12.2024
Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs 12.12.2024
EXAONE 3.5 11.12.2024
Model soups - averaging weights of multiple fine-tuned models improves accuracy without increasing inference time 09.12.2024
Model-Aware Data Selection for Efficient Pretraining with Data Influence Models 06.12.2024
Nemotron-CC 05.12.2024
Tülu 3 02.12.2024

Écoute le podcast Mechanical Dreams sur Replaio

La radio et les podcasts dans une seule appli - gratuite, sans inscription. Installe-la dès aujourd'hui et ne rate pas le lancement

Télécharger sur Google Play

Replaio n'est pas éditeur de podcasts ; les noms des émissions, les visuels et l'audio appartiennent à leurs auteurs et sont diffusés via des flux RSS publics