uk

Mechanical Dirk

Mechanical Dreams

Science EN ↓ Епізодів: 170

An automatically generated podcast about machine learning and natural language processing. The two fictional hosts talk about papers that I want to learn more about on my way to work. It's not good, but it's useful.

Обов'язково відвідайте сайт подкасту та підтримайте його автора: mechanicaldreams.mechanicaldirk.com

Автор

Mechanical Dirk

Категорія

Science

Сайт подкасту

mechanicaldreams.mechanicaldirk.com

Останній епізод

27 вер 2026

Де слухати?

Подкасти в застосунку Replaio Radio Уже незабаром

Подкасти незабаром з'являться в застосунку. Встановіть уже зараз і першими побачте зовсім новий погляд на подкасти

Завантажити з Google Play Встановіть безкоштовно Android майже 10 млн завантажень · рейтинг 4,8 iOS незабаром

Епізоди

Continual Pre-training of MoEs 12.03.2025
s1 - Simple test-time scaling 06.03.2025
Cognitive Behaviors that Enable Self-Improving Reasoners 05.03.2025
Phi 4 Multimodal Instruct 04.03.2025
Claude 3.7 Sonnet System Card 25.02.2025
Project Sid: Many-agent simulations toward AI civilization 09.02.2025
The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training 09.02.2025
Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models 05.02.2025
NExtLong - Toward Effective Long-Context Training without Long Documents 30.01.2025
Over-Tokenized Transformer 30.01.2025
Optimizing Pretraining Data Mixtures with LLM-Estimated Utility 30.01.2025
HashAttention: Semantic Sparsity for Faster Inference 16.01.2025
From Tokens to Words 15.01.2025
DeepSeek V3 07.01.2025
Optimal Linear Decay Learning Rate Schedules and Further Refinements 05.01.2025

In this episode: • The Death of Cosine?: Introduction to the episode and the paper. Professor Norris expresses his skepticism about changing established habits like Cosine Annealing, while Linda teases a shake-up in the status quo. • Theory vs. Reality: A discussion on the massive gap between theoretical learning rates (like 1/t) and what practitioners actually use. Linda explains why the theory h...

Normalization Layer Per-Example Gradients are Sufficient to Predict Gradient Noise Scale in Transformers 20.12.2024
Efficient and Approximate Per-Example Gradient Norms for Gradient Noise Scale 20.12.2024
Phi-4 14.12.2024
Rephrasing natural text data with different languages and quality levels 13.12.2024
Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs 12.12.2024
EXAONE 3.5 11.12.2024
Model soups - averaging weights of multiple fine-tuned models improves accuracy without increasing inference time 09.12.2024
Model-Aware Data Selection for Efficient Pretraining with Data Influence Models 06.12.2024
Nemotron-CC 05.12.2024
Tülu 3 02.12.2024

Слухайте подкаст Mechanical Dreams у Replaio

Радіо та подкасти в одному застосунку - безкоштовно й без реєстрації. Встановіть уже сьогодні та не пропустіть запуск

Завантажити з Google Play

Replaio не є видавцем подкастів; назви шоу, обкладинки та аудіо належать їхнім авторам і поширюються через публічні RSS-канали