Variabilis

Este episodio es diferente a todos los anteriores. No es un paper sobre arquitectura, algoritmos o experimentos empíricos. Es una  tesis doctoral filosófica y matemática  que hace una pregunta que suena simple pero es profundamente difícil: ¿qué es exactamente la inteligencia? El paper la responde con rigor matemático, llegando a una definición formal, para luego examinar qué implicaría una inteli...

Este episodio conecta muchos hilos vistos a lo largo de la serie. El principio MDL ya apareció en el episodio 5 (Hinton & Zemel), en el 19 (Coffee Automaton) y en el 22 (Scaling Laws). Hoy lo vemos de frente, en su forma completa. El  Minimum Description Length (MDL)  es una respuesta matemáticamente precisa a la pregunta filosófica más antigua del aprendizaje: ¿cuándo podemos decir que "...

Hoy tocamos uno de los papers más influyentes de los últimos años, no porque introduzca una arquitectura nueva, sino porque responde una pregunta fundamental:  ¿cómo mejoran los modelos de lenguaje si les das más recursos? La respuesta: de forma sorprendentemente predecible. Y conocer esa predicción cambió la forma en que los labs de AI decidían qué entrenar. En el camino hacia GPT-3, GPT-4, Claud...

El paper de este episodio marcó un hito histórico: el primer sistema de reconocimiento de voz que superó a humanos en pruebas de transcripción. Y el primer autor es Dario Amodei, quien después fundaría Anthropic. Deep Speech 2 es también un masterclass en cómo escalar sistemas de ML: datos masivos, infraestructura HPC, y una arquitectura simplificada que funciona mejor que sistemas llenos de compo...

 Hoy toca uno de los papers más conceptualmente ambiciosos de toda la lista: las  Neural Turing Machines  (NTMs) de Alex Graves y DeepMind. La pregunta que este paper intenta responder es audaz: ¿puede una red neuronal aprender algoritmos; no solo reconocer patrones, sino aprender  procedimientos  que generalicen a entradas que nunca vio? La respuesta es sí, y la clave es darle a la red algo que l...

Este episodio es el segundo paper de carácter más filosófico en la lista de Sutskever, el primero fue "The First Law of Complexodynamics" en el episodio 1. De hecho, este paper es una versión matemática y empírica de esa misma pregunta. La pregunta: ¿por qué la complejidad del universo, y de los sistemas físicos en general,  sube  primero y luego  baja ? ¿Por qué hay una época de galaxia...

Este episodio planteamos la siguiente pregunta: ¿qué pasa si no solo necesitamos razonar sobre relaciones en un instante, sino que necesitamos  recordar  relaciones a lo largo del tiempo? Las LSTMs son excelentes para recordar. Los Relation Networks son excelentes para razonar. ¿Qué pasa si combines ambos? Ese es el Relational Memory Core (RMC).

Hoy entramos al mundo de los  modelos generativos : sistemas que no solo clasifican datos, sino que aprenden a  generar  datos nuevos como imágenes, texto, audio. "Variational Lossy Autoencoder"Por Chen, Kingma, Salimans, Duan, Dhariwal, Schulman, Sutskever y Abbeel (2016) Este paper es denso conceptualmente, pero contiene una idea elegante y muy práctica: ¿cómo fuerzas a una red neurona...

Este episodio es el "sequel" del episodio 10 sobre ResNet. Si en el episodio 10 aprendimos que los skip connections permiten entrenar redes muy profundas, hoy vamos a profundizar en una pregunta aparentemente pequeña que resulta tener implicaciones grandes: ¿ dónde exactamente  ponemos el Batch Normalization y el ReLU dentro del bloque residual? La respuesta a esa pregunta permitió entre...

Hoy tocamos uno de los papers más importantes de toda la lista. No el más famoso (ese es "Attention is All You Need"), pero sí el que lo hizo posible. En 2014, Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio publicaron un trabajo que parecía una mejora técnica en traducción automática, pero que en realidad contenía una idea que cambiaría todo: el  mecanismo de atención . Si "Attenti...

Hoy entramos a un episodio que puede sonar intimidante: química cuántica. Pero no te preocupes; el verdadero tema es mucho más general y fascinante: ¿cómo hacemos que una red neuronal aprenda sobre  grafos ? Este paper de 2017 introdujo el framework MPNN (Message Passing Neural Network), que unificó varias arquitecturas de Graph Neural Networks bajo un solo lenguaje. Y aunque el caso de uso es pre...

Hoy vamos a resolver un problema que suena técnico pero que en el fondo tiene una elegancia visual muy bonita: ¿cómo hace una red neuronal para entender tanto el detalle fino  como  el contexto amplio de una imagen, al mismo tiempo y sin perder resolución? Este paper de 2015 introdujo las  dilated convolutions  (convoluciones dilatadas), una idea aparentemente simple que se convirtió en ingredient...

En el episodio 11 cubrimos "Attention is All You Need" — el paper que introdujo los Transformers y que está detrás de GPT, BERT, Claude y prácticamente todo el AI moderno. Era denso, matemático, lleno de ecuaciones. Mucha gente lo leyó, asintió solemnemente... y no lo entendió del todo. En 2018, Sasha Rush de Harvard NLP publicó The Annotated Transformer: una reimplementación línea por l...

Hoy vamos a hablar del paper más influyente de los últimos años en AI: "Attention is All You Need". Este paper de 2017 introdujo el Transformer, la arquitectura detrás de GPT, BERT, ChatGPT, y prácticamente todo modelo de lenguaje moderno . Es, sin exagerar, uno de los papers más importantes en la historia del machine learning.

Hoy vamos a hablar de ResNet, un paper que resolvió uno de los misterios más frustrantes del deep learning: ¿Por qué las redes más profundas a veces funcionan PEOR que las menos profundas? La solución fue tan elegante y efectiva que cambió la forma en que construimos redes neuronales para siempre.

Hoy vamos con GPipe, un paper que resolvió uno de los problemas más prácticos del deep learning: ¿Cómo entrenas modelos que son demasiado grandes para caber en una sola GPU? La respuesta: Pipeline parallelism con micro-batches. Suena técnico, pero es una idea elegante que permitió entrenar modelos de 6 mil millones de parámetros.

Hoy vamos a hablar de un paper que aborda una pregunta aparentemente simple pero profunda: ¿Importa el orden en que le das datos a una red neuronal? La respuesta sorprendente es: ¡SÍ, mucho! Y este paper de Oriol Vinyals, Samy Bengio y Manjunath Kudlur muestra cómo manejar eso cuando tus datos son naturalmente desordenados (como sets).

En este episodio vamos a hablar de un paper que literalmente cambió el mundo del machine learning. AlexNet, publicado en 2012, marcó el inicio de la revolución del deep learning. Antes de este paper, las redes neuronales profundas eran consideradas difíciles de entrenar y poco prácticas. Después de AlexNet, todo cambió.

Hoy vamos a hablar sobre Pointer Networks, un paper que resolvió un problema fundamental que las arquitecturas seq2seq tradicionales no podían manejar. Este paper es del mismo Oriol Vinyals que vimos en episodios anteriores, y muestra una idea brillantemente simple pero poderosa.

Hoy vamos con un paper fundamental de 1993 escrito por Geoffrey Hinton (sí, ¡el padrino del deep learning!). Este paper conecta teoría de información, estadística bayesiana y redes neuronales de una forma elegante. Aunque es de 1993, sus ideas siguen siendo super relevantes hoy.

Hoy traemos un paper que resolvió uno de los problemas más frustrantes al trabajar con RNNs y LSTMs: ¿cómo evitar el overfitting? La técnica de regularización más exitosa para redes feedforward (dropout) simplemente NO funcionaba en RNNs. Este paper de 2014 por Wojciech Zaremba, Ilya Sutskever y Oriol Vinyals mostró por qué, y cómo arreglarlo.

Hoy vamos a profundizar en QUÉ son exactamente las LSTMs y POR QUÉ funcionan tan bien. Basado en un post de Christopher Olah publicado en el 2015. Siendo este post es uno de los más citados en la historia del deep learning, por sus explicaciones claras y sus increíbles diagramas.

Segundo episodio, segundo post de los 30 sugeridos por Ilya Sutskever. Exploramos el articulo de  Andrej Karpathy , sobre Redes Neuronales Recurrentes o  Recurrent Neural Networks (RNNs), titulado The Unreasonable Effectiveness of Recurrent Neural Networks . Este post, publicado en 2015, demostró de forma espectacular lo que las RNNs podían hacer, y cambió la forma en que muchos pensamos sobre el...

Primer episodio, primer paper o post de los 30 sugeridos por Ilya Sutskever. Exploramos el concepto de ' complextropía ' de Scott Aaronson - por qué los sistemas (y los modelos de ML) evolucionan desde el caos, alcanzan un peak de complejidad, y luego se simplifican. De la leche en el café a las redes neuronales.