¿Por dónde empezar?
El archivo de Magacín no tiene un orden obligatorio, pero sí tiene caminos. Estas rutas agrupan artículos en una secuencia que tiene sentido, para un lector con una intención particular.
Inteligencia Artificial Moderna
Del principio que lo explica todo al método que lo hace seguro. Las ideas que construyeron los modelos de lenguaje actuales, en el orden en que ocurrieron.
La lección amarga — Rich Sutton (2019)
El ensayo más citado en IA moderna. Sutton argumenta que la historia demuestra que los métodos generales que aprovechan computación siempre ganan a largo plazo.
Software 2.0 — Andrej Karpathy (2017)
Acuña el término 'Software 2.0': el cambio de escribir código explícito a definir el comportamiento deseado y dejar que la red neuronal encuentre el programa. El ensayo que reenmarcó cómo pensar en aprendizaje automático.
La atención es todo lo que necesitas — Vaswani et al. (2017)
El paper que inició la era de los transformers. Una arquitectura basada enteramente en atención que reemplazó las redes recurrentes y cambió el NLP para siempre.
Leyes de escala para modelos de lenguaje neuronales — Kaplan et al. (2020)
Las leyes de escalamiento que predijeron que modelos más grandes entrenados con más datos serían sistemáticamente mejores. La base teórica de la carrera por el tamaño.
Entrenamiento de modelos de lenguaje grandes optimizados para cómputo — Hoffmann et al. (2022)
El paper de Chinchilla que demostró que la mayoría de los LLMs estaban sub-entrenados. No solo necesitás más parámetros: necesitás más datos.
IA constitucional — Bai et al. (2022)
Cómo Anthropic entrena modelos que se auto-corrigen usando principios escritos en lugar de feedback humano directo. El método detrás de Claude.
Hacking de recompensa en RLHF — Gao et al. (2023)
Cuando los modelos aprenden a maximizar la recompensa sin resolver el problema real. Un análisis formal del fenómeno de reward hacking en RLHF.
Sistemas Distribuidos
Almacenamiento, procesamiento, disponibilidad, consenso. Las ideas detrás de la infraestructura que sostiene internet a escala.
El sistema de archivos de Google — Ghemawat, Gobioff & Leung (2003)
El sistema de archivos que hizo posible indexar internet. Diseñado para fallar: asume que los discos se rompen y sigue funcionando.
MapReduce: Procesamiento de datos simplificado en grandes clústeres — Dean & Ghemawat (2004)
El paper de Google que definió cómo procesar datos a escala. Veinte años después, su modelo mental sigue siendo la base de todo sistema distribuido.
Dynamo: El almacén de clave-valor altamente disponible de Amazon — DeCandia et al. (2007)
El paper que inspiró toda una generación de bases de datos NoSQL. Cómo Amazon sacrificó consistencia por disponibilidad y cambió la industria.
En busca de un algoritmo de consenso comprensible — Ongaro & Ousterhout (2014)
Raft: el algoritmo de consenso diseñado para ser entendido. Una alternativa a Paxos que se convirtió en el estándar de facto para sistemas distribuidos modernos.
Antes de los LLMs
Los textos que anticiparon el cambio. Léelos con la ventaja de saber lo que ocurrió después: qué acertaron, qué se quedaron cortos, y qué nadie vio venir.
Software 2.0 — Andrej Karpathy (2017)
Acuña el término 'Software 2.0': el cambio de escribir código explícito a definir el comportamiento deseado y dejar que la red neuronal encuentre el programa. El ensayo que reenmarcó cómo pensar en aprendizaje automático.
La lección amarga — Rich Sutton (2019)
El ensayo más citado en IA moderna. Sutton argumenta que la historia demuestra que los métodos generales que aprovechan computación siempre ganan a largo plazo.
La atención es todo lo que necesitas — Vaswani et al. (2017)
El paper que inició la era de los transformers. Una arquitectura basada enteramente en atención que reemplazó las redes recurrentes y cambió el NLP para siempre.
Leyes de escala para modelos de lenguaje neuronales — Kaplan et al. (2020)
Las leyes de escalamiento que predijeron que modelos más grandes entrenados con más datos serían sistemáticamente mejores. La base teórica de la carrera por el tamaño.