Módulo 7 · Lenguaje y LLMs

Transformers por dentro

La arquitectura detrás de los LLMs, construida desde la autoatención hasta un modelo completo.

Qué vas a aprender

1. Por qué llegaron los Transformers · Teoría · ~45 min
2. Autoatención desde cero · Práctica · ~90 min
3. Varias cabezas de atención · Práctica · ~75 min
4. Cómo sabe el modelo el orden: posiciones, RoPE y ALiBi · Práctica · ~45 min
5. El Transformer completo · Práctica · ~75 min
6. BERT y el lenguaje enmascarado · Práctica · ~45 min
7. GPT y la predicción del siguiente token · Práctica · ~75 min
8. Codificador y decodificador: T5 y BART · Teoría · ~45 min
9. Mezcla de expertos (MoE) · Práctica · ~45 min
10. KV cache y Flash Attention · Práctica · ~75 min
11. Leyes de escala: más datos, más parámetros · Teoría · ~45 min
12. Proyecto: tu Transformer desde cero · Práctica · ~120 min