Módulo 8 · Lenguaje y LLMs

Tu propio GPT desde cero

De los tokenizadores al preentrenamiento, con un taller para montar un GPT pieza a pieza.

Qué vas a aprender

1. Tokenización por subpalabras · Teoría · ~60 min
2. Tokenizadores de los LLMs · Práctica · ~90 min
3. Programa tu propio tokenizador · Práctica · ~90 min
4. Datos para preentrenar un LLM · Práctica · ~90 min
5. Preentrena un GPT pequeño · Práctica · ~120 min
6. Taller GPT 1 · Tokenizador BPE · Práctica · ~90 min
7. Taller GPT 2 · Dataset con ventana deslizante · Práctica · ~90 min
8. Taller GPT 3 · Embeddings de token y posición · Práctica · ~90 min
9. Taller GPT 4 · Autoatención multicabeza · Práctica · ~90 min
10. Taller GPT 5 · El bloque Transformer · Práctica · ~90 min
11. Taller GPT 6 · Montar el modelo completo · Práctica · ~90 min
12. Taller GPT 7 · Entrenar y evaluar · Práctica · ~90 min
13. Taller GPT 8 · Cargar pesos preentrenados · Práctica · ~90 min
14. Taller GPT 9 · Convertirlo en clasificador · Práctica · ~90 min