Módulo 27 · Más allá del texto

IA multimodal

Modelos que combinan texto, imagen, audio y vídeo, con un taller para construir tu propio modelo visión-lenguaje.

Qué vas a aprender

1. La imagen troceada en tokens · Teoría · ~120 min
2. CLIP y el aprendizaje contrastivo · Práctica · ~180 min
3. BLIP-2 y el Q-Former · Práctica · ~180 min
4. Flamingo y la atención cruzada · Teoría · ~120 min
5. LLaVA: enseñar a un LLM a ver · Práctica · ~180 min
6. Imágenes a cualquier resolución · Práctica · ~120 min
7. Recetas de los VLM abiertos · Teoría y práctica · ~180 min
8. Una imagen, muchas imágenes y vídeo · Práctica · ~180 min
9. La familia Qwen-VL · Teoría · ~120 min
10. InternVL3 · Teoría · ~120 min
11. Fusión temprana: Chameleon · Práctica · ~180 min
12. Emu3: generar con el siguiente token · Teoría · ~120 min
13. Transfusion: texto y difusión en un solo modelo · Práctica · ~180 min
14. Show-o y la difusión discreta · Teoría · ~120 min
15. Janus-Pro · Práctica · ~120 min
16. Modelos any-to-any en streaming · Teoría · ~120 min
17. Vídeo y lenguaje: situar en el tiempo · Práctica · ~180 min
18. Vídeos largos con un millón de tokens · Práctica · ~180 min
19. Audio y lenguaje: de Whisper a Audio Flamingo 3 · Práctica · ~180 min
20. Modelos omni: pensar y hablar · Práctica · ~180 min
21. Robots que ven y actúan (VLA) · Teoría · ~180 min
22. Entender documentos y diagramas · Práctica · ~180 min
23. RAG sobre documentos visuales: ColPali · Práctica · ~180 min
24. RAG multimodal · Práctica · ~180 min
25. Taller VLM 1 · Trocear la imagen en patches · Práctica · ~90 min
26. Taller VLM 2 · El codificador ViT · Práctica · ~90 min
27. Taller VLM 3 · Proyectar y alinear modalidades · Práctica · ~90 min
28. Taller VLM 4 · Fusión por atención cruzada · Práctica · ~90 min
29. Taller VLM 5 · Preentrenamiento visión-lenguaje · Práctica · ~90 min
30. Taller VLM 6 · Evaluación multimodal · Práctica · ~90 min
31. Proyecto: agentes multimodales que usan el ordenador · Proyecto · ~240 min