¿Y si entrenamos el primer modelo de lenguaje de Latinoamérica: LatamGPT?

Entrenar un modelo de lenguaje de 70 mil millones de parámetros en Latinoamérica no es solo un desafío algorítmico. Es una serie de decisiones técnicas que se toman con recursos de cómputo limitados y con datos que reflejan realidades distintas a las que dominan la mayoría de los modelos actuales.
En esta charla exploro qué implica entrenar el primer modelo de lenguaje de Latinoamérica lejos de Silicon Valley, y qué sesgos son necesarios mitigar cuando los datos, el contexto y las evaluaciones no coinciden con los estándares actuales. Analizaré cómo la elección de hiperparámetros y la distribución de los datos influyen en lo que un modelo aprende, y cómo evitar que este olvide capacidades ya adquiridas durante el proceso de aprendizaje.

Desde mi experiencia liderando el equipo de preentrenamiento, y con más de diez años como investigador en inteligencia artificial en el norte de California (IBM Research, Intel y Twitter/X) compartiré de forma casual y sin hype las lecciones aprendidas durante el entrenamiento de LatamGPT. Presentaré técnicas que no suelen aparecer en libros o reportes técnicos, pero que resultan clave en escenarios reales de entrenamiento a gran escala.

También discutiré qué estrategias creativas utilizamos cuando el cómputo es un recurso limitado, incluyendo el uso correcto de las leyes de escalamiento de las redes neuronales para tomar mejores decisiones de entrenamiento y entender qué compromisos técnicos realmente importan. La charla propone una mirada técnica y provocadora sobre cómo se entrenan los grandes modelos de lenguaje, y por qué hacerlo desde Latinoamérica representa una oportunidad para repensar cómo las siguientes generaciones construirán inteligencia artificial en la región.