Omar Florez

Entrenar un modelo de lenguaje de 70 mil millones de parámetros en Latinoamérica no es solo un desafío algorítmico. Es una serie de decisiones técnicas que se toman con recursos de cómputo limitados y… See more

Entrenar un modelo de lenguaje de 70 mil millones de parámetros en Latinoamérica no es solo un desafío algorítmico. Es una serie de decisiones técnicas que se toman con recursos de cómputo limitados y con datos que reflejan realidades distintas a las que dominan la mayoría de los modelos actuales. En esta charla exploro qué implica entrenar el primer modelo de lenguaje de Latinoamérica lejos de Silicon Valley, y qué sesgos son necesarios mitigar cuando los datos, el contexto y las evaluaciones no coinciden con los estándares actuales. Analizaré cómo la elección de hiperparámetros y la distribución de los datos influyen en lo que un modelo aprende, y cómo evitar que este olvide capacidades ya adquiridas durante el proceso de aprendizaje. Desde mi experiencia liderando el equipo de preentrenamiento, y con más de diez años como investigador en inteligencia artificial en el norte de California (IBM Research, Intel y Twitter/X) compartiré de forma casual y sin hype las lecciones aprendidas durante el entrenamiento de LatamGPT. Presentaré técnicas que no suelen aparecer en libros o reportes técnicos, pero que resultan clave en escenarios reales de entrenamiento a gran escala. También discutiré qué estrategias creativas utilizamos cuando el cómputo es un recurso limitado, incluyendo el uso correcto de las leyes de escalamiento de las redes neuronales para tomar mejores decisiones de entrenamiento y entender qué compromisos técnicos realmente importan. La charla propone una mirada técnica y provocadora sobre cómo se entrenan los grandes modelos de lenguaje, y por qué hacerlo desde Latinoamérica representa una oportunidad para repensar cómo las siguientes generaciones construirán inteligencia artificial en la región. Sobre Omar Florez: Dr. Omar Florez is an AI researcher committed to democratizing artificial intelligence across Latin America and the United States. He is the technical lead of LatamGPT, the first foundational large language model trained in the region, designed to reflect the linguistic, cultural, and social diversity of Spanish- and Portuguese-speaking communities. Omar spent a decade in Silicon Valley as a research scientist at Twitter Cortex, Intel Labs, and Capital One, where he helped build Twitter’s first multilingual language model and contributed to the development of Stephen Hawking’s communication system at Intel. He holds a Ph.D. in Machine Learning and is a founding member of LatinX in AI, an organization that promotes the visibility of Hispanic researchers in leading AI conferences. He also played a key role in shaping Peru’s National AI Strategy, appointed by the Office of the Prime Minister. He currently leads sovereign AI initiatives at CENIA (National Center for Artificial Intelligence of Chile), where his work focuses on pretraining large-scale models using regional data and advancing ethical, inclusive, and globally alternatives to existing LLMs. Show less