← Volver a NERDflix

WebGPU-Accelerated AI: LLMs in Your Browser

Protagonista: Juan Oliú
Año: 2024
País: Argentina
Género: Aventura
Track: Data Science / Ai
Idioma: Español

En esta presentación, descubrirás cómo ejecutar modelos de lenguaje (LLMs) directamente en el navegador. Analizaremos cómo el uso de WebGPU puede permitir ejecutar aplicaciones de inteligencia artificial en tiempo real desde el navegador. Durante la sesión, profundizaremos en la configuración técnica y la ejecución de LLMs dentro del navegador, mostrando cómo instalar, crear y gestionar instancias del MLCEngine, y cómo interactuar con estos modelos para generar respuestas de manera dinámica, tanto en formatos estáticos como en tiempo real. Hablaremos de los beneficios clave de ejecutar LLMs directamente en el navegador, como mejoras en la privacidad y transparencia, así como de los desafíos, incluyendo las demandas de recursos. A través de demostraciones en vivo, verás aplicaciones prácticas en acción, junto con comparativas de rendimiento entre soluciones que corren en el navegador y aquellas que dependen del servidor. También proporcionaremos una visión crítica de las fortalezas y limitaciones de los LLMs basados en navegador. Además, discutiremos el futuro de Web LLM, explorando integraciones con tecnologías emergentes como WebAssembly, y cómo los desarrolladores pueden contribuir al avance de este emocionante campo. Ya seas desarrollador, investigador, o simplemente un entusiasta de la IA, te llevarás conocimientos prácticos para implementar potentes LLMs en tus propios proyectos web

data-science-ai llm ai reactjs nextjs web frontend javascript

WebGPU-Accelerated AI: LLMs in Your Browser

Sobre Juan Oliú

Juan Oliú

Xmartlabs, Software architect

Como arquitecto de software, disfruto diseñando soluciones escalables y escribiendo código eficiente para productos de alta calidad. He liderado el desarrollo de plataformas backend, web y mobile, siempre con un enfoque en la escalabilidad y el rendimiento. Además de mi trabajo técnico, participo activamente en meetups locales, donde promuevo el aprendizaje colaborativo. Creo firmemente que el código trasciende la tecnología y nos une como comunidad para alcanzar metas compartidas.

𝕏 Twitter LinkedIn