DATA SCIENCE / AI
RAG Pollution: El enemigo silencioso de los agentes LLM, arquitecturas heterogéneas
El uso de agentes LLM autónomos en Ingeniería de Software enfrenta hoy dos problemas críticos y acoplados. El primero es el dilema costo-calidad: los modelos de frontera son precisos pero económicamente insostenibles a escala, mientras que los modelos económicos generan alta deuda técnica. El segundo es la degradación progresiva del contexto en agentes de larga duración, un fenómeno que hemos formalizado como "RAG Pollution".
A medida que un agente itera sobre un ticket complejo, su base de conocimiento local se contamina con anti-patrones, soluciones incorrectas y embeddings sesgados hacia intentos fallidos, degradando fuertemente la calidad de sus respuestas.
En esta charla exploraremos:
La anatomía del RAG Pollution: Cómo identificarlo y medirlo utilizando métricas cuantitativas como Retrieval Entropy, Anti-Pattern Recurrence Score y el Semantic Drift Index.
El framework HMAF (Heterogeneous Multi-Agent Framework): Una arquitectura superadora diseñada para gestionar equipos heterogéneos de agentes bajo GitOps.
Mecanismos de defensa: Cómo implementar "Blast Radius Routing" (asignar tareas por riesgo a modelos económicos o premium), memoria de doble nivel y el concepto de Negative Knowledge Transfer (NKT): un mecanismo para inducir anti-patrones a agentes de reemplazo para que aprendan de los errores de sus predecesores.
Al finalizar, la audiencia se llevará un marco teórico y arquitectónico accionable para dejar de tratar a los agentes LLM como cajas negras mágicas
A medida que un agente itera sobre un ticket complejo, su base de conocimiento local se contamina con anti-patrones, soluciones incorrectas y embeddings sesgados hacia intentos fallidos, degradando fuertemente la calidad de sus respuestas.
En esta charla exploraremos:
La anatomía del RAG Pollution: Cómo identificarlo y medirlo utilizando métricas cuantitativas como Retrieval Entropy, Anti-Pattern Recurrence Score y el Semantic Drift Index.
El framework HMAF (Heterogeneous Multi-Agent Framework): Una arquitectura superadora diseñada para gestionar equipos heterogéneos de agentes bajo GitOps.
Mecanismos de defensa: Cómo implementar "Blast Radius Routing" (asignar tareas por riesgo a modelos económicos o premium), memoria de doble nivel y el concepto de Negative Knowledge Transfer (NKT): un mecanismo para inducir anti-patrones a agentes de reemplazo para que aprendan de los errores de sus predecesores.
Al finalizar, la audiencia se llevará un marco teórico y arquitectónico accionable para dejar de tratar a los agentes LLM como cajas negras mágicas
Si querés ver la charla de Gustavo Hernan Siciliano, registrate gratuitamente
Registrate gratis