14/11 17:05HS @ Escenario Rojo TRACK INFRASTRUCTURE
Migrando 300 millones de ficheros a AWS S3 para reducir los costes de almacenamiento en un 90%
Speakers: Nicolas Abihaggle & Miguel Alorda
En esta charla contaremos cómo lideramos la migración de casi 300 millones de archivos hacia AWS S3, lo que nos permitió reducir un 90% los costes de almacenamiento. Esta migración fue crítica debido a la relevancia de dichos archivos para el contexto de negocio. Por privacidad y protección de datos, no revelaremos datos de la empresa ni el contexto concreto del negocio. Partíamos de una arquitectura basada en un sistema de archivos NFS exportado desde una instancia EC2 y soportado por volúmenes EBS. La solución resultaba costosa e ineficiente para las opciones existentes actualmente. Para la migración, decidimos evitar una reescritura de código de los clientes/servicios que usan el sistema de ficheros, y mantuvimos la interfaz NFS usando AWS Storage Gateway. La migración se dividió en dos fases: una migración masiva con AWS DataSync a S3 y una migración de grano fino customizada. Adicionalmente, implementamos un sistema de mitigación de riesgos basado en S3 Event Notifications y AWS SQS para poder hacer un rollback si era necesario. En total, la migración de los datos duró una semana y la puesta en producción de la nueva solución duró menos de una hora. A pesar de tener una alternativa para evitar el downtime, con unionfs-fuse, debido al contexto del negocio, pudimos asumir una parada de mantenimiento de 45 minutos. Tras un mes en producción desactivamos la solución anterior, consiguiendo un ahorro mensual del 90% en costes de almacenamiento.
