Todos entienden los puntos débiles de la iteración en el entrenamiento de modelos grandes: los datos suelen comenzar en 10TB o más, y cada actualización requiere volver a subir todo, lo que conlleva un gasto enorme en tiempo y almacenamiento.

Walrus ha optimizado recientemente este problema. La mejora principal es la función de actualización incremental a nivel de fragmentos: solo se suben los bloques de datos que han cambiado, mientras que los demás permanecen igual. Suena simple, pero los resultados son claramente visibles. Un caso práctico muestra que, para un conjunto de datos de entrenamiento de 10TB, la iteración con esta solución reduce el tiempo de varias horas a solo 15 minutos. En cuanto a costos, la reducción también es significativa, ahorrando hasta un 70% en gastos de almacenamiento.

Para las empresas de IA pequeñas y medianas, esta solución es especialmente útil. Ahorra tiempo y reduce significativamente los costos operativos, mejorando la eficiencia en la iteración de datos y aliviando la carga de almacenamiento. Parece una opción muy interesante.