Всі розуміють болючі точки тренування великих моделей — дані часто починаються з 10 ТБ, і кожне оновлення вимагає повторного завантаження, що при такому обсязі дуже витратно за часом і зберіганням.

Walrus останнім часом зробив оптимізацію для цієї проблеми. Основним покращенням є функція інкрементального оновлення на рівні сегментів — завантажуйте лише змінені блоки даних, інше залишається без змін. Звучить просто, але ефект дійсно помітний. Є реальний випадок: ітерація тренувального набору даних обсягом 10 ТБ за допомогою цієї системи зменшила час з кількох годин до 15 хвилин. Що стосується витрат, зниження також значне — зберігання можна зекономити до 70%.

Для малих і середніх AI-компаній ця схема особливо корисна. Вона економить час і значно знижує операційні витрати, підвищуючи ефективність оновлення даних і зменшуючи навантаження на зберігання. Здається, це хороший вибір.