Невидимый хаос: как несогласованные атрибуты продукта саботируют электронную коммерцию в большом масштабе

Когда розничные торговцы говорят о масштабировании, они имеют в виду поисковые системы, инвентарь в реальном времени и оптимизацию оформления заказа. Это видимые проблемы. Но под ними скрывается более упрямое: атрибутные значения, которые просто не совпадают. В реальных каталогах товаров эти значения редко последовательны. Они форматированы по-разному, семантически неоднозначны или просто ошибочны. И когда вы умножаете это на миллионы товаров, из небольшой досады получается системная катастрофа.

Проблема: мелкое в отдельности, масштабное в масштабах

Рассмотрим конкретные примеры:

• Размер: “XL”, “Small”, “12cm”, “Large”, “M”, “S” — всё перемешано
• Цвет: “RAL 3020”, “Crimson”, “Red”, “Dark Red” — частично стандарты, частично разговорная речь
• Материал: “Steel”, “Carbon Steel”, “Stainless”, “Stainless Steel” — избыточно и неясно

Каждый из этих примеров кажется безобидным сам по себе. Но как только вы работаете с более чем 3 миллионами SKU, каждый с десятками атрибутов, возникает настоящая проблема:

• Фильтры ведут себя непредсказуемо
• Поисковые системы теряют релевантность
• Поиск клиентами превращается в разочарование
• Команды застревают в ручной очистке данных

Это немое страдание, которое скрывается за почти каждым крупным каталогом электронной коммерции.

Подход: ИИ с направляющими, а не хаотичные алгоритмы

Я не хотел черный ящик, который загадочно сортирует вещи и никто не понимает. Вместо этого я ориентировался на гибридную пайплайн:

• объяснимую
• предсказуемо работающую
• действительно масштабируемую
• управляемую людьми

Результат: ИИ, который думает умно, но всегда прозрачен.

Архитектура: офлайн-задания вместо безумия в реальном времени

Вся обработка атрибутов происходит фоном — не в реальном времени. Это не было вынужденной мерой, а стратегическим решением дизайна.

Реалтайм-пайплайны звучат заманчиво, но приводят к:

• непредсказуемым задержкам
• дорогим пиковым нагрузкам
• хрупким зависимостям
• операционному хаосу

Вместо этого офлайн-задания обеспечивают:

• массовую пропускную способность (огромные объемы данных без нагрузки на живую систему)
• отказоустойчивость (отказы никогда не затрагивают клиентов)
• контроль затрат (вычисления в периоды низкого трафика)
• согласованность (атомарные, предсказуемые обновления)

Разделение клиентских систем и обработки данных критично при таком объеме.

Процесс: от мусора к чистым данным

Прежде чем ИИ возьмется за данные, важен этап очистки:

• обрезка пробелов
• удаление пустых значений
• удаление дубликатов
• форматирование контекста категории как чистых строк

Это гарантирует, что LLM работает с чистыми входными данными. Принцип прост: мусор — мусор. Маленькие ошибки в этом объеме позже приводят к большим проблемам.

Сервис LLM: умнее, чем просто сортировка

Работа LLM не сводится к простому алфавитному порядку. Он думает в контексте.

Он получает:

• очищенные атрибутные значения
• хлебные крошки категории
• метаданные атрибутов

С этим контекстом модель понимает:

• что “напряжение” у электроинструментов — числовое значение
• что “Размер” у одежды следует известной прогрессии
• что “Цвет” может соответствовать стандартам RAL
• что “Материал” имеет семантические связи

Она возвращает:

• упорядоченные значения
• уточненные имена атрибутов
• решение: детерминированная или ИИ-упорядочивание

Это позволяет обрабатывать разные типы атрибутов без отдельной кодировки для каждой категории.

Детерминированные резервные механизмы: не всё требует ИИ

Многие атрибуты работают лучше без искусственного интеллекта:

• числовые диапазоны (5cm, 12cm, 20cm сортируются сами)
• значения на основе единиц измерения
• простые множества

Эти случаи получают:

• более быструю обработку
• предсказуемую сортировку
• меньшие затраты
• отсутствие неоднозначности

Пайплайн автоматически распознает такие случаи и использует детерминированную логику. Это делает систему эффективной и избегает лишних вызовов LLM.

Человек против машины: двойной контроль

Розничные торговцы нуждаются в контроле за критическими атрибутами. Поэтому каждую категорию можно пометить как:

• LLM_SORT — модель решает
• MANUAL_SORT — продавец задает порядок

Эта система распределяет работу: ИИ делает основное, человек принимает финальные решения. Это также создает доверие, так как команды могут при необходимости отключить модель.

Инфраструктура: простая, централизованная, масштабируемая

Все результаты сохраняются прямо в MongoDB — едином операционном хранилище для:

• отсортированных атрибутных значений
• уточненных имен атрибутов
• тегов категорий
• пользовательских порядков сортировки товаров

Это облегчает проверку изменений, перезапись значений, переработку категорий и синхронизацию с другими системами.

Интеграция поиска: где видна качество

После сортировки значения попадают в два поисковых компонента:

• Elasticsearch для ключевых слов
• Vespa для семантического и векторного поиска

Это обеспечивает:

• отображение фильтров в логическом порядке
• отображение согласованных атрибутов на страницах товаров
• более точное ранжирование поисковых систем
• более легкую навигацию клиентов по категориям

Здесь, в поиске, становится очевидна хорошая сортировка атрибутов.

Результаты: от хаоса к ясности

Эффект был заметен:

• согласованная сортировка для более чем 3М SKU
• предсказуемые числовые последовательности
• полное управление продавцов через теги
• более удобные фильтры и чистые страницы
• улучшенная релевантность поиска
• повышение конверсии клиентов

Основные уроки

1. Гибрид лучше чистого ИИ: направляющие важны при масштабировании
2. Контекст — золото: он значительно повышает точность модели
3. Офлайн-обработка выигрывает: необходима для пропускной способности и надежности
4. Человеческий контроль создает доверие: механизмы переопределения — не баг, а фича
5. Чистые входные данные — основа: никаких сокращений при очистке данных

Сортировка атрибутных значений кажется тривиальной, но становится настоящим вызовом при миллионах товаров. Комбинация интеллекта LLM, четких правил и контроля продавцов превращает хаос в масштабируемую ясность.