Невиджаний хаос: Як неузгоджені атрибути продуктів саботують електронну комерцію у великих масштабах

Коли роздрібні продавці говорять про масштабування, вони мають на увазі пошукові системи, реальний час інвентарю та оптимізацію процесу оформлення замовлення. Це видимі проблеми. Але під ними приховані більш упрямі: значення атрибутів, які просто не співпадають. У реальних каталогах товарів ці значення рідко є послідовними. Вони форматовані по-різному, семантично багатозначні або просто помилкові. І коли ви множите це на мільйони товарів, з маленької неприємності виходить системна катастрофа.

Проблема: дрібне окремо, масштабне — з великими амбіціями

Розглянемо конкретні приклади:

• Розмір: “XL”, “Small”, “12cm”, “Large”, “M”, “S” — все змішане
• Колір: “RAL 3020”, “Crimson”, “Red”, “Dark Red” — частково стандарти, частково розмовна мова
• Матеріал: “Steel”, “Carbon Steel”, “Stainless”, “Stainless Steel” — надлишкові та нечіткі

Кожен із цих прикладів здається безпечним сам по собі. Але як тільки ви працюєте з понад 3 мільйонами SKU, кожен з десятками атрибутів, виникає справжня проблема:

• Фільтри поводяться непередбачувано
• Пошукові системи втрачають релевантність
• Пошук клієнтів стає джерелом розчарування
• Команди застрягають у ручному очищенні даних

Це мовчазне страждання, яке ховається за майже кожним великим каталогом електронної комерції.

Підхід: штучний інтелект із керівними рамками, а не хаотичні алгоритми

Я не хотів чорну скриньку, яка загадково сортує речі і ніхто не розуміє, як. Замість цього я орієнтувався на гібридний конвеєр, який:

• залишається пояснюваним
• працює передбачувано
• справді масштабується
• контрольований людьми

Результат: штучний інтелект, який розумно мислить, але завжди залишається прозорим.

Архітектура: офлайн-завдання замість безумства в реальному часі

Вся обробка атрибутів виконується у фоновому режимі — не в реальному часі. Це не було тимчасовим рішенням, а стратегічним дизайнерським рішенням.

П pipelines у реальному часі звучать заманливо, але ведуть до:

• непередбачуваних затримок
• дорогих піків обчислень
• крихких залежностей
• операційного хаосу

Замість цього офлайн-завдання забезпечують:

• масовий пропуск (великі обсяги даних без навантаження на живу систему)
• терпимість до помилок (збої ніколи не торкнуться клієнтів)
• контроль витрат (обчислення у часи з низьким трафіком)
• цілісність (атомарні, передбачувані оновлення)

Розділення систем, орієнтованих на клієнта, і обробки даних є ключовим при такій кількості.

Процес: від сміття до чистих даних

Перш ніж штучний інтелект почне працювати з даними, виконується критичний крок очищення:

• обрізання пробілів
• видалення порожніх значень
• видалення дублікатів
• форматування контексту категорії у чисті рядки

Це гарантує, що модель працює з чистими вхідними даними. Принцип простий: сміття — сміття. Невеликі помилки у такій кількості згодом призводять до великих проблем.

Сервіс LLM: розумніший за просте сортування

Модель LLM не працює просто за алфавітом. Вона мислить у контексті.

Вона отримує:

• очищені значення атрибутів
• breadcrumb категорії
• метадані атрибутів

З цим контекстом модель розуміє:

• що “Напруга” у електроінструментах — числове значення
• що “Розмір” у одязі слідує відомій прогресії
• що “Колір” можливо відповідає стандартам RAL
• що “Матеріал” має семантичні зв’язки

Вона повертає:

• впорядковані значення
• уточнені назви атрибутів
• рішення: детерміноване або кероване штучним інтелектом сортування

Це дозволяє обробляти різні типи атрибутів без необхідності окремо кодувати кожну категорію.

Детерміновані резерви: не все потребує ШІ

Багато атрибутів працюють краще без штучного інтелекту:

• числові діапазони (5см, 12см, 20см сортуються самі)
• значення на основі одиниць вимірювання
• прості кількості

Це забезпечує:

• швидшу обробку
• передбачуване сортування
• нижчі витрати
• відсутність багатозначності

Pipeline автоматично розпізнає ці випадки і використовує детермінатори. Це зберігає систему ефективною і уникає зайвих викликів LLM.

Людина проти машини: двовекторний контроль

Роздрібні продавці потребували контролю над критичними атрибутами. Тому кожна категорія могла бути позначена як:

• LLM_SORT — модель визначає порядок
• MANUAL_SORT — продавець задає порядок

Ця система розподіляє роботу: штучний інтелект виконує більшу частину, люди приймають фінальні рішення. Це також створює довіру, оскільки команди можуть у будь-який момент відключити модель.

Інфраструктура: проста, централізована, масштабована

Усі результати зберігаються безпосередньо у базі даних MongoDB — єдиному операційному сховищі для:

• відсортованих значень атрибутів
• уточнених назв атрибутів
• тегів категорій
• специфічних порядків сортування товарів

Це полегшує перевірку змін, перезапис значень, повторну обробку категорій і синхронізацію з іншими системами.

Інтеграція пошуку: де видно якість

Після сортування значення потрапляють у два пошукові активи:

• Elasticsearch для ключових слів
• Vespa для семантичного та векторного пошуку

Це забезпечує:

• появу фільтрів у логічному порядку
• показ атрибутів на сторінках товарів
• більш точне ранжування пошукових систем
• легкість навігації клієнтів по категоріях

Тут, у пошуку, видно якість сортування атрибутів.

Результати: від хаосу до ясності

Вплив був помітним:

• послідовне сортування понад 3М SKU
• передбачувані числові послідовності
• повний контроль продавця через теги
• інтуїтивні фільтри і чисті сторінки
• покращена релевантність пошуку
• вищий коефіцієнт конверсії

Основні уроки

1. Гібридна стратегія перемагає чистий ШІ: керівні рамки — критичні при масштабуванні
2. Контекст — золото: він значно підвищує точність моделі
3. Офлайн-обробка — необхідність: для пропускної здатності і надійності
4. Контроль людини — довіра: механізми перезапису — не баг, а фіча
5. Чисті вхідні дані — основа: без компромісів у очищенні даних

Сортування значень атрибутів здається тривіальним, але стає справжнім викликом при мільйонах товарів. Завдяки поєднанню інтелекту LLM із чіткими правилами і контролем продавця створюється система, яка перетворює невидимий хаос у масштабовану ясність.