Що сталося

Tether Data представила QVAC Fabric LLM, першу за все модель великої мови (LLM), що поєднує в собі загальну адаптацію LLM низького рангу (LoRA) для доопрацювання. Ця технологія підтримує сучасні AI моделі, що ефективно працюють на різних платформах, включаючи GPU, смартфони, ноутбуки та сервери. Ця система дозволяє обробку AI на пристроях, розроблену для оптимізації використання ресурсів та поліпшення швидкості висновків для додатків, що потребують можливостей LLM.

Контекст
Випуск QVAC Fabric LLM узгоджується з ширшою тенденцією в індустрії, яка підкреслює обчислення ШІ на краю—де дані обробляються локально на пристроях користувачів замість централізованих хмарних серверів—щоб покращити конфіденційність, зменшити затримки та заощадити пропускну здатність. Тонка налаштування LoRA є технікою, яка дозволяє моделям адаптуватися до нових завдань з меншими обчислювальними ресурсами, оновлюючи меншу частину параметрів, що робить це практичним для широкого спектру пристроїв. Tether Data, компанія