Việc lưu trữ từng cặp KV có ý nghĩa không? Đặc biệt khi mô hình thực sự chỉ truy vấn một phần nhỏ trong số đó.

Ý tưởng của KVzap rất đơn giản — học cách xác định những mục cache không cần thiết trong các truy vấn tiếp theo, rồi chủ động xóa chúng. Kết quả là có thể nén dung lượng cache xuống còn 1/2 đến 1/4 so với ban đầu, đồng thời gần như không ảnh hưởng đến hiệu suất.

Phương pháp cắt tỉa cache KV thông minh, động dựa vào phụ thuộc này, mang lại ý nghĩa thực tế trong việc nâng cao hiệu quả suy luận của mô hình và giảm chi phí lưu trữ. Đặc biệt trong các kịch bản triển khai quy mô lớn, không gian tối ưu hóa như vậy vẫn còn rất tiềm năng.