Все новости
🆕 Новые модели 1 мин чтения

LongLLMLingua сокращает промпты на 40 % и экономит до 30 % расходов RAG

Что произошло

LongLLMLingua — новый алгоритм сжатия запросов для RAG‑систем, который уменьшает объём токенов на 40 % без заметного падения качества и снижает стоимость инференса до 30 %.

Детали

  • Уменьшение токенов в запросе ≈ 40 %
  • Экономия инференс‑стоимости до 30 %
  • Latency‑reduction ≈ 15 % при RTX 4090
  • Точность R‑Recall меняется с 0.93 до 0.92

Что это значит

Для инженеров RAG‑систем это способ снизить эксплуатационные расходы и ускорить отклик без переобучения основной модели.

Внедрите LongLLMLingua как предобработку запросов: 40 % меньше токенов, 30 % экономии расходов и 15 % ускорения без потери качества.