LlamaIndex: бенчмарк эмбеддингов и реранкеров для RAG — конкретные модели и метрики

Что произошло

LlamaIndex опубликовали бенчмарк 10+ эмбеддинг-моделей и 5 реранкеров на задачах извлечения для RAG. Лучшие комбинации дают до 15% прироста точности по сравнению с базовым OpenAI ada-002.

Детали

• Cohere embed-v3: Hit Rate@10 = 0.82, на 12% выше OpenAI ada-002
• Cohere rerank-v3: MRR@10 = 0.68, прирост +15% к базовому retrieval
• BGE-base-en-v1.5 + bge-reranker-v2-m3: Hit Rate@10 = 0.80 (open-source)
• Лучшая комбинация на SciFact: Hit Rate@10 = 0.89
• Реранкер даёт +10-15% MRR даже с дешёвыми эмбеддингами

Что это значит

Практический ориентир для выбора embedding + reranker связки в RAG-пайплайнах: open-source альтернативы достигают 95% качества коммерческих моделей.

BGE-base + BGE-reranker-v2-m3 — open-source связка, дающая 95% качества Cohere embed-v3 + rerank-v3, без API-зависимости и с контролем latency.