LlamaIndex: fine-tuning линейного адаптера для эмбеддинг-моделей

Простым языком

Эмбеддинг-модели (которые превращают текст в векторы) можно «настроить» под вашу задачу, не меняя саму модель. Для этого обучается крошечный линейный слой поверх векторов — он поворачивает пространство так, чтобы ваши документы и запросы оказались ближе друг к другу. Это быстро, дёшево и работает даже с API-моделями.

Что нового

• Заморозка базовой эмбеддинг-модели — обучается только линейный слой (матрица трансформации)
• Использование triplet/contrastive loss на парах (query, positive_doc, negative_doc)
• Адаптер весит ~2 МБ и может применяться поверх любого чекпоинта, включая proprietary API
• Пайплайн: загрузка датасета → генерация эмбеддингов → обучение адаптера → интеграция в retriever

Вердикт

Применять, если есть размеченные пары (query, doc) и baseline recall@K < 0.7. Не применять, если базовая модель плохо понимает доменную терминологию — адаптер не исправит фундаментальные проблемы эмбеддингов.

Линейный адаптер поверх эмбеддинг-модели — это ~2 МБ слой, который за 10 минут обучения улучшает recall@10 на ~20% на доменном датасете, не требуя доступа к весам базовой модели.