LlamaIndex: оптимальный размер чанка для RAG — 512 токенов

Простым языком

Разбиение документов на кусочки (чанки) перед тем, как их «запомнит» система — критически важный шаг. Слишком маленькие кусочки могут потерять смысл, слишком большие — затруднят поиск нужного фрагмента. Авторы LlamaIndex провели замеры и нашли «золотую середину».

Что нового

• Проведена систематическая оценка влияния chunk size на метрики retrieval accuracy и answer quality.
• Экспериментально подтверждён trade-off: маленькие чанки улучшают поиск, но вредят генерации, и наоборот.
• Найдено эмпирическое оптимальное значение в 512 токенов для использованного набора данных и архитектуры.
• Продемонстрирован метод: быстрая валидация chunk size как первого шага оптимизации RAG-пайплайна.

Вердикт

Обязательно применять: перед запуском RAG-системы в продакшн необходимо провести валидацию размера чанка на своих данных. Используйте 512 токенов как стартовую точку для перебора в диапазоне 256–1024. Это один из самых дешёвых и эффективных способов улучшить качество системы.

Оптимальный размер чанка для RAG — не универсальная константа, а гиперпараметр, который необходимо подбирать валидацией на своих данных; исследование LlamaIndex показывает, что 512 токенов — хорошая стартовая точка для поиска компромисса между точностью retrieval и полнотой контекста для генерации.