Промпты

Что уходит в языковые модели и попадает ли в кэш провайдера. Кэшируется неизменный префикс: всё постоянное — в системной части, всё своё у каждой строки — в пользовательской.

Промпт Модуль Кэширование
Т4: выбор кандидата из справочника
t4.select
engine/t5.py · LLMSelectionTechnique соответствует
Т4 чанки: выбор лучшего из кандидатов разных частей
t4.chunked.final
engine/t5_chunked.py · ChunkedLLMTechnique соответствует
Обогащение: извлечение свойства языковой моделью
enrich.llm
enrich/extractors.py · LLMExtractor не кэшируется