Parallelisation des appels MAP (import campagne + analyse approfondie)
Les morceaux/lots sont traites par vagues de llm_map_concurrency appels simultanes (defaut 3, .env). L ordre narratif est preserve (fusion vague par vague dans l ordre du livre), la resilience par morceau et les heartbeats SSE sont conserves. Divise le temps d import d un gros livre par ~3 sur un provider cloud ; sans effet sur Ollama local (qui sequence cote serveur). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -90,6 +90,12 @@ class Settings(BaseSettings):
|
||||
# les hors-sujet 0.2-0.4. Montable à ~0.4 si trop de bruit, 0 = désactivé.
|
||||
rag_min_score: float = 0.30
|
||||
|
||||
# Nombre d'appels LLM MAP menes EN PARALLELE (import de campagne, analyse
|
||||
# approfondie). 3 = bon defaut cloud (divise le temps d'un gros livre par ~3).
|
||||
# Ollama local sequence les requetes de toute facon (pas de gain, pas de mal).
|
||||
# Baisser a 1 si un provider gratuit rate-limite agressivement.
|
||||
llm_map_concurrency: int = 3
|
||||
|
||||
# Taille cible d'un morceau (en tokens) pour l'import de PDF (regles/campagne).
|
||||
# Plus c'est gros, moins il y a de morceaux => moins de fragmentation et un
|
||||
# import plus rapide, MAIS il faut que ca tienne dans la fenetre du modele.
|
||||
|
||||
Reference in New Issue
Block a user