Ajout de 2 fonctionnalitées principales : import PDF que ce soit pour les règles ou les campagnes directement.

Fonctionnalité de comparaison PDF / campagne pour faire un mix et demander des conseils à l'IA

brain/app/application/adapt_campaign.py

@@ -0,0 +1,125 @@
+"""Use case : conseils d'adaptation d'un PDF à une campagne EXISTANTE.
+
+L'IA connaît la campagne de l'utilisateur (un « brief » : structure arcs/chapitres/
+scènes + PNJ + univers/lore), lit le contenu du PDF, et rédige des recommandations
+d'INTÉGRATION/ADAPTATION (où insérer, reskins de PNJ, transposition à l'univers,
+doublons à réconcilier…). Sortie en markdown, streamée token par token.
+
+Contrairement à l'IMPORT (qui produit une arborescence à créer), ici on produit
+du CONSEIL libre : rien n'est créé, l'utilisateur applique à la main.
+"""
+from __future__ import annotations
+
+import logging
+from typing import AsyncIterator
+
+from app.domain.models import ChatMessage
+from app.domain.ports import LLMChatProvider, PdfExtractionError, PdfTextExtractor
+
+logger = logging.getLogger(__name__)
+
+# Plus créatif que l'import (tâche de structuration) : ici on conseille/adapte.
+_TEMPERATURE = 0.7
+
+_SYSTEM_PREFIX = (
+    "Tu es un assistant pour Maître de Jeu de jeu de rôle. L'utilisateur a une "
+    "campagne EXISTANTE (décrite plus bas) et souhaite ADAPTER et INTÉGRER le "
+    "contenu d'un PDF (aventure, donjon, supplément) à CETTE campagne précise."
+)
+
+_SYSTEM_SUFFIX = (
+    "Produis des CONSEILS D'ADAPTATION concrets, actionnables et en FRANÇAIS, "
+    "en markdown structuré (titres ##, listes). Couvre notamment :\n"
+    "- **Où l'insérer** : à quel(s) arc(s)/chapitre(s) EXISTANT(s) rattacher ce "
+    "contenu, dans quel ordre, et — si l'arc est un hub — sous quelles conditions de déblocage.\n"
+    "- **Reskins / liens PNJ** : quels PNJ EXISTANTS de la campagne peuvent incarner "
+    "ou remplacer les personnages clés du PDF.\n"
+    "- **Adaptation à l'univers** : comment transposer lieux, factions, noms propres et "
+    "ton vers l'univers de l'utilisateur plutôt que le cadre d'origine du PDF.\n"
+    "- **Doublons / conflits** : ce qui recoupe l'existant et comment le réconcilier.\n"
+    "- **Ajustements de ton et de difficulté**.\n\n"
+    "Réfère-toi TOUJOURS aux éléments existants par leur NOM. Ne réécris PAS le PDF en "
+    "entier : donne des recommandations. Si une information manque, propose des options."
+)
+
+
+class AdaptCampaignUseCase:
+    """Génère (en streaming) des conseils d'adaptation d'un PDF à une campagne."""
+
+    def __init__(
+        self,
+        llm: LLMChatProvider,
+        extractor: PdfTextExtractor,
+        max_input_tokens: int = 10000,
+    ) -> None:
+        self._llm = llm
+        self._extractor = extractor
+        # L'adaptation envoie le PDF en UNE requête (pas de découpage). On plafonne
+        # donc l'entrée pour ne pas dépasser la taille de requête acceptée par le
+        # provider (sinon HTTP 400). Calé sur la taille des morceaux d'import.
+        self._max_input_tokens = max_input_tokens
+
+    async def stream(
+        self,
+        pdf_bytes: bytes,
+        brief: str,
+        messages: list[ChatMessage],
+    ) -> AsyncIterator[str]:
+        """Conversationnel : le PDF + la campagne sont le CONTEXTE (system prompt),
+        `messages` est l'échange (demande initiale, puis feedbacks de l'utilisateur)."""
+        doc = self._extractor.extract(pdf_bytes)
+        pdf_text = doc.full_text
+        if not pdf_text.strip():
+            raise PdfExtractionError("Aucun texte exploitable n'a été extrait du PDF.")
+
+        brief = brief or ""
+        pdf_text, truncated = self._fit_pdf_to_budget(pdf_text, brief)
+
+        logger.info(
+            "Adaptation campagne : %s page(s) (%s via OCR), brief %s car., PDF %s car.%s, %s message(s).",
+            doc.page_count, doc.ocr_page_count, len(brief), len(pdf_text),
+            " (tronqué)" if truncated else "", len(messages),
+        )
+
+        trunc_note = (
+            "\n[Note : PDF tronqué pour tenir dans une requête — base-toi sur ce début.]"
+            if truncated else ""
+        )
+        # Concaténation (pas .format) : brief/PDF peuvent contenir des { } littéraux.
+        system_prompt = (
+            f"{_SYSTEM_PREFIX}\n\n"
+            "--- CAMPAGNE EXISTANTE DE L'UTILISATEUR ---\n"
+            f"{brief.strip() or '(campagne encore vide)'}\n\n"
+            "--- CONTENU DU PDF À ADAPTER ---\n"
+            f"{pdf_text}{trunc_note}\n\n"
+            f"{_SYSTEM_SUFFIX}\n\n"
+            "Tu es en CONVERSATION : à chaque message de l'utilisateur, ajuste, corrige "
+            "ou propose des alternatives en gardant tout ce contexte à l'esprit."
+        )
+
+        # 1er tour : si aucun message, on lance la demande initiale par défaut.
+        convo = messages or [ChatMessage(
+            role="user",
+            content="Propose-moi comment intégrer et adapter ce PDF à ma campagne.",
+        )]
+
+        async for token in self._llm.stream_chat(
+            convo, system_prompt=system_prompt, temperature=_TEMPERATURE
+        ):
+            yield token
+
+    def _fit_pdf_to_budget(self, pdf_text: str, brief: str) -> tuple[str, bool]:
+        """Tronque le texte du PDF pour que (brief + PDF) tienne dans le budget tokens.
+
+        Évite un HTTP 400 « requête trop grosse » côté provider. Réserve une marge
+        pour le prompt système et le brief.
+        """
+        import tiktoken
+
+        enc = tiktoken.get_encoding("cl100k_base")
+        brief_tokens = len(enc.encode(brief))
+        budget = max(2000, self._max_input_tokens - brief_tokens - 1000)  # 1000 = marge système
+        pdf_tokens = enc.encode(pdf_text)
+        if len(pdf_tokens) <= budget:
+            return pdf_text, False
+        return enc.decode(pdf_tokens[:budget]), True

brain/app/application/chunking.py

@@ -0,0 +1,55 @@
+"""Découpage d'un long texte en morceaux qui tiennent dans la fenêtre LLM.
+
+Partagé par les imports (règles, campagne) : un livre dépasse la fenêtre de
+contexte, on le découpe par paragraphes jusqu'à une cible de tokens, en coupant
+les paragraphes géants si besoin. Dimensionnement via tiktoken (cl100k_base),
+approximation suffisante (±10% vs tokenizer natif).
+"""
+from __future__ import annotations
+
+# Cible conservatrice : tient dans une fenêtre Ollama (num_ctx 16384) en laissant
+# la place au prompt + à la sortie JSON. Les providers à grand contexte (1min.ai)
+# le supportent largement.
+CHUNK_TARGET_TOKENS = 6000
+
+
+def chunk_text(full_text: str, target_tokens: int = CHUNK_TARGET_TOKENS) -> list[str]:
+    """Découpe `full_text` en morceaux ~`target_tokens` tokens (frontières de §)."""
+    if not full_text.strip():
+        return []
+
+    import tiktoken
+
+    enc = tiktoken.get_encoding("cl100k_base")
+    paragraphs = [p for p in full_text.split("\n\n") if p.strip()]
+
+    chunks: list[str] = []
+    current: list[str] = []
+    current_tokens = 0
+    for para in paragraphs:
+        para_tokens = len(enc.encode(para))
+        # Un paragraphe seul plus gros que la cible : on le coupe en sous-blocs.
+        if para_tokens > target_tokens:
+            if current:
+                chunks.append("\n\n".join(current))
+                current, current_tokens = [], 0
+            chunks.extend(_split_oversized(para, enc, target_tokens))
+            continue
+        if current_tokens + para_tokens > target_tokens and current:
+            chunks.append("\n\n".join(current))
+            current, current_tokens = [], 0
+        current.append(para)
+        current_tokens += para_tokens
+
+    if current:
+        chunks.append("\n\n".join(current))
+    return chunks
+
+
+def _split_oversized(paragraph: str, enc, target_tokens: int) -> list[str]:
+    """Coupe un paragraphe géant en sous-blocs ~`target_tokens` tokens."""
+    tokens = enc.encode(paragraph)
+    out: list[str] = []
+    for i in range(0, len(tokens), target_tokens):
+        out.append(enc.decode(tokens[i : i + target_tokens]))
+    return out

brain/app/application/import_campaign.py

@@ -0,0 +1,312 @@
+"""Use case : import d'un PDF de campagne → arbre arc → chapitre → scène.
+
+Couche APPLICATION. Même chaîne que l'import de règles (extraction + OCR +
+chunking + map-reduce) mais la cible est une ARBORESCENCE narrative :
+  - MAP    : chaque morceau → un sous-arbre {arcs:[{chapters:[{scenes}]}]}
+  - REDUCE : fusion par NOM à chaque niveau (un chapitre coupé entre 2 morceaux
+             est recollé ; ses scènes s'accumulent).
+
+PROPOSITION non persistée : le Core crée les entités seulement après revue.
+"""
+from __future__ import annotations
+
+import logging
+
+from app.application.chunking import chunk_text
+from app.application.llm_json import load_json_object
+from app.application.llm_retry import generate_with_retry
+from app.domain.models import (
+    ArcProposal,
+    CampaignImportResult,
+    ChapterProposal,
+    RoomProposal,
+    SceneProposal,
+)
+from app.domain.ports import LLMProvider, PdfTextExtractor
+
+logger = logging.getLogger(__name__)
+
+_TEMPERATURE = 0.2
+
+# Nom de l'arc unique quand le livre n'est pas découpé en actes/parties.
+_DEFAULT_ARC_NAME = "Aventure principale"
+
+# Morceaux PLUS GROS que pour les règles : l'IA voit une quête/un chapitre entier
+# d'un coup et le structure de façon cohérente (1 scène par lieu) au lieu de le
+# fragmenter en dizaines de scènes. Adapté aux providers à grand contexte (1min.ai).
+_CHUNK_TARGET_TOKENS = 10000
+
+_MAP_SYSTEM = """Tu es un assistant qui structure un livre de campagne de jeu de rôle.
+On te donne un EXTRAIT brut d'un PDF de campagne (texte parfois mal coupé par la mise en page).
+
+Ta tâche : en dégager une ARBORESCENCE narrative à GROS GRAIN : arcs → chapitres → scènes,
+et — pour les lieux explorables — leurs PIÈCES (rooms).
+  - Un ARC = un acte / une grande partie de la campagne (souvent un seul pour une aventure courte).
+  - Un CHAPITRE = une étape majeure du récit : un chapitre du livre, OU — dans une
+    campagne "hub" / bac-à-sable — UNE QUÊTE ou UN LIEU principal débloqué depuis le
+    point central (ex : Dragon of Icespire Peak → chaque quête/lieu = un chapitre).
+  - Une SCÈNE = un temps fort jouable du chapitre : un lieu, une rencontre clé, un moment pivot.
+  - Une PIÈCE (room) = une salle d'un lieu explorable (donjon, crypte, manoir...).
+
+TYPE D'ARC ("type") :
+- "HUB" si la campagne est un bac-à-sable : des quêtes/lieux optionnels, parallèles,
+  débloqués depuis un point central, SANS ordre fixe imposé (ex : Dragon of Icespire Peak).
+- "LINEAR" si les chapitres se jouent dans un ordre séquentiel imposé.
+- Dans le doute : "LINEAR".
+
+GRANULARITÉ (évite la sur-détection) :
+- Vise PEU de scènes : typiquement 1 à 6 par chapitre. PAS des dizaines.
+- Un LIEU EXPLORABLE (donjon, crypte, manoir, grotte à plusieurs salles) = UNE SEULE
+  scène. Ses salles vont dans le tableau "rooms" de cette scène — JAMAIS en scènes séparées.
+- NE crée PAS une scène par rencontre isolée, par PNJ, par monstre ou par paragraphe.
+- IGNORE : blocs de stats, listes de monstres, encarts de règles, légendes de cartes,
+  pieds de page, sommaires, crédits.
+
+CONTENU D'UNE SCÈNE (fidélité au livre — important) :
+- `description` = synopsis de la scène, 2 à 4 phrases (plus que 1 ligne, mais pas le texte intégral).
+- `player_narration` = le texte d'AMBIANCE « à lire aux joueurs » (encadrés / boxed text /
+  « lecture à voix haute »), recopié FIDÈLEMENT s'il existe dans l'extrait. Vide sinon.
+- `gm_notes` = les informations pour le MJ : secrets, développement, ce qui se passe,
+  conséquences, indices cachés. Vide si rien de tel.
+- Ne RÉSUME pas abusivement player_narration et gm_notes : recopie le contenu utile du livre.
+
+PIÈCES (rooms) — uniquement pour les scènes qui sont des lieux explorables :
+- Une entrée par salle numérotée/nommée du donjon (ex : "1. Entrée", "2. Salle des gardes").
+- `enemies` = créatures/boss de la salle (vide si aucune). `loot` = trésor/récompense (vide si aucun).
+- Pour une scène narrative classique (pas un donjon), "rooms" est un tableau vide [].
+
+Format de réponse :
+- Tu réponds UNIQUEMENT par un objet JSON valide, sans markdown ni commentaire autour.
+- Schéma EXACT :
+  {{"arcs": [{{"name": "...", "description": "...", "type": "LINEAR",
+     "chapters": [{{"name": "...", "description": "...", "scenes": [
+        {{"name": "...", "description": "...", "player_narration": "...", "gm_notes": "...",
+          "rooms": [{{"name": "...", "description": "...", "enemies": "...", "loot": "..."}}]}}
+     ]}}]}}
+  ]}}
+- Utilise les VRAIS titres du livre pour les noms (pas de paraphrase).
+- Si le livre n'est PAS découpé en actes/parties, regroupe tout sous un seul arc nommé "{default_arc}".
+- N'invente pas de contenu : tu réorganises et recopies ce qui est présent dans l'extrait.
+- Si l'extrait ne contient aucune matière narrative, renvoie {{"arcs": []}}."""
+
+
+class _TreeMerger:
+    """Fusionne les sous-arbres des morceaux en un seul arbre, ordre préservé.
+
+    Clés insensibles à la casse à chaque niveau (nom d'arc / chapitre / scène).
+    Description : la première non-vide rencontrée l'emporte (les morceaux suivants
+    ne l'écrasent pas).
+    """
+
+    def __init__(self) -> None:
+        # arc_key -> {"name", "description", "chapters": {chap_key -> {...}}}
+        self._arcs: dict[str, dict] = {}
+
+    def add(self, arcs_json: list[dict]) -> None:
+        for arc in arcs_json or []:
+            name = str(arc.get("name", "")).strip()
+            if not name:
+                continue
+            a = self._arcs.setdefault(
+                name.lower(), {"name": name, "description": "", "type": "LINEAR", "chapters": {}})
+            self._fill_desc(a, arc)
+            # Type d'arc : HUB l'emporte si un seul morceau le signale (propriété globale
+            # souvent énoncée une fois, dans l'intro du livre).
+            if str(arc.get("type", "")).strip().upper() == "HUB":
+                a["type"] = "HUB"
+            for chap in arc.get("chapters", []) or []:
+                cname = str(chap.get("name", "")).strip()
+                if not cname:
+                    continue
+                c = a["chapters"].setdefault(cname.lower(), {"name": cname, "description": "", "scenes": {}})
+                self._fill_desc(c, chap)
+                for sc in chap.get("scenes", []) or []:
+                    sname = str(sc.get("name", "")).strip()
+                    if not sname:
+                        continue
+                    s = c["scenes"].setdefault(
+                        sname.lower(),
+                        {"name": sname, "description": "", "player_narration": "",
+                         "gm_notes": "", "rooms": {}})
+                    self._fill_desc(s, sc)
+                    self._fill_field(s, sc, "player_narration")
+                    self._fill_field(s, sc, "gm_notes")
+                    for rm in sc.get("rooms", []) or []:
+                        rname = str(rm.get("name", "")).strip()
+                        if not rname:
+                            continue
+                        r = s["rooms"].setdefault(
+                            rname.lower(),
+                            {"name": rname, "description": "", "enemies": "", "loot": ""})
+                        self._fill_desc(r, rm)
+                        self._fill_field(r, rm, "enemies")
+                        self._fill_field(r, rm, "loot")
+
+    @staticmethod
+    def _fill_desc(node: dict, src: dict) -> None:
+        if not node["description"]:
+            node["description"] = str(src.get("description") or "").strip()
+
+    @staticmethod
+    def _fill_field(node: dict, src: dict, field_name: str) -> None:
+        if not node[field_name]:
+            node[field_name] = str(src.get(field_name) or "").strip()
+
+    def result(self) -> list[ArcProposal]:
+        arcs: list[ArcProposal] = []
+        for a in self._arcs.values():
+            chapters: list[ChapterProposal] = []
+            for c in a["chapters"].values():
+                scenes: list[SceneProposal] = []
+                for s in c["scenes"].values():
+                    rooms = [
+                        RoomProposal(r["name"], r["description"], r["enemies"], r["loot"])
+                        for r in s["rooms"].values()
+                    ]
+                    scenes.append(SceneProposal(
+                        s["name"], s["description"], s["player_narration"], s["gm_notes"], rooms))
+                chapters.append(ChapterProposal(c["name"], c["description"], scenes))
+            arcs.append(ArcProposal(a["name"], a["description"], a["type"], chapters))
+        return arcs
+
+    def counts(self) -> tuple[int, int, int]:
+        arcs = len(self._arcs)
+        chapters = sum(len(a["chapters"]) for a in self._arcs.values())
+        scenes = sum(len(c["scenes"]) for a in self._arcs.values() for c in a["chapters"].values())
+        return arcs, chapters, scenes
+
+
+class ImportCampaignUseCase:
+    """Transforme un PDF de campagne en proposition d'arbre arc→chapitre→scène."""
+
+    def __init__(
+        self,
+        llm: LLMProvider,
+        extractor: PdfTextExtractor,
+        chunk_target_tokens: int = _CHUNK_TARGET_TOKENS,
+    ) -> None:
+        self._llm = llm
+        self._extractor = extractor
+        self._chunk_target_tokens = chunk_target_tokens
+
+    async def execute(self, pdf_bytes: bytes) -> CampaignImportResult:
+        """Variante non-streamée : traite tout puis renvoie l'arbre complet."""
+        doc = self._extractor.extract(pdf_bytes)
+        chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
+        merger = _TreeMerger()
+        for i, chunk in enumerate(chunks):
+            merger.add(await self._map_chunk(chunk, index=i, total=len(chunks)))
+        return CampaignImportResult(
+            arcs=merger.result(),
+            page_count=doc.page_count,
+            ocr_page_count=doc.ocr_page_count,
+        )
+
+    async def stream(self, pdf_bytes: bytes):
+        """Variante streamée : yield des évènements d'avancement.
+
+        {"type":"extracting"}, puis {"type":"start", page_count, ocr_page_count,
+        total}, puis un {"type":"progress", current, total, arc_count,
+        chapter_count, scene_count} par morceau, et enfin
+        {"type":"done", arcs:[...], page_count, ocr_page_count}.
+        """
+        yield {"type": "extracting"}
+
+        doc = self._extractor.extract(pdf_bytes)
+        chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
+        total = len(chunks)
+        logger.info(
+            "Import campagne (stream) : %s page(s) (%s via OCR), %s morceau(x).",
+            doc.page_count, doc.ocr_page_count, total,
+        )
+        yield {
+            "type": "start",
+            "page_count": doc.page_count,
+            "ocr_page_count": doc.ocr_page_count,
+            "total": total,
+        }
+
+        merger = _TreeMerger()
+        for i, chunk in enumerate(chunks):
+            merger.add(await self._map_chunk(chunk, index=i, total=total))
+            arcs, chapters, scenes = merger.counts()
+            yield {
+                "type": "progress",
+                "current": i + 1,
+                "total": total,
+                "arc_count": arcs,
+                "chapter_count": chapters,
+                "scene_count": scenes,
+            }
+
+        yield {
+            "type": "done",
+            "arcs": _serialize_arcs(merger.result()),
+            "page_count": doc.page_count,
+            "ocr_page_count": doc.ocr_page_count,
+        }
+
+    # --- MAP : un morceau → sous-arbre ---------------------------------------
+
+    async def _map_chunk(self, chunk: str, *, index: int, total: int) -> list[dict]:
+        prompt = (
+            _MAP_SYSTEM.format(default_arc=_DEFAULT_ARC_NAME)
+            + f"\n\n--- EXTRAIT {index + 1}/{total} ---\n{chunk}\n\n"
+            "Renvoie maintenant le JSON de l'arborescence."
+        )
+        raw = await generate_with_retry(
+            self._llm, prompt, output_format="json", temperature=_TEMPERATURE)
+        return self._parse_arcs(raw, index=index)
+
+    @staticmethod
+    def _parse_arcs(raw: str, *, index: int) -> list[dict]:
+        """Parse robuste : objet JSON équilibré, ou récupération partielle si tronqué."""
+        parsed, recovered = load_json_object(raw)
+        if parsed is None:
+            logger.warning("Morceau %s : aucun objet JSON exploitable, ignoré.", index)
+            return []
+        if recovered:
+            logger.warning(
+                "Morceau %s : sortie tronquée — récupération des éléments complets "
+                "(envisagez des morceaux plus petits).", index)
+        if isinstance(parsed, dict):
+            arcs = parsed.get("arcs", [])
+            return arcs if isinstance(arcs, list) else []
+        return []
+
+
+def _serialize_arcs(arcs: list[ArcProposal]) -> list[dict]:
+    """Sérialise l'arbre de dataclasses en dicts JSON pour le flux SSE."""
+    return [
+        {
+            "name": a.name,
+            "description": a.description,
+            "type": a.arc_type,
+            "chapters": [
+                {
+                    "name": c.name,
+                    "description": c.description,
+                    "scenes": [
+                        {
+                            "name": s.name,
+                            "description": s.description,
+                            "player_narration": s.player_narration,
+                            "gm_notes": s.gm_notes,
+                            "rooms": [
+                                {
+                                    "name": r.name,
+                                    "description": r.description,
+                                    "enemies": r.enemies,
+                                    "loot": r.loot,
+                                }
+                                for r in s.rooms
+                            ],
+                        }
+                        for s in c.scenes
+                    ],
+                }
+                for c in a.chapters
+            ],
+        }
+        for a in arcs
+    ]

brain/app/application/import_rules.py

@@ -0,0 +1,197 @@
+"""Use case : import d'un PDF de règles → sections markdown structurées.
+
+Couche APPLICATION. Orchestre :
+  PDF (bytes) → extraction texte (port PdfTextExtractor)
+              → CHUNKING (le texte d'un livre dépasse la fenêtre de contexte)
+              → MAP   : chaque morceau → {titre de section → markdown}
+              → REDUCE: fusion des sections de même titre entre morceaux
+              → RulesImportResult (proposition, NON persistée)
+
+Ne dépend que des abstractions du domaine (ports LLMProvider + PdfTextExtractor)
+→ testable avec des fakes, et indépendant du provider concret (Ollama/1min.ai).
+"""
+from __future__ import annotations
+
+import logging
+
+from app.application.chunking import CHUNK_TARGET_TOKENS, chunk_text
+from app.application.llm_json import load_json_object
+from app.application.llm_retry import generate_with_retry
+from app.domain.models import RulesImportResult
+from app.domain.ports import LLMProvider, LLMProviderError, PdfTextExtractor
+
+logger = logging.getLogger(__name__)
+
+# Température basse : tâche de tri/réécriture fidèle, pas de créativité.
+_TEMPERATURE = 0.2
+
+# Taxonomie canonique suggérée au modèle pour homogénéiser les titres entre
+# morceaux (sinon "Combat" / "Le combat" / "Règles de combat" se dispersent).
+# Le modèle reste libre d'en créer d'autres si rien ne correspond.
+_CANONICAL_SECTIONS = [
+    "Règles générales",
+    "Création de personnage",
+    "Caractéristiques et tests",
+    "Compétences",
+    "Combat",
+    "Magie et sorts",
+    "Équipement et objets",
+    "États et conditions",
+    "Repos et récupération",
+    "Progression et niveaux",
+    "Conseils au Maître de Jeu",
+]
+
+_MAP_SYSTEM = """Tu es un assistant qui réorganise un livre de règles de jeu de rôle.
+On te donne un EXTRAIT brut d'un PDF de règles (texte parfois mal coupé par la mise en page).
+
+Ta tâche : répartir le contenu de cet extrait dans des SECTIONS THÉMATIQUES.
+
+Règles impératives :
+- Tu réponds UNIQUEMENT par un objet JSON valide, sans markdown ni commentaire autour.
+- Les CLÉS sont des titres de section (texte court). Les VALEURS sont le contenu de la règle en markdown.
+- Utilise EN PRIORITÉ ces titres canoniques quand le contenu y correspond :
+{canonical}
+- Si un contenu ne rentre dans aucun, crée un titre clair et concis (en français).
+- Reproduis FIDÈLEMENT les règles : tu peux nettoyer la coupure des lignes, recoller les mots coupés
+  par un tiret en fin de ligne, retirer les en-têtes/pieds de page et numéros de page parasites.
+- N'INVENTE AUCUNE règle, ne résume pas abusivement : tu réorganises, tu ne réécris pas le fond.
+- Ignore les pages de garde, sommaires, crédits, pages vides (renvoie {{}} si l'extrait n'a aucune règle)."""
+
+
+class _SectionMerger:
+    """Fusionne les sections issues des différents morceaux, ordre préservé.
+
+    Titres insensibles à la casse ("Combat" / "combat" → une seule clé). Chaque
+    `add()` renvoie la liste (dé-dupliquée, ordonnée) des titres touchés par ce
+    morceau — sert au flux de progression pour annoncer les sections trouvées.
+    """
+
+    def __init__(self) -> None:
+        self._merged: dict[str, list[str]] = {}
+        self._canonical_key: dict[str, str] = {}
+
+    def add(self, sections: dict[str, str]) -> list[str]:
+        touched: list[str] = []
+        for title, content in sections.items():
+            title = title.strip()
+            content = (content or "").strip()
+            if not title or not content:
+                continue
+            key = title.lower()
+            if key not in self._canonical_key:
+                self._canonical_key[key] = title
+                self._merged[title] = []
+            canonical = self._canonical_key[key]
+            self._merged[canonical].append(content)
+            touched.append(canonical)
+        # Dé-duplication en préservant l'ordre d'apparition.
+        seen: set[str] = set()
+        return [t for t in touched if not (t in seen or seen.add(t))]
+
+    def result(self) -> dict[str, str]:
+        return {title: "\n\n".join(parts) for title, parts in self._merged.items()}
+
+
+class ImportRulesUseCase:
+    """Transforme un PDF de règles en proposition de sections markdown."""
+
+    def __init__(
+        self,
+        llm: LLMProvider,
+        extractor: PdfTextExtractor,
+        chunk_target_tokens: int = CHUNK_TARGET_TOKENS,
+    ) -> None:
+        self._llm = llm
+        self._extractor = extractor
+        self._chunk_target_tokens = chunk_target_tokens
+
+    async def execute(self, pdf_bytes: bytes) -> RulesImportResult:
+        """Variante non-streamée : traite tout puis renvoie le résultat complet."""
+        doc = self._extractor.extract(pdf_bytes)
+        chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
+        logger.info(
+            "Import règles : %s page(s) (%s via OCR), %s morceau(x) à traiter.",
+            doc.page_count, doc.ocr_page_count, len(chunks),
+        )
+        merger = _SectionMerger()
+        for i, chunk in enumerate(chunks):
+            merger.add(await self._map_chunk(chunk, index=i, total=len(chunks)))
+        return RulesImportResult(
+            sections=merger.result(),
+            page_count=doc.page_count,
+            ocr_page_count=doc.ocr_page_count,
+        )
+
+    async def stream(self, pdf_bytes: bytes):
+        """Variante streamée : yield des évènements d'avancement au fil de l'eau.
+
+        Évènements (dicts) : {"type": "extracting"}, puis
+        {"type": "start", page_count, ocr_page_count, total}, puis un
+        {"type": "progress", current, total, new_sections:[...]} par morceau,
+        et enfin {"type": "done", sections, page_count, ocr_page_count}.
+        """
+        # Émis AVANT l'extraction (potentiellement lente si OCR) pour que l'UI
+        # affiche tout de suite "Extraction…" plutôt qu'un écran figé.
+        yield {"type": "extracting"}
+
+        doc = self._extractor.extract(pdf_bytes)
+        chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
+        total = len(chunks)
+        logger.info(
+            "Import règles (stream) : %s page(s) (%s via OCR), %s morceau(x).",
+            doc.page_count, doc.ocr_page_count, total,
+        )
+        yield {
+            "type": "start",
+            "page_count": doc.page_count,
+            "ocr_page_count": doc.ocr_page_count,
+            "total": total,
+        }
+
+        merger = _SectionMerger()
+        for i, chunk in enumerate(chunks):
+            new_titles = merger.add(await self._map_chunk(chunk, index=i, total=total))
+            yield {
+                "type": "progress",
+                "current": i + 1,
+                "total": total,
+                "new_sections": new_titles,
+            }
+
+        yield {
+            "type": "done",
+            "sections": merger.result(),
+            "page_count": doc.page_count,
+            "ocr_page_count": doc.ocr_page_count,
+        }
+
+    # --- MAP : un morceau → sections -----------------------------------------
+
+    async def _map_chunk(self, chunk: str, *, index: int, total: int) -> dict[str, str]:
+        prompt = (
+            _MAP_SYSTEM.format(
+                canonical="\n".join(f"  - {s}" for s in _CANONICAL_SECTIONS)
+            )
+            + f"\n\n--- EXTRAIT {index + 1}/{total} ---\n{chunk}\n\n"
+            "Renvoie maintenant le JSON des sections."
+        )
+        raw = await generate_with_retry(
+            self._llm, prompt, output_format="json", temperature=_TEMPERATURE)
+        return self._parse_sections(raw, index=index)
+
+    @staticmethod
+    def _parse_sections(raw: str, *, index: int) -> dict[str, str]:
+        """Parse robuste : objet JSON équilibré, ou récupération partielle si tronqué."""
+        parsed, recovered = load_json_object(raw)
+        if parsed is None:
+            logger.warning("Morceau %s : aucun objet JSON exploitable, ignoré.", index)
+            return {}
+        if recovered:
+            logger.warning(
+                "Morceau %s : sortie tronquée — récupération des sections complètes "
+                "(envisagez des morceaux plus petits).", index)
+        if not isinstance(parsed, dict):
+            logger.warning("Morceau %s : le LLM n'a pas renvoyé un objet, ignoré.", index)
+            return {}
+        return {str(k): str(v) for k, v in parsed.items()}

brain/app/application/llm_json.py

@@ -0,0 +1,126 @@
+"""Extraction robuste d'un objet JSON depuis une réponse LLM.
+
+Les LLM enrobent souvent leur JSON : fences markdown ```json … ```, texte
+d'introduction, commentaire de fin, voire un 2e objet. Un simple
+`json.loads(raw)` ou un `raw[first_brace:last_brace]` échoue dans ces cas
+("Extra data", accolade parasite dans une string, etc.).
+
+Cette fonction scanne depuis la PREMIÈRE `{` et renvoie exactement le premier
+objet `{…}` ÉQUILIBRÉ, en ignorant les accolades à l'intérieur des chaînes JSON
+et tout ce qui suit. Renvoie None si aucun objet complet n'est trouvé
+(sortie tronquée / accolades non refermées).
+"""
+from __future__ import annotations
+
+import json
+
+
+def load_json_object(raw: str) -> tuple[object | None, bool]:
+    """Parse un objet JSON depuis une réponse LLM, avec récupération si tronqué.
+
+    Renvoie (objet_parsé, récupéré_partiellement) :
+      - d'abord on tente le 1er objet complet (extract_json_object) ;
+      - sinon on tente une réparation du JSON tronqué (repair_truncated_json),
+        auquel cas le second élément vaut True.
+    (None, False) si rien d'exploitable.
+    """
+    obj = extract_json_object(raw)
+    if obj is not None:
+        try:
+            return json.loads(obj), False
+        except json.JSONDecodeError:
+            pass
+    repaired = repair_truncated_json(raw)
+    if repaired is not None:
+        try:
+            return json.loads(repaired), True
+        except json.JSONDecodeError:
+            pass
+    return None, False
+
+
+def extract_json_object(raw: str) -> str | None:
+    if not raw:
+        return None
+    text = raw.strip()
+    start = text.find("{")
+    if start == -1:
+        return None
+
+    depth = 0
+    in_string = False
+    escape = False
+    for i in range(start, len(text)):
+        c = text[i]
+        if in_string:
+            if escape:
+                escape = False
+            elif c == "\\":
+                escape = True
+            elif c == '"':
+                in_string = False
+        else:
+            if c == '"':
+                in_string = True
+            elif c == "{":
+                depth += 1
+            elif c == "}":
+                depth -= 1
+                if depth == 0:
+                    return text[start : i + 1]
+    return None  # accolades non refermées (réponse probablement tronquée)
+
+
+# Fermeture correspondante de chaque ouvrant, pour reconstituer un JSON tronqué.
+_CLOSE_OF = {"{": "}", "[": "]"}
+
+
+def repair_truncated_json(raw: str) -> str | None:
+    """Répare un JSON COUPÉ (sortie LLM tronquée) en gardant les éléments complets.
+
+    On scanne depuis la première `{` et on retient le DERNIER point où un conteneur
+    (`}` ou `]`) vient de se fermer — donc juste après une sous-structure complète
+    (un arc / chapitre / scène / pièce / section entièrement écrit). On coupe là et
+    on referme les conteneurs encore ouverts. L'élément en cours d'écriture au moment
+    de la troncature est abandonné, mais tous les précédents sont sauvés.
+
+    Renvoie une chaîne JSON équilibrée (à valider par json.loads) ou None.
+    """
+    if not raw:
+        return None
+    text = raw.strip()
+    start = text.find("{")
+    if start == -1:
+        return None
+
+    stack: list[str] = []
+    in_string = False
+    escape = False
+    best_cut = -1            # index (exclusif) où couper
+    best_closing = ""        # fermetures à ajouter pour rééquilibrer
+
+    for i in range(start, len(text)):
+        c = text[i]
+        if in_string:
+            if escape:
+                escape = False
+            elif c == "\\":
+                escape = True
+            elif c == '"':
+                in_string = False
+        else:
+            if c == '"':
+                in_string = True
+            elif c in "{[":
+                stack.append(c)
+            elif c in "}]":
+                if stack:
+                    stack.pop()
+                # Point de coupe sûr : on vient de fermer une sous-structure complète.
+                best_cut = i + 1
+                best_closing = "".join(_CLOSE_OF[b] for b in reversed(stack))
+
+    if best_cut == -1:
+        return None  # rien de complet à sauver
+    head = text[start:best_cut].rstrip().rstrip(",")
+    return head + best_closing

brain/app/application/llm_retry.py

@@ -0,0 +1,47 @@
+"""Retry avec backoff pour les appels LLM one-shot (imports).
+
+Les imports enchaînent de nombreux appels en série ; un échec TRANSITOIRE sur un
+seul morceau (503/502 surcharge serveur, 504/524 passerelle, timeout réseau) ne
+doit pas faire échouer tout l'import. On réessaie quelques fois avec une attente
+croissante. Après épuisement, on relaie l'erreur (problème durable : quota, panne).
+
+Réservé aux appels `generate` (one-shot, bufferisé) : réessayer est propre, sans
+risque de doublons. À NE PAS utiliser sur le streaming (re-jouerait des tokens).
+"""
+from __future__ import annotations
+
+import asyncio
+import logging
+
+from app.domain.ports import LLMProvider, LLMProviderError
+
+logger = logging.getLogger(__name__)
+
+_ATTEMPTS = 3
+_BASE_DELAY_SECONDS = 2.0
+
+
+async def generate_with_retry(
+    llm: LLMProvider,
+    prompt: str,
+    *,
+    output_format: str | None = None,
+    temperature: float | None = None,
+) -> str:
+    """Comme `llm.generate`, mais réessaie les erreurs transitoires (backoff x2)."""
+    delay = _BASE_DELAY_SECONDS
+    last_error: LLMProviderError | None = None
+    for attempt in range(_ATTEMPTS):
+        try:
+            return await llm.generate(prompt, output_format=output_format, temperature=temperature)
+        except LLMProviderError as exc:
+            last_error = exc
+            if attempt < _ATTEMPTS - 1:
+                logger.warning(
+                    "Appel LLM échoué (tentative %s/%s) : %s — nouvelle tentative dans %ss.",
+                    attempt + 1, _ATTEMPTS, exc, delay,
+                )
+                await asyncio.sleep(delay)
+                delay *= 2
+    assert last_error is not None
+    raise last_error