Ajout de 2 fonctionnalitées principales : import PDF que ce soit pour les règles ou les campagnes directement.
All checks were successful
All checks were successful
Fonctionnalité de comparaison PDF / campagne pour faire un mix et demander des conseils à l'IA
This commit is contained in:
125
brain/app/application/adapt_campaign.py
Normal file
125
brain/app/application/adapt_campaign.py
Normal file
@@ -0,0 +1,125 @@
|
||||
"""Use case : conseils d'adaptation d'un PDF à une campagne EXISTANTE.
|
||||
|
||||
L'IA connaît la campagne de l'utilisateur (un « brief » : structure arcs/chapitres/
|
||||
scènes + PNJ + univers/lore), lit le contenu du PDF, et rédige des recommandations
|
||||
d'INTÉGRATION/ADAPTATION (où insérer, reskins de PNJ, transposition à l'univers,
|
||||
doublons à réconcilier…). Sortie en markdown, streamée token par token.
|
||||
|
||||
Contrairement à l'IMPORT (qui produit une arborescence à créer), ici on produit
|
||||
du CONSEIL libre : rien n'est créé, l'utilisateur applique à la main.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
from typing import AsyncIterator
|
||||
|
||||
from app.domain.models import ChatMessage
|
||||
from app.domain.ports import LLMChatProvider, PdfExtractionError, PdfTextExtractor
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# Plus créatif que l'import (tâche de structuration) : ici on conseille/adapte.
|
||||
_TEMPERATURE = 0.7
|
||||
|
||||
_SYSTEM_PREFIX = (
|
||||
"Tu es un assistant pour Maître de Jeu de jeu de rôle. L'utilisateur a une "
|
||||
"campagne EXISTANTE (décrite plus bas) et souhaite ADAPTER et INTÉGRER le "
|
||||
"contenu d'un PDF (aventure, donjon, supplément) à CETTE campagne précise."
|
||||
)
|
||||
|
||||
_SYSTEM_SUFFIX = (
|
||||
"Produis des CONSEILS D'ADAPTATION concrets, actionnables et en FRANÇAIS, "
|
||||
"en markdown structuré (titres ##, listes). Couvre notamment :\n"
|
||||
"- **Où l'insérer** : à quel(s) arc(s)/chapitre(s) EXISTANT(s) rattacher ce "
|
||||
"contenu, dans quel ordre, et — si l'arc est un hub — sous quelles conditions de déblocage.\n"
|
||||
"- **Reskins / liens PNJ** : quels PNJ EXISTANTS de la campagne peuvent incarner "
|
||||
"ou remplacer les personnages clés du PDF.\n"
|
||||
"- **Adaptation à l'univers** : comment transposer lieux, factions, noms propres et "
|
||||
"ton vers l'univers de l'utilisateur plutôt que le cadre d'origine du PDF.\n"
|
||||
"- **Doublons / conflits** : ce qui recoupe l'existant et comment le réconcilier.\n"
|
||||
"- **Ajustements de ton et de difficulté**.\n\n"
|
||||
"Réfère-toi TOUJOURS aux éléments existants par leur NOM. Ne réécris PAS le PDF en "
|
||||
"entier : donne des recommandations. Si une information manque, propose des options."
|
||||
)
|
||||
|
||||
|
||||
class AdaptCampaignUseCase:
|
||||
"""Génère (en streaming) des conseils d'adaptation d'un PDF à une campagne."""
|
||||
|
||||
def __init__(
|
||||
self,
|
||||
llm: LLMChatProvider,
|
||||
extractor: PdfTextExtractor,
|
||||
max_input_tokens: int = 10000,
|
||||
) -> None:
|
||||
self._llm = llm
|
||||
self._extractor = extractor
|
||||
# L'adaptation envoie le PDF en UNE requête (pas de découpage). On plafonne
|
||||
# donc l'entrée pour ne pas dépasser la taille de requête acceptée par le
|
||||
# provider (sinon HTTP 400). Calé sur la taille des morceaux d'import.
|
||||
self._max_input_tokens = max_input_tokens
|
||||
|
||||
async def stream(
|
||||
self,
|
||||
pdf_bytes: bytes,
|
||||
brief: str,
|
||||
messages: list[ChatMessage],
|
||||
) -> AsyncIterator[str]:
|
||||
"""Conversationnel : le PDF + la campagne sont le CONTEXTE (system prompt),
|
||||
`messages` est l'échange (demande initiale, puis feedbacks de l'utilisateur)."""
|
||||
doc = self._extractor.extract(pdf_bytes)
|
||||
pdf_text = doc.full_text
|
||||
if not pdf_text.strip():
|
||||
raise PdfExtractionError("Aucun texte exploitable n'a été extrait du PDF.")
|
||||
|
||||
brief = brief or ""
|
||||
pdf_text, truncated = self._fit_pdf_to_budget(pdf_text, brief)
|
||||
|
||||
logger.info(
|
||||
"Adaptation campagne : %s page(s) (%s via OCR), brief %s car., PDF %s car.%s, %s message(s).",
|
||||
doc.page_count, doc.ocr_page_count, len(brief), len(pdf_text),
|
||||
" (tronqué)" if truncated else "", len(messages),
|
||||
)
|
||||
|
||||
trunc_note = (
|
||||
"\n[Note : PDF tronqué pour tenir dans une requête — base-toi sur ce début.]"
|
||||
if truncated else ""
|
||||
)
|
||||
# Concaténation (pas .format) : brief/PDF peuvent contenir des { } littéraux.
|
||||
system_prompt = (
|
||||
f"{_SYSTEM_PREFIX}\n\n"
|
||||
"--- CAMPAGNE EXISTANTE DE L'UTILISATEUR ---\n"
|
||||
f"{brief.strip() or '(campagne encore vide)'}\n\n"
|
||||
"--- CONTENU DU PDF À ADAPTER ---\n"
|
||||
f"{pdf_text}{trunc_note}\n\n"
|
||||
f"{_SYSTEM_SUFFIX}\n\n"
|
||||
"Tu es en CONVERSATION : à chaque message de l'utilisateur, ajuste, corrige "
|
||||
"ou propose des alternatives en gardant tout ce contexte à l'esprit."
|
||||
)
|
||||
|
||||
# 1er tour : si aucun message, on lance la demande initiale par défaut.
|
||||
convo = messages or [ChatMessage(
|
||||
role="user",
|
||||
content="Propose-moi comment intégrer et adapter ce PDF à ma campagne.",
|
||||
)]
|
||||
|
||||
async for token in self._llm.stream_chat(
|
||||
convo, system_prompt=system_prompt, temperature=_TEMPERATURE
|
||||
):
|
||||
yield token
|
||||
|
||||
def _fit_pdf_to_budget(self, pdf_text: str, brief: str) -> tuple[str, bool]:
|
||||
"""Tronque le texte du PDF pour que (brief + PDF) tienne dans le budget tokens.
|
||||
|
||||
Évite un HTTP 400 « requête trop grosse » côté provider. Réserve une marge
|
||||
pour le prompt système et le brief.
|
||||
"""
|
||||
import tiktoken
|
||||
|
||||
enc = tiktoken.get_encoding("cl100k_base")
|
||||
brief_tokens = len(enc.encode(brief))
|
||||
budget = max(2000, self._max_input_tokens - brief_tokens - 1000) # 1000 = marge système
|
||||
pdf_tokens = enc.encode(pdf_text)
|
||||
if len(pdf_tokens) <= budget:
|
||||
return pdf_text, False
|
||||
return enc.decode(pdf_tokens[:budget]), True
|
||||
55
brain/app/application/chunking.py
Normal file
55
brain/app/application/chunking.py
Normal file
@@ -0,0 +1,55 @@
|
||||
"""Découpage d'un long texte en morceaux qui tiennent dans la fenêtre LLM.
|
||||
|
||||
Partagé par les imports (règles, campagne) : un livre dépasse la fenêtre de
|
||||
contexte, on le découpe par paragraphes jusqu'à une cible de tokens, en coupant
|
||||
les paragraphes géants si besoin. Dimensionnement via tiktoken (cl100k_base),
|
||||
approximation suffisante (±10% vs tokenizer natif).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
# Cible conservatrice : tient dans une fenêtre Ollama (num_ctx 16384) en laissant
|
||||
# la place au prompt + à la sortie JSON. Les providers à grand contexte (1min.ai)
|
||||
# le supportent largement.
|
||||
CHUNK_TARGET_TOKENS = 6000
|
||||
|
||||
|
||||
def chunk_text(full_text: str, target_tokens: int = CHUNK_TARGET_TOKENS) -> list[str]:
|
||||
"""Découpe `full_text` en morceaux ~`target_tokens` tokens (frontières de §)."""
|
||||
if not full_text.strip():
|
||||
return []
|
||||
|
||||
import tiktoken
|
||||
|
||||
enc = tiktoken.get_encoding("cl100k_base")
|
||||
paragraphs = [p for p in full_text.split("\n\n") if p.strip()]
|
||||
|
||||
chunks: list[str] = []
|
||||
current: list[str] = []
|
||||
current_tokens = 0
|
||||
for para in paragraphs:
|
||||
para_tokens = len(enc.encode(para))
|
||||
# Un paragraphe seul plus gros que la cible : on le coupe en sous-blocs.
|
||||
if para_tokens > target_tokens:
|
||||
if current:
|
||||
chunks.append("\n\n".join(current))
|
||||
current, current_tokens = [], 0
|
||||
chunks.extend(_split_oversized(para, enc, target_tokens))
|
||||
continue
|
||||
if current_tokens + para_tokens > target_tokens and current:
|
||||
chunks.append("\n\n".join(current))
|
||||
current, current_tokens = [], 0
|
||||
current.append(para)
|
||||
current_tokens += para_tokens
|
||||
|
||||
if current:
|
||||
chunks.append("\n\n".join(current))
|
||||
return chunks
|
||||
|
||||
|
||||
def _split_oversized(paragraph: str, enc, target_tokens: int) -> list[str]:
|
||||
"""Coupe un paragraphe géant en sous-blocs ~`target_tokens` tokens."""
|
||||
tokens = enc.encode(paragraph)
|
||||
out: list[str] = []
|
||||
for i in range(0, len(tokens), target_tokens):
|
||||
out.append(enc.decode(tokens[i : i + target_tokens]))
|
||||
return out
|
||||
312
brain/app/application/import_campaign.py
Normal file
312
brain/app/application/import_campaign.py
Normal file
@@ -0,0 +1,312 @@
|
||||
"""Use case : import d'un PDF de campagne → arbre arc → chapitre → scène.
|
||||
|
||||
Couche APPLICATION. Même chaîne que l'import de règles (extraction + OCR +
|
||||
chunking + map-reduce) mais la cible est une ARBORESCENCE narrative :
|
||||
- MAP : chaque morceau → un sous-arbre {arcs:[{chapters:[{scenes}]}]}
|
||||
- REDUCE : fusion par NOM à chaque niveau (un chapitre coupé entre 2 morceaux
|
||||
est recollé ; ses scènes s'accumulent).
|
||||
|
||||
PROPOSITION non persistée : le Core crée les entités seulement après revue.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
|
||||
from app.application.chunking import chunk_text
|
||||
from app.application.llm_json import load_json_object
|
||||
from app.application.llm_retry import generate_with_retry
|
||||
from app.domain.models import (
|
||||
ArcProposal,
|
||||
CampaignImportResult,
|
||||
ChapterProposal,
|
||||
RoomProposal,
|
||||
SceneProposal,
|
||||
)
|
||||
from app.domain.ports import LLMProvider, PdfTextExtractor
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
_TEMPERATURE = 0.2
|
||||
|
||||
# Nom de l'arc unique quand le livre n'est pas découpé en actes/parties.
|
||||
_DEFAULT_ARC_NAME = "Aventure principale"
|
||||
|
||||
# Morceaux PLUS GROS que pour les règles : l'IA voit une quête/un chapitre entier
|
||||
# d'un coup et le structure de façon cohérente (1 scène par lieu) au lieu de le
|
||||
# fragmenter en dizaines de scènes. Adapté aux providers à grand contexte (1min.ai).
|
||||
_CHUNK_TARGET_TOKENS = 10000
|
||||
|
||||
_MAP_SYSTEM = """Tu es un assistant qui structure un livre de campagne de jeu de rôle.
|
||||
On te donne un EXTRAIT brut d'un PDF de campagne (texte parfois mal coupé par la mise en page).
|
||||
|
||||
Ta tâche : en dégager une ARBORESCENCE narrative à GROS GRAIN : arcs → chapitres → scènes,
|
||||
et — pour les lieux explorables — leurs PIÈCES (rooms).
|
||||
- Un ARC = un acte / une grande partie de la campagne (souvent un seul pour une aventure courte).
|
||||
- Un CHAPITRE = une étape majeure du récit : un chapitre du livre, OU — dans une
|
||||
campagne "hub" / bac-à-sable — UNE QUÊTE ou UN LIEU principal débloqué depuis le
|
||||
point central (ex : Dragon of Icespire Peak → chaque quête/lieu = un chapitre).
|
||||
- Une SCÈNE = un temps fort jouable du chapitre : un lieu, une rencontre clé, un moment pivot.
|
||||
- Une PIÈCE (room) = une salle d'un lieu explorable (donjon, crypte, manoir...).
|
||||
|
||||
TYPE D'ARC ("type") :
|
||||
- "HUB" si la campagne est un bac-à-sable : des quêtes/lieux optionnels, parallèles,
|
||||
débloqués depuis un point central, SANS ordre fixe imposé (ex : Dragon of Icespire Peak).
|
||||
- "LINEAR" si les chapitres se jouent dans un ordre séquentiel imposé.
|
||||
- Dans le doute : "LINEAR".
|
||||
|
||||
GRANULARITÉ (évite la sur-détection) :
|
||||
- Vise PEU de scènes : typiquement 1 à 6 par chapitre. PAS des dizaines.
|
||||
- Un LIEU EXPLORABLE (donjon, crypte, manoir, grotte à plusieurs salles) = UNE SEULE
|
||||
scène. Ses salles vont dans le tableau "rooms" de cette scène — JAMAIS en scènes séparées.
|
||||
- NE crée PAS une scène par rencontre isolée, par PNJ, par monstre ou par paragraphe.
|
||||
- IGNORE : blocs de stats, listes de monstres, encarts de règles, légendes de cartes,
|
||||
pieds de page, sommaires, crédits.
|
||||
|
||||
CONTENU D'UNE SCÈNE (fidélité au livre — important) :
|
||||
- `description` = synopsis de la scène, 2 à 4 phrases (plus que 1 ligne, mais pas le texte intégral).
|
||||
- `player_narration` = le texte d'AMBIANCE « à lire aux joueurs » (encadrés / boxed text /
|
||||
« lecture à voix haute »), recopié FIDÈLEMENT s'il existe dans l'extrait. Vide sinon.
|
||||
- `gm_notes` = les informations pour le MJ : secrets, développement, ce qui se passe,
|
||||
conséquences, indices cachés. Vide si rien de tel.
|
||||
- Ne RÉSUME pas abusivement player_narration et gm_notes : recopie le contenu utile du livre.
|
||||
|
||||
PIÈCES (rooms) — uniquement pour les scènes qui sont des lieux explorables :
|
||||
- Une entrée par salle numérotée/nommée du donjon (ex : "1. Entrée", "2. Salle des gardes").
|
||||
- `enemies` = créatures/boss de la salle (vide si aucune). `loot` = trésor/récompense (vide si aucun).
|
||||
- Pour une scène narrative classique (pas un donjon), "rooms" est un tableau vide [].
|
||||
|
||||
Format de réponse :
|
||||
- Tu réponds UNIQUEMENT par un objet JSON valide, sans markdown ni commentaire autour.
|
||||
- Schéma EXACT :
|
||||
{{"arcs": [{{"name": "...", "description": "...", "type": "LINEAR",
|
||||
"chapters": [{{"name": "...", "description": "...", "scenes": [
|
||||
{{"name": "...", "description": "...", "player_narration": "...", "gm_notes": "...",
|
||||
"rooms": [{{"name": "...", "description": "...", "enemies": "...", "loot": "..."}}]}}
|
||||
]}}]}}
|
||||
]}}
|
||||
- Utilise les VRAIS titres du livre pour les noms (pas de paraphrase).
|
||||
- Si le livre n'est PAS découpé en actes/parties, regroupe tout sous un seul arc nommé "{default_arc}".
|
||||
- N'invente pas de contenu : tu réorganises et recopies ce qui est présent dans l'extrait.
|
||||
- Si l'extrait ne contient aucune matière narrative, renvoie {{"arcs": []}}."""
|
||||
|
||||
|
||||
class _TreeMerger:
|
||||
"""Fusionne les sous-arbres des morceaux en un seul arbre, ordre préservé.
|
||||
|
||||
Clés insensibles à la casse à chaque niveau (nom d'arc / chapitre / scène).
|
||||
Description : la première non-vide rencontrée l'emporte (les morceaux suivants
|
||||
ne l'écrasent pas).
|
||||
"""
|
||||
|
||||
def __init__(self) -> None:
|
||||
# arc_key -> {"name", "description", "chapters": {chap_key -> {...}}}
|
||||
self._arcs: dict[str, dict] = {}
|
||||
|
||||
def add(self, arcs_json: list[dict]) -> None:
|
||||
for arc in arcs_json or []:
|
||||
name = str(arc.get("name", "")).strip()
|
||||
if not name:
|
||||
continue
|
||||
a = self._arcs.setdefault(
|
||||
name.lower(), {"name": name, "description": "", "type": "LINEAR", "chapters": {}})
|
||||
self._fill_desc(a, arc)
|
||||
# Type d'arc : HUB l'emporte si un seul morceau le signale (propriété globale
|
||||
# souvent énoncée une fois, dans l'intro du livre).
|
||||
if str(arc.get("type", "")).strip().upper() == "HUB":
|
||||
a["type"] = "HUB"
|
||||
for chap in arc.get("chapters", []) or []:
|
||||
cname = str(chap.get("name", "")).strip()
|
||||
if not cname:
|
||||
continue
|
||||
c = a["chapters"].setdefault(cname.lower(), {"name": cname, "description": "", "scenes": {}})
|
||||
self._fill_desc(c, chap)
|
||||
for sc in chap.get("scenes", []) or []:
|
||||
sname = str(sc.get("name", "")).strip()
|
||||
if not sname:
|
||||
continue
|
||||
s = c["scenes"].setdefault(
|
||||
sname.lower(),
|
||||
{"name": sname, "description": "", "player_narration": "",
|
||||
"gm_notes": "", "rooms": {}})
|
||||
self._fill_desc(s, sc)
|
||||
self._fill_field(s, sc, "player_narration")
|
||||
self._fill_field(s, sc, "gm_notes")
|
||||
for rm in sc.get("rooms", []) or []:
|
||||
rname = str(rm.get("name", "")).strip()
|
||||
if not rname:
|
||||
continue
|
||||
r = s["rooms"].setdefault(
|
||||
rname.lower(),
|
||||
{"name": rname, "description": "", "enemies": "", "loot": ""})
|
||||
self._fill_desc(r, rm)
|
||||
self._fill_field(r, rm, "enemies")
|
||||
self._fill_field(r, rm, "loot")
|
||||
|
||||
@staticmethod
|
||||
def _fill_desc(node: dict, src: dict) -> None:
|
||||
if not node["description"]:
|
||||
node["description"] = str(src.get("description") or "").strip()
|
||||
|
||||
@staticmethod
|
||||
def _fill_field(node: dict, src: dict, field_name: str) -> None:
|
||||
if not node[field_name]:
|
||||
node[field_name] = str(src.get(field_name) or "").strip()
|
||||
|
||||
def result(self) -> list[ArcProposal]:
|
||||
arcs: list[ArcProposal] = []
|
||||
for a in self._arcs.values():
|
||||
chapters: list[ChapterProposal] = []
|
||||
for c in a["chapters"].values():
|
||||
scenes: list[SceneProposal] = []
|
||||
for s in c["scenes"].values():
|
||||
rooms = [
|
||||
RoomProposal(r["name"], r["description"], r["enemies"], r["loot"])
|
||||
for r in s["rooms"].values()
|
||||
]
|
||||
scenes.append(SceneProposal(
|
||||
s["name"], s["description"], s["player_narration"], s["gm_notes"], rooms))
|
||||
chapters.append(ChapterProposal(c["name"], c["description"], scenes))
|
||||
arcs.append(ArcProposal(a["name"], a["description"], a["type"], chapters))
|
||||
return arcs
|
||||
|
||||
def counts(self) -> tuple[int, int, int]:
|
||||
arcs = len(self._arcs)
|
||||
chapters = sum(len(a["chapters"]) for a in self._arcs.values())
|
||||
scenes = sum(len(c["scenes"]) for a in self._arcs.values() for c in a["chapters"].values())
|
||||
return arcs, chapters, scenes
|
||||
|
||||
|
||||
class ImportCampaignUseCase:
|
||||
"""Transforme un PDF de campagne en proposition d'arbre arc→chapitre→scène."""
|
||||
|
||||
def __init__(
|
||||
self,
|
||||
llm: LLMProvider,
|
||||
extractor: PdfTextExtractor,
|
||||
chunk_target_tokens: int = _CHUNK_TARGET_TOKENS,
|
||||
) -> None:
|
||||
self._llm = llm
|
||||
self._extractor = extractor
|
||||
self._chunk_target_tokens = chunk_target_tokens
|
||||
|
||||
async def execute(self, pdf_bytes: bytes) -> CampaignImportResult:
|
||||
"""Variante non-streamée : traite tout puis renvoie l'arbre complet."""
|
||||
doc = self._extractor.extract(pdf_bytes)
|
||||
chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
|
||||
merger = _TreeMerger()
|
||||
for i, chunk in enumerate(chunks):
|
||||
merger.add(await self._map_chunk(chunk, index=i, total=len(chunks)))
|
||||
return CampaignImportResult(
|
||||
arcs=merger.result(),
|
||||
page_count=doc.page_count,
|
||||
ocr_page_count=doc.ocr_page_count,
|
||||
)
|
||||
|
||||
async def stream(self, pdf_bytes: bytes):
|
||||
"""Variante streamée : yield des évènements d'avancement.
|
||||
|
||||
{"type":"extracting"}, puis {"type":"start", page_count, ocr_page_count,
|
||||
total}, puis un {"type":"progress", current, total, arc_count,
|
||||
chapter_count, scene_count} par morceau, et enfin
|
||||
{"type":"done", arcs:[...], page_count, ocr_page_count}.
|
||||
"""
|
||||
yield {"type": "extracting"}
|
||||
|
||||
doc = self._extractor.extract(pdf_bytes)
|
||||
chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
|
||||
total = len(chunks)
|
||||
logger.info(
|
||||
"Import campagne (stream) : %s page(s) (%s via OCR), %s morceau(x).",
|
||||
doc.page_count, doc.ocr_page_count, total,
|
||||
)
|
||||
yield {
|
||||
"type": "start",
|
||||
"page_count": doc.page_count,
|
||||
"ocr_page_count": doc.ocr_page_count,
|
||||
"total": total,
|
||||
}
|
||||
|
||||
merger = _TreeMerger()
|
||||
for i, chunk in enumerate(chunks):
|
||||
merger.add(await self._map_chunk(chunk, index=i, total=total))
|
||||
arcs, chapters, scenes = merger.counts()
|
||||
yield {
|
||||
"type": "progress",
|
||||
"current": i + 1,
|
||||
"total": total,
|
||||
"arc_count": arcs,
|
||||
"chapter_count": chapters,
|
||||
"scene_count": scenes,
|
||||
}
|
||||
|
||||
yield {
|
||||
"type": "done",
|
||||
"arcs": _serialize_arcs(merger.result()),
|
||||
"page_count": doc.page_count,
|
||||
"ocr_page_count": doc.ocr_page_count,
|
||||
}
|
||||
|
||||
# --- MAP : un morceau → sous-arbre ---------------------------------------
|
||||
|
||||
async def _map_chunk(self, chunk: str, *, index: int, total: int) -> list[dict]:
|
||||
prompt = (
|
||||
_MAP_SYSTEM.format(default_arc=_DEFAULT_ARC_NAME)
|
||||
+ f"\n\n--- EXTRAIT {index + 1}/{total} ---\n{chunk}\n\n"
|
||||
"Renvoie maintenant le JSON de l'arborescence."
|
||||
)
|
||||
raw = await generate_with_retry(
|
||||
self._llm, prompt, output_format="json", temperature=_TEMPERATURE)
|
||||
return self._parse_arcs(raw, index=index)
|
||||
|
||||
@staticmethod
|
||||
def _parse_arcs(raw: str, *, index: int) -> list[dict]:
|
||||
"""Parse robuste : objet JSON équilibré, ou récupération partielle si tronqué."""
|
||||
parsed, recovered = load_json_object(raw)
|
||||
if parsed is None:
|
||||
logger.warning("Morceau %s : aucun objet JSON exploitable, ignoré.", index)
|
||||
return []
|
||||
if recovered:
|
||||
logger.warning(
|
||||
"Morceau %s : sortie tronquée — récupération des éléments complets "
|
||||
"(envisagez des morceaux plus petits).", index)
|
||||
if isinstance(parsed, dict):
|
||||
arcs = parsed.get("arcs", [])
|
||||
return arcs if isinstance(arcs, list) else []
|
||||
return []
|
||||
|
||||
|
||||
def _serialize_arcs(arcs: list[ArcProposal]) -> list[dict]:
|
||||
"""Sérialise l'arbre de dataclasses en dicts JSON pour le flux SSE."""
|
||||
return [
|
||||
{
|
||||
"name": a.name,
|
||||
"description": a.description,
|
||||
"type": a.arc_type,
|
||||
"chapters": [
|
||||
{
|
||||
"name": c.name,
|
||||
"description": c.description,
|
||||
"scenes": [
|
||||
{
|
||||
"name": s.name,
|
||||
"description": s.description,
|
||||
"player_narration": s.player_narration,
|
||||
"gm_notes": s.gm_notes,
|
||||
"rooms": [
|
||||
{
|
||||
"name": r.name,
|
||||
"description": r.description,
|
||||
"enemies": r.enemies,
|
||||
"loot": r.loot,
|
||||
}
|
||||
for r in s.rooms
|
||||
],
|
||||
}
|
||||
for s in c.scenes
|
||||
],
|
||||
}
|
||||
for c in a.chapters
|
||||
],
|
||||
}
|
||||
for a in arcs
|
||||
]
|
||||
197
brain/app/application/import_rules.py
Normal file
197
brain/app/application/import_rules.py
Normal file
@@ -0,0 +1,197 @@
|
||||
"""Use case : import d'un PDF de règles → sections markdown structurées.
|
||||
|
||||
Couche APPLICATION. Orchestre :
|
||||
PDF (bytes) → extraction texte (port PdfTextExtractor)
|
||||
→ CHUNKING (le texte d'un livre dépasse la fenêtre de contexte)
|
||||
→ MAP : chaque morceau → {titre de section → markdown}
|
||||
→ REDUCE: fusion des sections de même titre entre morceaux
|
||||
→ RulesImportResult (proposition, NON persistée)
|
||||
|
||||
Ne dépend que des abstractions du domaine (ports LLMProvider + PdfTextExtractor)
|
||||
→ testable avec des fakes, et indépendant du provider concret (Ollama/1min.ai).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
|
||||
from app.application.chunking import CHUNK_TARGET_TOKENS, chunk_text
|
||||
from app.application.llm_json import load_json_object
|
||||
from app.application.llm_retry import generate_with_retry
|
||||
from app.domain.models import RulesImportResult
|
||||
from app.domain.ports import LLMProvider, LLMProviderError, PdfTextExtractor
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# Température basse : tâche de tri/réécriture fidèle, pas de créativité.
|
||||
_TEMPERATURE = 0.2
|
||||
|
||||
# Taxonomie canonique suggérée au modèle pour homogénéiser les titres entre
|
||||
# morceaux (sinon "Combat" / "Le combat" / "Règles de combat" se dispersent).
|
||||
# Le modèle reste libre d'en créer d'autres si rien ne correspond.
|
||||
_CANONICAL_SECTIONS = [
|
||||
"Règles générales",
|
||||
"Création de personnage",
|
||||
"Caractéristiques et tests",
|
||||
"Compétences",
|
||||
"Combat",
|
||||
"Magie et sorts",
|
||||
"Équipement et objets",
|
||||
"États et conditions",
|
||||
"Repos et récupération",
|
||||
"Progression et niveaux",
|
||||
"Conseils au Maître de Jeu",
|
||||
]
|
||||
|
||||
_MAP_SYSTEM = """Tu es un assistant qui réorganise un livre de règles de jeu de rôle.
|
||||
On te donne un EXTRAIT brut d'un PDF de règles (texte parfois mal coupé par la mise en page).
|
||||
|
||||
Ta tâche : répartir le contenu de cet extrait dans des SECTIONS THÉMATIQUES.
|
||||
|
||||
Règles impératives :
|
||||
- Tu réponds UNIQUEMENT par un objet JSON valide, sans markdown ni commentaire autour.
|
||||
- Les CLÉS sont des titres de section (texte court). Les VALEURS sont le contenu de la règle en markdown.
|
||||
- Utilise EN PRIORITÉ ces titres canoniques quand le contenu y correspond :
|
||||
{canonical}
|
||||
- Si un contenu ne rentre dans aucun, crée un titre clair et concis (en français).
|
||||
- Reproduis FIDÈLEMENT les règles : tu peux nettoyer la coupure des lignes, recoller les mots coupés
|
||||
par un tiret en fin de ligne, retirer les en-têtes/pieds de page et numéros de page parasites.
|
||||
- N'INVENTE AUCUNE règle, ne résume pas abusivement : tu réorganises, tu ne réécris pas le fond.
|
||||
- Ignore les pages de garde, sommaires, crédits, pages vides (renvoie {{}} si l'extrait n'a aucune règle)."""
|
||||
|
||||
|
||||
class _SectionMerger:
|
||||
"""Fusionne les sections issues des différents morceaux, ordre préservé.
|
||||
|
||||
Titres insensibles à la casse ("Combat" / "combat" → une seule clé). Chaque
|
||||
`add()` renvoie la liste (dé-dupliquée, ordonnée) des titres touchés par ce
|
||||
morceau — sert au flux de progression pour annoncer les sections trouvées.
|
||||
"""
|
||||
|
||||
def __init__(self) -> None:
|
||||
self._merged: dict[str, list[str]] = {}
|
||||
self._canonical_key: dict[str, str] = {}
|
||||
|
||||
def add(self, sections: dict[str, str]) -> list[str]:
|
||||
touched: list[str] = []
|
||||
for title, content in sections.items():
|
||||
title = title.strip()
|
||||
content = (content or "").strip()
|
||||
if not title or not content:
|
||||
continue
|
||||
key = title.lower()
|
||||
if key not in self._canonical_key:
|
||||
self._canonical_key[key] = title
|
||||
self._merged[title] = []
|
||||
canonical = self._canonical_key[key]
|
||||
self._merged[canonical].append(content)
|
||||
touched.append(canonical)
|
||||
# Dé-duplication en préservant l'ordre d'apparition.
|
||||
seen: set[str] = set()
|
||||
return [t for t in touched if not (t in seen or seen.add(t))]
|
||||
|
||||
def result(self) -> dict[str, str]:
|
||||
return {title: "\n\n".join(parts) for title, parts in self._merged.items()}
|
||||
|
||||
|
||||
class ImportRulesUseCase:
|
||||
"""Transforme un PDF de règles en proposition de sections markdown."""
|
||||
|
||||
def __init__(
|
||||
self,
|
||||
llm: LLMProvider,
|
||||
extractor: PdfTextExtractor,
|
||||
chunk_target_tokens: int = CHUNK_TARGET_TOKENS,
|
||||
) -> None:
|
||||
self._llm = llm
|
||||
self._extractor = extractor
|
||||
self._chunk_target_tokens = chunk_target_tokens
|
||||
|
||||
async def execute(self, pdf_bytes: bytes) -> RulesImportResult:
|
||||
"""Variante non-streamée : traite tout puis renvoie le résultat complet."""
|
||||
doc = self._extractor.extract(pdf_bytes)
|
||||
chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
|
||||
logger.info(
|
||||
"Import règles : %s page(s) (%s via OCR), %s morceau(x) à traiter.",
|
||||
doc.page_count, doc.ocr_page_count, len(chunks),
|
||||
)
|
||||
merger = _SectionMerger()
|
||||
for i, chunk in enumerate(chunks):
|
||||
merger.add(await self._map_chunk(chunk, index=i, total=len(chunks)))
|
||||
return RulesImportResult(
|
||||
sections=merger.result(),
|
||||
page_count=doc.page_count,
|
||||
ocr_page_count=doc.ocr_page_count,
|
||||
)
|
||||
|
||||
async def stream(self, pdf_bytes: bytes):
|
||||
"""Variante streamée : yield des évènements d'avancement au fil de l'eau.
|
||||
|
||||
Évènements (dicts) : {"type": "extracting"}, puis
|
||||
{"type": "start", page_count, ocr_page_count, total}, puis un
|
||||
{"type": "progress", current, total, new_sections:[...]} par morceau,
|
||||
et enfin {"type": "done", sections, page_count, ocr_page_count}.
|
||||
"""
|
||||
# Émis AVANT l'extraction (potentiellement lente si OCR) pour que l'UI
|
||||
# affiche tout de suite "Extraction…" plutôt qu'un écran figé.
|
||||
yield {"type": "extracting"}
|
||||
|
||||
doc = self._extractor.extract(pdf_bytes)
|
||||
chunks = chunk_text(doc.full_text, self._chunk_target_tokens)
|
||||
total = len(chunks)
|
||||
logger.info(
|
||||
"Import règles (stream) : %s page(s) (%s via OCR), %s morceau(x).",
|
||||
doc.page_count, doc.ocr_page_count, total,
|
||||
)
|
||||
yield {
|
||||
"type": "start",
|
||||
"page_count": doc.page_count,
|
||||
"ocr_page_count": doc.ocr_page_count,
|
||||
"total": total,
|
||||
}
|
||||
|
||||
merger = _SectionMerger()
|
||||
for i, chunk in enumerate(chunks):
|
||||
new_titles = merger.add(await self._map_chunk(chunk, index=i, total=total))
|
||||
yield {
|
||||
"type": "progress",
|
||||
"current": i + 1,
|
||||
"total": total,
|
||||
"new_sections": new_titles,
|
||||
}
|
||||
|
||||
yield {
|
||||
"type": "done",
|
||||
"sections": merger.result(),
|
||||
"page_count": doc.page_count,
|
||||
"ocr_page_count": doc.ocr_page_count,
|
||||
}
|
||||
|
||||
# --- MAP : un morceau → sections -----------------------------------------
|
||||
|
||||
async def _map_chunk(self, chunk: str, *, index: int, total: int) -> dict[str, str]:
|
||||
prompt = (
|
||||
_MAP_SYSTEM.format(
|
||||
canonical="\n".join(f" - {s}" for s in _CANONICAL_SECTIONS)
|
||||
)
|
||||
+ f"\n\n--- EXTRAIT {index + 1}/{total} ---\n{chunk}\n\n"
|
||||
"Renvoie maintenant le JSON des sections."
|
||||
)
|
||||
raw = await generate_with_retry(
|
||||
self._llm, prompt, output_format="json", temperature=_TEMPERATURE)
|
||||
return self._parse_sections(raw, index=index)
|
||||
|
||||
@staticmethod
|
||||
def _parse_sections(raw: str, *, index: int) -> dict[str, str]:
|
||||
"""Parse robuste : objet JSON équilibré, ou récupération partielle si tronqué."""
|
||||
parsed, recovered = load_json_object(raw)
|
||||
if parsed is None:
|
||||
logger.warning("Morceau %s : aucun objet JSON exploitable, ignoré.", index)
|
||||
return {}
|
||||
if recovered:
|
||||
logger.warning(
|
||||
"Morceau %s : sortie tronquée — récupération des sections complètes "
|
||||
"(envisagez des morceaux plus petits).", index)
|
||||
if not isinstance(parsed, dict):
|
||||
logger.warning("Morceau %s : le LLM n'a pas renvoyé un objet, ignoré.", index)
|
||||
return {}
|
||||
return {str(k): str(v) for k, v in parsed.items()}
|
||||
126
brain/app/application/llm_json.py
Normal file
126
brain/app/application/llm_json.py
Normal file
@@ -0,0 +1,126 @@
|
||||
"""Extraction robuste d'un objet JSON depuis une réponse LLM.
|
||||
|
||||
Les LLM enrobent souvent leur JSON : fences markdown ```json … ```, texte
|
||||
d'introduction, commentaire de fin, voire un 2e objet. Un simple
|
||||
`json.loads(raw)` ou un `raw[first_brace:last_brace]` échoue dans ces cas
|
||||
("Extra data", accolade parasite dans une string, etc.).
|
||||
|
||||
Cette fonction scanne depuis la PREMIÈRE `{` et renvoie exactement le premier
|
||||
objet `{…}` ÉQUILIBRÉ, en ignorant les accolades à l'intérieur des chaînes JSON
|
||||
et tout ce qui suit. Renvoie None si aucun objet complet n'est trouvé
|
||||
(sortie tronquée / accolades non refermées).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
|
||||
|
||||
def load_json_object(raw: str) -> tuple[object | None, bool]:
|
||||
"""Parse un objet JSON depuis une réponse LLM, avec récupération si tronqué.
|
||||
|
||||
Renvoie (objet_parsé, récupéré_partiellement) :
|
||||
- d'abord on tente le 1er objet complet (extract_json_object) ;
|
||||
- sinon on tente une réparation du JSON tronqué (repair_truncated_json),
|
||||
auquel cas le second élément vaut True.
|
||||
(None, False) si rien d'exploitable.
|
||||
"""
|
||||
obj = extract_json_object(raw)
|
||||
if obj is not None:
|
||||
try:
|
||||
return json.loads(obj), False
|
||||
except json.JSONDecodeError:
|
||||
pass
|
||||
repaired = repair_truncated_json(raw)
|
||||
if repaired is not None:
|
||||
try:
|
||||
return json.loads(repaired), True
|
||||
except json.JSONDecodeError:
|
||||
pass
|
||||
return None, False
|
||||
|
||||
|
||||
def extract_json_object(raw: str) -> str | None:
|
||||
if not raw:
|
||||
return None
|
||||
text = raw.strip()
|
||||
start = text.find("{")
|
||||
if start == -1:
|
||||
return None
|
||||
|
||||
depth = 0
|
||||
in_string = False
|
||||
escape = False
|
||||
for i in range(start, len(text)):
|
||||
c = text[i]
|
||||
if in_string:
|
||||
if escape:
|
||||
escape = False
|
||||
elif c == "\\":
|
||||
escape = True
|
||||
elif c == '"':
|
||||
in_string = False
|
||||
else:
|
||||
if c == '"':
|
||||
in_string = True
|
||||
elif c == "{":
|
||||
depth += 1
|
||||
elif c == "}":
|
||||
depth -= 1
|
||||
if depth == 0:
|
||||
return text[start : i + 1]
|
||||
return None # accolades non refermées (réponse probablement tronquée)
|
||||
|
||||
|
||||
# Fermeture correspondante de chaque ouvrant, pour reconstituer un JSON tronqué.
|
||||
_CLOSE_OF = {"{": "}", "[": "]"}
|
||||
|
||||
|
||||
def repair_truncated_json(raw: str) -> str | None:
|
||||
"""Répare un JSON COUPÉ (sortie LLM tronquée) en gardant les éléments complets.
|
||||
|
||||
On scanne depuis la première `{` et on retient le DERNIER point où un conteneur
|
||||
(`}` ou `]`) vient de se fermer — donc juste après une sous-structure complète
|
||||
(un arc / chapitre / scène / pièce / section entièrement écrit). On coupe là et
|
||||
on referme les conteneurs encore ouverts. L'élément en cours d'écriture au moment
|
||||
de la troncature est abandonné, mais tous les précédents sont sauvés.
|
||||
|
||||
Renvoie une chaîne JSON équilibrée (à valider par json.loads) ou None.
|
||||
"""
|
||||
if not raw:
|
||||
return None
|
||||
text = raw.strip()
|
||||
start = text.find("{")
|
||||
if start == -1:
|
||||
return None
|
||||
|
||||
stack: list[str] = []
|
||||
in_string = False
|
||||
escape = False
|
||||
best_cut = -1 # index (exclusif) où couper
|
||||
best_closing = "" # fermetures à ajouter pour rééquilibrer
|
||||
|
||||
for i in range(start, len(text)):
|
||||
c = text[i]
|
||||
if in_string:
|
||||
if escape:
|
||||
escape = False
|
||||
elif c == "\\":
|
||||
escape = True
|
||||
elif c == '"':
|
||||
in_string = False
|
||||
else:
|
||||
if c == '"':
|
||||
in_string = True
|
||||
elif c in "{[":
|
||||
stack.append(c)
|
||||
elif c in "}]":
|
||||
if stack:
|
||||
stack.pop()
|
||||
# Point de coupe sûr : on vient de fermer une sous-structure complète.
|
||||
best_cut = i + 1
|
||||
best_closing = "".join(_CLOSE_OF[b] for b in reversed(stack))
|
||||
|
||||
if best_cut == -1:
|
||||
return None # rien de complet à sauver
|
||||
head = text[start:best_cut].rstrip().rstrip(",")
|
||||
return head + best_closing
|
||||
47
brain/app/application/llm_retry.py
Normal file
47
brain/app/application/llm_retry.py
Normal file
@@ -0,0 +1,47 @@
|
||||
"""Retry avec backoff pour les appels LLM one-shot (imports).
|
||||
|
||||
Les imports enchaînent de nombreux appels en série ; un échec TRANSITOIRE sur un
|
||||
seul morceau (503/502 surcharge serveur, 504/524 passerelle, timeout réseau) ne
|
||||
doit pas faire échouer tout l'import. On réessaie quelques fois avec une attente
|
||||
croissante. Après épuisement, on relaie l'erreur (problème durable : quota, panne).
|
||||
|
||||
Réservé aux appels `generate` (one-shot, bufferisé) : réessayer est propre, sans
|
||||
risque de doublons. À NE PAS utiliser sur le streaming (re-jouerait des tokens).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
import logging
|
||||
|
||||
from app.domain.ports import LLMProvider, LLMProviderError
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
_ATTEMPTS = 3
|
||||
_BASE_DELAY_SECONDS = 2.0
|
||||
|
||||
|
||||
async def generate_with_retry(
|
||||
llm: LLMProvider,
|
||||
prompt: str,
|
||||
*,
|
||||
output_format: str | None = None,
|
||||
temperature: float | None = None,
|
||||
) -> str:
|
||||
"""Comme `llm.generate`, mais réessaie les erreurs transitoires (backoff x2)."""
|
||||
delay = _BASE_DELAY_SECONDS
|
||||
last_error: LLMProviderError | None = None
|
||||
for attempt in range(_ATTEMPTS):
|
||||
try:
|
||||
return await llm.generate(prompt, output_format=output_format, temperature=temperature)
|
||||
except LLMProviderError as exc:
|
||||
last_error = exc
|
||||
if attempt < _ATTEMPTS - 1:
|
||||
logger.warning(
|
||||
"Appel LLM échoué (tentative %s/%s) : %s — nouvelle tentative dans %ss.",
|
||||
attempt + 1, _ATTEMPTS, exc, delay,
|
||||
)
|
||||
await asyncio.sleep(delay)
|
||||
delay *= 2
|
||||
assert last_error is not None
|
||||
raise last_error
|
||||
@@ -30,7 +30,10 @@ class Settings(BaseSettings):
|
||||
|
||||
ollama_base_url: str = "http://localhost:11434"
|
||||
llm_model: str = "gemma4:26b"
|
||||
llm_timeout_seconds: int = 120
|
||||
# Timeout HTTP des appels au LLM. Les imports/adaptations PDF génèrent de gros
|
||||
# blocs (surtout avec l'extraction riche) → 120s était trop court. Surchargeable
|
||||
# depuis l'UI (Paramètres) si un import lourd dépasse encore.
|
||||
llm_timeout_seconds: int = 300
|
||||
|
||||
# Fenêtre de contexte (num_ctx Ollama). Défaut Ollama = 2048, trop étroit
|
||||
# dès que le Structural Context du Lore dépasse ~10 pages (b9). On monte
|
||||
@@ -44,6 +47,13 @@ class Settings(BaseSettings):
|
||||
onemin_api_key: str = ""
|
||||
onemin_model: str = "gpt-4o-mini"
|
||||
|
||||
# Taille cible d'un morceau (en tokens) pour l'import de PDF (regles/campagne).
|
||||
# Plus c'est gros, moins il y a de morceaux => moins de fragmentation et un
|
||||
# import plus rapide, MAIS il faut que ca tienne dans la fenetre du modele.
|
||||
# Defaut prudent (compatible Ollama num_ctx 16384). Sur un modele a grand
|
||||
# contexte (ex: GPT-5 mini, 400k), monter a ~100000 traite un livre en 1 passe.
|
||||
import_chunk_tokens: int = 10000
|
||||
|
||||
# Secret partage entre le Core Spring et le Brain. Le Brain n'accepte une
|
||||
# requete que si l'entete X-Internal-Secret correspond. Volontairement
|
||||
# non-surchargeable via settings_store (securite critique, .env-only).
|
||||
|
||||
@@ -29,6 +29,7 @@ _ALLOWED_KEYS = frozenset({
|
||||
"llm_num_ctx",
|
||||
"onemin_api_key",
|
||||
"onemin_model",
|
||||
"import_chunk_tokens",
|
||||
})
|
||||
|
||||
|
||||
|
||||
@@ -301,3 +301,128 @@ class SessionContext:
|
||||
in_progress_quests: list[QuestSummary] = field(default_factory=list)
|
||||
locked_quest_titles: list[str] = field(default_factory=list)
|
||||
active_flags: list[str] = field(default_factory=list)
|
||||
|
||||
|
||||
# ─────────────────────── Import de PDF (règles → GameSystem) ───────────────────────
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class ExtractedPage:
|
||||
"""Texte extrait d'UNE page de PDF, avec la trace de la méthode utilisée.
|
||||
|
||||
`used_ocr=True` signale que la page n'avait pas de couche texte exploitable
|
||||
(born-digital absent) et a donc été rasterisée puis passée à l'OCR. Permet
|
||||
au CLI/diagnostic de dire à l'utilisateur si son PDF est "texte" ou "scan".
|
||||
"""
|
||||
|
||||
index: int # 0-based
|
||||
text: str
|
||||
used_ocr: bool
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class ExtractedDocument:
|
||||
"""Résultat brut de l'extraction d'un PDF : une entrée par page."""
|
||||
|
||||
pages: list[ExtractedPage]
|
||||
|
||||
@property
|
||||
def page_count(self) -> int:
|
||||
return len(self.pages)
|
||||
|
||||
@property
|
||||
def ocr_page_count(self) -> int:
|
||||
return sum(1 for p in self.pages if p.used_ocr)
|
||||
|
||||
@property
|
||||
def full_text(self) -> str:
|
||||
"""Concatène le texte de toutes les pages, séparées par un saut double."""
|
||||
return "\n\n".join(p.text for p in self.pages if p.text.strip())
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class RulesImportResult:
|
||||
"""Proposition structurée de règles : sections markdown indexées par titre.
|
||||
|
||||
`sections` = {titre H2 → contenu markdown}. C'est une PROPOSITION : rien
|
||||
n'est persisté côté Core tant que l'utilisateur n'a pas validé/édité.
|
||||
`page_count` / `ocr_page_count` remontent au diagnostic d'extraction.
|
||||
"""
|
||||
|
||||
sections: dict[str, str]
|
||||
page_count: int
|
||||
ocr_page_count: int
|
||||
|
||||
def to_markdown(self) -> str:
|
||||
"""Assemble les sections en un markdown monolithique (## titre + contenu).
|
||||
|
||||
Format aligné sur `GameSystem.rulesMarkdown` côté Core (découpé par H2).
|
||||
"""
|
||||
blocks = [f"## {title}\n\n{content.strip()}" for title, content in self.sections.items()]
|
||||
return "\n\n".join(blocks).strip() + "\n"
|
||||
|
||||
|
||||
# ─────────────────────── Import de PDF de campagne (arbre arc→chapitre→scène) ──────────────
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class RoomProposal:
|
||||
"""Pièce d'un lieu explorable (donjon) proposée pour une scène."""
|
||||
|
||||
name: str
|
||||
description: str
|
||||
enemies: str = ""
|
||||
loot: str = ""
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class SceneProposal:
|
||||
"""Scène proposée. `rooms` non vide => donjon/lieu explorable.
|
||||
|
||||
On capture aussi, quand le livre les fournit, le texte d'encadré « à lire aux
|
||||
joueurs » (`player_narration`) et les secrets/développement MJ (`gm_notes`).
|
||||
"""
|
||||
|
||||
name: str
|
||||
description: str
|
||||
player_narration: str = ""
|
||||
gm_notes: str = ""
|
||||
rooms: list[RoomProposal] = field(default_factory=list)
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class ChapterProposal:
|
||||
"""Chapitre proposé : nom + synopsis + ses scènes."""
|
||||
|
||||
name: str
|
||||
description: str
|
||||
scenes: list[SceneProposal] = field(default_factory=list)
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class ArcProposal:
|
||||
"""Arc proposé : nom + synopsis + type (LINEAR/HUB) + ses chapitres."""
|
||||
|
||||
name: str
|
||||
description: str
|
||||
arc_type: str = "LINEAR"
|
||||
chapters: list[ChapterProposal] = field(default_factory=list)
|
||||
|
||||
|
||||
@dataclass(frozen=True)
|
||||
class CampaignImportResult:
|
||||
"""Proposition d'arborescence narrative extraite d'un PDF de campagne.
|
||||
|
||||
PROPOSITION non persistée : l'UI laisse l'utilisateur réviser/éditer l'arbre
|
||||
avant la création effective des arcs/chapitres/scènes côté Core.
|
||||
"""
|
||||
|
||||
arcs: list[ArcProposal]
|
||||
page_count: int
|
||||
ocr_page_count: int
|
||||
|
||||
def counts(self) -> tuple[int, int, int]:
|
||||
"""(nb arcs, nb chapitres, nb scènes) — pour le diagnostic / la progression."""
|
||||
chapters = sum(len(a.chapters) for a in self.arcs)
|
||||
scenes = sum(len(c.scenes) for a in self.arcs for c in a.chapters)
|
||||
return len(self.arcs), chapters, scenes
|
||||
|
||||
@@ -7,7 +7,10 @@ En Python moderne on privilégie Protocol (PEP 544) sur ABC pour bénéficier
|
||||
du duck typing structurel : toute classe qui possède les bonnes méthodes
|
||||
satisfait le contrat, sans héritage explicite.
|
||||
"""
|
||||
from typing import AsyncIterator, Protocol
|
||||
from typing import TYPE_CHECKING, AsyncIterator, Protocol
|
||||
|
||||
if TYPE_CHECKING:
|
||||
from app.domain.models import ExtractedDocument
|
||||
|
||||
|
||||
class LLMProvider(Protocol):
|
||||
@@ -78,6 +81,32 @@ class LLMChatProvider(Protocol):
|
||||
...
|
||||
|
||||
|
||||
class PdfTextExtractor(Protocol):
|
||||
"""Port sortant — extrait le texte d'un PDF (born-digital ou scan).
|
||||
|
||||
L'implémentation décide de sa stratégie (couche texte directe, repli OCR
|
||||
page par page…). Le domaine ne connaît ni PyMuPDF ni Tesseract.
|
||||
"""
|
||||
|
||||
def extract(self, pdf_bytes: bytes) -> "ExtractedDocument":
|
||||
"""Extrait le texte du PDF fourni sous forme d'octets.
|
||||
|
||||
Args:
|
||||
pdf_bytes: contenu binaire du fichier PDF.
|
||||
|
||||
Returns:
|
||||
ExtractedDocument : une entrée par page (texte + flag OCR).
|
||||
|
||||
Raises:
|
||||
PdfExtractionError: si le PDF est illisible/corrompu.
|
||||
"""
|
||||
...
|
||||
|
||||
|
||||
class PdfExtractionError(Exception):
|
||||
"""Erreur du domaine : un PDF n'a pas pu être lu/extrait."""
|
||||
|
||||
|
||||
class LLMProviderError(Exception):
|
||||
"""Erreur du domaine signalant qu'un LLMProvider n'a pas pu générer.
|
||||
|
||||
|
||||
@@ -14,6 +14,7 @@ avec des marqueurs de role lisibles pour le modele.
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
from typing import AsyncIterator
|
||||
|
||||
import httpx
|
||||
@@ -22,6 +23,8 @@ from app.core.config import Settings
|
||||
from app.domain.models import ChatMessage
|
||||
from app.domain.ports import LLMProviderError
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
_API_BASE = "https://api.1min.ai/api/chat-with-ai"
|
||||
_PAYLOAD_TYPE = "UNIFY_CHAT_WITH_AI"
|
||||
|
||||
@@ -48,6 +51,18 @@ class OneMinAiLLMProvider:
|
||||
"promptObject": {"prompt": prompt},
|
||||
}
|
||||
|
||||
def _format_http_error(self, exc: httpx.HTTPError) -> str:
|
||||
"""Message d'erreur lisible. Un timeout httpx a un str() vide → on le nomme."""
|
||||
if isinstance(exc, httpx.TimeoutException):
|
||||
return (
|
||||
f"Erreur 1min.ai : délai dépassé (timeout {self._timeout}s). Le modèle a mis "
|
||||
"trop de temps à répondre — typique d'un morceau d'import trop gros. "
|
||||
"Réduisez « Taille des morceaux à l'import » (Paramètres → Import de PDF) "
|
||||
"ou augmentez le timeout LLM."
|
||||
)
|
||||
detail = str(exc) or exc.__class__.__name__
|
||||
return f"Erreur 1min.ai ({exc.__class__.__name__}) : {detail}"
|
||||
|
||||
async def generate(
|
||||
self,
|
||||
prompt: str,
|
||||
@@ -55,18 +70,18 @@ class OneMinAiLLMProvider:
|
||||
output_format: str | None = None, # 1min.ai ne supporte pas format=json
|
||||
temperature: float | None = None, # idem, pas d'hyperparam expose ici
|
||||
) -> str:
|
||||
"""Appel one-shot : retourne la reponse complete sous forme de string."""
|
||||
async with httpx.AsyncClient(timeout=self._timeout) as client:
|
||||
try:
|
||||
response = await client.post(
|
||||
_API_BASE, headers=self._headers(), json=self._payload(prompt)
|
||||
)
|
||||
response.raise_for_status()
|
||||
data = response.json()
|
||||
except httpx.HTTPError as exc:
|
||||
raise LLMProviderError(f"Erreur 1min.ai : {exc}") from exc
|
||||
"""One-shot, mais via l'endpoint STREAMING (puis recollage).
|
||||
|
||||
return self._extract_result(data)
|
||||
On NE passe PAS par l'endpoint non-streame `chat-with-ai` : sur les longues
|
||||
generations (gros imports), la passerelle Cloudflare de 1min.ai coupe la
|
||||
connexion au bout de ~100s et renvoie un HTTP 524. En streaming, des octets
|
||||
circulent en continu => pas de 524, quelle que soit la duree. On accumule
|
||||
tous les fragments pour reconstituer la reponse complete.
|
||||
"""
|
||||
chunks: list[str] = []
|
||||
async for token in self._stream_prompt(prompt):
|
||||
chunks.append(token)
|
||||
return "".join(chunks)
|
||||
|
||||
async def stream_chat(
|
||||
self,
|
||||
@@ -75,17 +90,18 @@ class OneMinAiLLMProvider:
|
||||
system_prompt: str | None = None,
|
||||
temperature: float | None = None,
|
||||
) -> AsyncIterator[str]:
|
||||
"""Streame via SSE.
|
||||
|
||||
1min.ai expose deux evenements utiles :
|
||||
- `event: content` → `data: {"content": "..."}`
|
||||
- `event: done` → fin du stream
|
||||
- `event: error` → erreur serveur
|
||||
On yield le champ `content` au fil de l'arrivee.
|
||||
"""
|
||||
"""Streame une conversation : aplatit les messages puis delegue au coeur SSE."""
|
||||
prompt = self._flatten_messages(messages, system_prompt)
|
||||
url = f"{_API_BASE}?isStreaming=true"
|
||||
async for token in self._stream_prompt(prompt):
|
||||
yield token
|
||||
|
||||
async def _stream_prompt(self, prompt: str) -> AsyncIterator[str]:
|
||||
"""Coeur du streaming SSE 1min.ai (`?isStreaming=true`) pour un prompt brut.
|
||||
|
||||
1min.ai expose : `event: content` → `data: {"content": "..."}`, `event: done`,
|
||||
`event: error`. On yield le champ `content` au fil de l'arrivee.
|
||||
"""
|
||||
url = f"{_API_BASE}?isStreaming=true"
|
||||
async with httpx.AsyncClient(timeout=self._timeout) as client:
|
||||
try:
|
||||
async with client.stream(
|
||||
@@ -95,9 +111,7 @@ class OneMinAiLLMProvider:
|
||||
async for token in self._parse_sse(response):
|
||||
yield token
|
||||
except httpx.HTTPError as exc:
|
||||
raise LLMProviderError(
|
||||
f"Erreur lors du streaming 1min.ai : {exc}"
|
||||
) from exc
|
||||
raise LLMProviderError(self._format_http_error(exc)) from exc
|
||||
|
||||
# --- Helpers ------------------------------------------------------------
|
||||
|
||||
@@ -146,12 +160,21 @@ class OneMinAiLLMProvider:
|
||||
"""
|
||||
record = payload.get("aiRecord") or {}
|
||||
detail = record.get("aiRecordDetail") or {}
|
||||
result = detail.get("resultObject") or []
|
||||
if isinstance(result, list):
|
||||
result = detail.get("resultObject")
|
||||
if isinstance(result, list) and result:
|
||||
return "".join(str(x) for x in result)
|
||||
if isinstance(result, str):
|
||||
if isinstance(result, str) and result:
|
||||
return result
|
||||
raise LLMProviderError("Reponse 1min.ai inattendue : resultObject absent.")
|
||||
|
||||
# Schema inattendu : on remonte un EXTRAIT du vrai payload pour diagnostiquer.
|
||||
# Causes frequentes : credits/quota 1min.ai epuises, moderation, modele
|
||||
# indisponible, ou reponse asynchrone (record cree mais resultat pas encore
|
||||
# pret). Sans ce detail, l'erreur "resultObject absent" est aveugle.
|
||||
snippet = json.dumps(payload, ensure_ascii=False)
|
||||
if len(snippet) > 800:
|
||||
snippet = snippet[:800] + "…"
|
||||
logger.warning("Reponse 1min.ai inattendue (resultObject absent) : %s", snippet)
|
||||
raise LLMProviderError(f"Reponse 1min.ai inattendue (resultObject absent) : {snippet}")
|
||||
|
||||
@staticmethod
|
||||
def _flatten_messages(
|
||||
|
||||
102
brain/app/infrastructure/pdf_extractor.py
Normal file
102
brain/app/infrastructure/pdf_extractor.py
Normal file
@@ -0,0 +1,102 @@
|
||||
"""Adapter d'extraction de texte PDF — implémente le port PdfTextExtractor.
|
||||
|
||||
Stratégie HYBRIDE auto :
|
||||
1. On tente d'abord l'extraction de la couche texte (PyMuPDF). Les PDF
|
||||
"born-digital" (livres de règles officiels type Nimble, faits dans
|
||||
InDesign/Affinity : très graphiques mais avec une vraie couche texte)
|
||||
passent par là → rapide, fidèle, AUCUN OCR.
|
||||
2. Si une page ne rend (quasi) aucun texte → c'est probablement une image
|
||||
(scan ou page 100% illustrée). On rasterise la page et on la passe à
|
||||
Tesseract (OCR). Gère donc aussi les scans purs et les PDF mixtes.
|
||||
|
||||
Tesseract est un binaire SYSTÈME (installé dans l'image Docker du Brain). S'il
|
||||
est absent (ex: exécution locale Windows sans install), l'OCR est désactivé
|
||||
proprement : les pages-images ressortent vides mais l'extraction ne plante pas,
|
||||
et le diagnostic le signale (used_ocr reste False, texte vide).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
|
||||
import pymupdf as fitz # PyMuPDF — on importe par le nom canonique `pymupdf`
|
||||
# (et NON `import fitz`) pour éviter la collision avec le faux paquet PyPI "fitz"
|
||||
# qui échoue sur `from frontend import *`.
|
||||
|
||||
from app.domain.models import ExtractedDocument, ExtractedPage
|
||||
from app.domain.ports import PdfExtractionError
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# En dessous de ce nombre de caractères "significatifs" sur une page, on
|
||||
# considère qu'il n'y a pas de couche texte exploitable → repli OCR.
|
||||
_MIN_TEXT_CHARS = 20
|
||||
|
||||
# DPI de rasterisation avant OCR. 300 = bon compromis qualité/vitesse pour du
|
||||
# texte de livre. Plus haut = plus lent et plus gourmand en mémoire.
|
||||
_OCR_DPI = 300
|
||||
|
||||
# Langues Tesseract : français + anglais (la plupart des règles de JDR FR ont
|
||||
# des termes anglais résiduels). Doivent être installées dans l'image Docker
|
||||
# (tesseract-ocr-fra, tesseract-ocr-eng).
|
||||
_OCR_LANGS = "fra+eng"
|
||||
|
||||
|
||||
class PyMuPdfTextExtractor:
|
||||
"""Extracteur PDF basé sur PyMuPDF, avec repli OCR Tesseract optionnel."""
|
||||
|
||||
def __init__(self) -> None:
|
||||
# On détecte la disponibilité de l'OCR une seule fois (le binaire
|
||||
# Tesseract ne va pas apparaître/disparaître en cours d'exécution).
|
||||
self._ocr_available = self._detect_ocr()
|
||||
|
||||
@staticmethod
|
||||
def _detect_ocr() -> bool:
|
||||
"""True si pytesseract + le binaire Tesseract sont disponibles."""
|
||||
try:
|
||||
import pytesseract
|
||||
|
||||
pytesseract.get_tesseract_version()
|
||||
return True
|
||||
except Exception as exc: # ImportError, TesseractNotFoundError, etc.
|
||||
logger.warning(
|
||||
"OCR indisponible (Tesseract non installé ?) : %s. "
|
||||
"Les pages sans couche texte ressortiront vides.",
|
||||
exc,
|
||||
)
|
||||
return False
|
||||
|
||||
def extract(self, pdf_bytes: bytes) -> ExtractedDocument:
|
||||
try:
|
||||
doc = fitz.open(stream=pdf_bytes, filetype="pdf")
|
||||
except Exception as exc:
|
||||
raise PdfExtractionError(f"PDF illisible ou corrompu : {exc}") from exc
|
||||
|
||||
pages: list[ExtractedPage] = []
|
||||
try:
|
||||
for index, page in enumerate(doc):
|
||||
text = (page.get_text() or "").strip()
|
||||
used_ocr = False
|
||||
if len(text) < _MIN_TEXT_CHARS and self._ocr_available:
|
||||
ocr_text = self._ocr_page(page)
|
||||
if ocr_text.strip():
|
||||
text = ocr_text.strip()
|
||||
used_ocr = True
|
||||
pages.append(ExtractedPage(index=index, text=text, used_ocr=used_ocr))
|
||||
finally:
|
||||
doc.close()
|
||||
|
||||
return ExtractedDocument(pages=pages)
|
||||
|
||||
@staticmethod
|
||||
def _ocr_page(page: "fitz.Page") -> str:
|
||||
"""Rasterise une page et lui applique l'OCR Tesseract."""
|
||||
import pytesseract
|
||||
from PIL import Image
|
||||
|
||||
pix = page.get_pixmap(dpi=_OCR_DPI)
|
||||
img = Image.frombytes("RGB", (pix.width, pix.height), pix.samples)
|
||||
try:
|
||||
return pytesseract.image_to_string(img, lang=_OCR_LANGS)
|
||||
except Exception as exc:
|
||||
logger.warning("Échec OCR sur la page %s : %s", page.number, exc)
|
||||
return ""
|
||||
@@ -10,12 +10,15 @@ from typing import Annotated, AsyncIterator, Literal
|
||||
import hmac
|
||||
import httpx
|
||||
import tiktoken
|
||||
from fastapi import Depends, FastAPI, HTTPException, Request
|
||||
from fastapi import Depends, FastAPI, File, Form, HTTPException, Request, UploadFile
|
||||
from fastapi.responses import JSONResponse, StreamingResponse
|
||||
from pydantic import BaseModel, Field
|
||||
|
||||
from app.application.adapt_campaign import AdaptCampaignUseCase
|
||||
from app.application.chat import ChatUseCase
|
||||
from app.application.generate_page import GeneratePageUseCase
|
||||
from app.application.import_campaign import ImportCampaignUseCase
|
||||
from app.application.import_rules import ImportRulesUseCase
|
||||
from app.core.config import Settings, get_settings
|
||||
from app.core.settings_store import save_overrides
|
||||
from app.domain.models import (
|
||||
@@ -39,14 +42,15 @@ from app.domain.models import (
|
||||
SceneSummary,
|
||||
SessionContext,
|
||||
)
|
||||
from app.domain.ports import LLMProvider, LLMProviderError
|
||||
from app.domain.ports import LLMProvider, LLMProviderError, PdfExtractionError
|
||||
from app.infrastructure.ollama_adapter import OllamaLLMProvider
|
||||
from app.infrastructure.onemin_adapter import OneMinAiLLMProvider
|
||||
from app.infrastructure.pdf_extractor import PyMuPdfTextExtractor
|
||||
|
||||
app = FastAPI(
|
||||
title="LoreMind Brain",
|
||||
description="Backend IA pour la génération de contenu narratif.",
|
||||
version="0.9.2-beta",
|
||||
version="0.10.0-beta",
|
||||
)
|
||||
|
||||
|
||||
@@ -375,6 +379,40 @@ def get_chat_use_case(
|
||||
return ChatUseCase(llm=llm) # type: ignore[arg-type]
|
||||
|
||||
|
||||
# Extracteur PDF partagé : la détection OCR (version Tesseract) a un coût
|
||||
# (subprocess) qu'on ne veut pas payer à chaque requête → singleton module.
|
||||
_PDF_EXTRACTOR = PyMuPdfTextExtractor()
|
||||
|
||||
|
||||
def get_import_rules_use_case(
|
||||
llm: Annotated[LLMProvider, Depends(get_llm_provider)],
|
||||
settings: Annotated[Settings, Depends(get_settings)],
|
||||
) -> ImportRulesUseCase:
|
||||
"""Factory du use case d'import de règles PDF (extraction + structuration)."""
|
||||
return ImportRulesUseCase(
|
||||
llm=llm, extractor=_PDF_EXTRACTOR, chunk_target_tokens=settings.import_chunk_tokens)
|
||||
|
||||
|
||||
def get_import_campaign_use_case(
|
||||
llm: Annotated[LLMProvider, Depends(get_llm_provider)],
|
||||
settings: Annotated[Settings, Depends(get_settings)],
|
||||
) -> ImportCampaignUseCase:
|
||||
"""Factory du use case d'import de campagne PDF (extraction + arborescence)."""
|
||||
return ImportCampaignUseCase(
|
||||
llm=llm, extractor=_PDF_EXTRACTOR, chunk_target_tokens=settings.import_chunk_tokens)
|
||||
|
||||
|
||||
def get_adapt_campaign_use_case(
|
||||
llm: Annotated[LLMProvider, Depends(get_llm_provider)],
|
||||
settings: Annotated[Settings, Depends(get_settings)],
|
||||
) -> AdaptCampaignUseCase:
|
||||
"""Factory du use case d'adaptation d'un PDF à une campagne (conseils streamés)."""
|
||||
# L'adapter satisfait aussi LLMChatProvider (stream_chat) par duck typing.
|
||||
# Budget d'entrée = taille de morceau configurée (qui passe déjà côté provider).
|
||||
return AdaptCampaignUseCase( # type: ignore[arg-type]
|
||||
llm=llm, extractor=_PDF_EXTRACTOR, max_input_tokens=settings.import_chunk_tokens)
|
||||
|
||||
|
||||
# --- Endpoints ---
|
||||
|
||||
|
||||
@@ -428,6 +466,177 @@ async def generate_page(
|
||||
return GeneratePageResponseDTO(values=result.values)
|
||||
|
||||
|
||||
class RulesImportResponseDTO(BaseModel):
|
||||
"""Proposition de sections de règles extraites d'un PDF.
|
||||
|
||||
`sections` = {titre → contenu markdown}. C'est une PROPOSITION : le Core
|
||||
et l'UI laissent l'utilisateur réviser/éditer avant toute persistance.
|
||||
`ocr_page_count` permet d'indiquer si le PDF était un scan (OCR utilisé).
|
||||
"""
|
||||
|
||||
sections: dict[str, str]
|
||||
page_count: int
|
||||
ocr_page_count: int
|
||||
|
||||
|
||||
# Garde-fou taille : un livre de règles dépasse rarement quelques dizaines de Mo.
|
||||
# Au-delà, on refuse (probable erreur d'upload) plutôt que d'OOM le conteneur.
|
||||
_MAX_PDF_BYTES = 60 * 1024 * 1024 # 60 Mo
|
||||
|
||||
|
||||
@app.post("/import/rules", response_model=RulesImportResponseDTO)
|
||||
async def import_rules(
|
||||
use_case: Annotated[ImportRulesUseCase, Depends(get_import_rules_use_case)],
|
||||
file: UploadFile = File(...),
|
||||
) -> RulesImportResponseDTO:
|
||||
"""Import d'un PDF de règles → sections markdown structurées (proposition).
|
||||
|
||||
Extrait le texte (couche texte + repli OCR par page pour les scans), découpe,
|
||||
et demande au LLM de répartir les règles en sections thématiques. Ne persiste
|
||||
rien : renvoie la proposition au Core, qui la présente pour révision.
|
||||
"""
|
||||
content = await file.read()
|
||||
if not content:
|
||||
raise HTTPException(status_code=422, detail="Fichier PDF vide.")
|
||||
if len(content) > _MAX_PDF_BYTES:
|
||||
raise HTTPException(
|
||||
status_code=413,
|
||||
detail=f"PDF trop volumineux (> {_MAX_PDF_BYTES // (1024 * 1024)} Mo).",
|
||||
)
|
||||
|
||||
try:
|
||||
result = await use_case.execute(content)
|
||||
except PdfExtractionError as exc:
|
||||
raise HTTPException(status_code=400, detail=str(exc)) from exc
|
||||
except LLMProviderError as exc:
|
||||
raise HTTPException(status_code=502, detail=str(exc)) from exc
|
||||
|
||||
return RulesImportResponseDTO(
|
||||
sections=result.sections,
|
||||
page_count=result.page_count,
|
||||
ocr_page_count=result.ocr_page_count,
|
||||
)
|
||||
|
||||
|
||||
@app.post("/import/rules/stream")
|
||||
async def import_rules_stream(
|
||||
use_case: Annotated[ImportRulesUseCase, Depends(get_import_rules_use_case)],
|
||||
file: UploadFile = File(...),
|
||||
) -> StreamingResponse:
|
||||
"""Import streamé : émet l'avancement (SSE) puis le résultat final.
|
||||
|
||||
Évènements SSE :
|
||||
- `event: extracting` → data: {} (extraction en cours)
|
||||
- `event: start` → data: {page_count, ocr_page_count, total}
|
||||
- `event: progress` → data: {current, total, new_sections:[...]}
|
||||
- `event: done` → data: {sections, page_count, ocr_page_count}
|
||||
- `event: error` → data: {message}
|
||||
"""
|
||||
content = await file.read()
|
||||
|
||||
def _sse(event: str, data: dict) -> str:
|
||||
return f"event: {event}\ndata: {json.dumps(data, ensure_ascii=False)}\n\n"
|
||||
|
||||
async def event_stream() -> AsyncIterator[str]:
|
||||
if not content:
|
||||
yield _sse("error", {"message": "Fichier PDF vide."})
|
||||
return
|
||||
if len(content) > _MAX_PDF_BYTES:
|
||||
yield _sse("error", {"message": f"PDF trop volumineux (> {_MAX_PDF_BYTES // (1024 * 1024)} Mo)."})
|
||||
return
|
||||
try:
|
||||
async for ev in use_case.stream(content):
|
||||
event_type = ev.pop("type")
|
||||
yield _sse(event_type, ev)
|
||||
except PdfExtractionError as exc:
|
||||
yield _sse("error", {"message": str(exc)})
|
||||
except LLMProviderError as exc:
|
||||
yield _sse("error", {"message": str(exc)})
|
||||
|
||||
return StreamingResponse(event_stream(), media_type="text/event-stream")
|
||||
|
||||
|
||||
@app.post("/import/campaign/stream")
|
||||
async def import_campaign_stream(
|
||||
use_case: Annotated[ImportCampaignUseCase, Depends(get_import_campaign_use_case)],
|
||||
file: UploadFile = File(...),
|
||||
) -> StreamingResponse:
|
||||
"""Import streamé d'un PDF de campagne → arbre arc→chapitre→scène (SSE).
|
||||
|
||||
Évènements : `extracting`, `start` {page_count, ocr_page_count, total},
|
||||
`progress` {current, total, arc_count, chapter_count, scene_count},
|
||||
`done` {arcs:[...], page_count, ocr_page_count}, `error` {message}.
|
||||
"""
|
||||
content = await file.read()
|
||||
|
||||
def _sse(event: str, data: dict) -> str:
|
||||
return f"event: {event}\ndata: {json.dumps(data, ensure_ascii=False)}\n\n"
|
||||
|
||||
async def event_stream() -> AsyncIterator[str]:
|
||||
if not content:
|
||||
yield _sse("error", {"message": "Fichier PDF vide."})
|
||||
return
|
||||
if len(content) > _MAX_PDF_BYTES:
|
||||
yield _sse("error", {"message": f"PDF trop volumineux (> {_MAX_PDF_BYTES // (1024 * 1024)} Mo)."})
|
||||
return
|
||||
try:
|
||||
async for ev in use_case.stream(content):
|
||||
event_type = ev.pop("type")
|
||||
yield _sse(event_type, ev)
|
||||
except PdfExtractionError as exc:
|
||||
yield _sse("error", {"message": str(exc)})
|
||||
except LLMProviderError as exc:
|
||||
yield _sse("error", {"message": str(exc)})
|
||||
|
||||
return StreamingResponse(event_stream(), media_type="text/event-stream")
|
||||
|
||||
|
||||
@app.post("/adapt/campaign/stream")
|
||||
async def adapt_campaign_stream(
|
||||
use_case: Annotated[AdaptCampaignUseCase, Depends(get_adapt_campaign_use_case)],
|
||||
file: UploadFile = File(...),
|
||||
brief: str = Form(""),
|
||||
messages: str = Form("[]"),
|
||||
) -> StreamingResponse:
|
||||
"""Adaptation CONVERSATIONNELLE d'un PDF à une campagne (SSE markdown).
|
||||
|
||||
`brief` = description de la campagne (Core). `messages` = JSON de l'échange
|
||||
([{role, content}, …]) ; vide au 1er tour. Évènements : `token`, `done`, `error`.
|
||||
"""
|
||||
content = await file.read()
|
||||
|
||||
try:
|
||||
raw_messages = json.loads(messages) if messages else []
|
||||
except json.JSONDecodeError:
|
||||
raw_messages = []
|
||||
convo = [
|
||||
ChatMessage(role=str(m.get("role", "user")), content=str(m.get("content", "")))
|
||||
for m in raw_messages
|
||||
if isinstance(m, dict) and str(m.get("content", "")).strip()
|
||||
]
|
||||
|
||||
def _sse(event: str, data: dict) -> str:
|
||||
return f"event: {event}\ndata: {json.dumps(data, ensure_ascii=False)}\n\n"
|
||||
|
||||
async def event_stream() -> AsyncIterator[str]:
|
||||
if not content:
|
||||
yield _sse("error", {"message": "Fichier PDF vide."})
|
||||
return
|
||||
if len(content) > _MAX_PDF_BYTES:
|
||||
yield _sse("error", {"message": f"PDF trop volumineux (> {_MAX_PDF_BYTES // (1024 * 1024)} Mo)."})
|
||||
return
|
||||
try:
|
||||
async for token in use_case.stream(content, brief, convo):
|
||||
yield _sse("token", {"token": token})
|
||||
yield _sse("done", {})
|
||||
except PdfExtractionError as exc:
|
||||
yield _sse("error", {"message": str(exc)})
|
||||
except LLMProviderError as exc:
|
||||
yield _sse("error", {"message": str(exc)})
|
||||
|
||||
return StreamingResponse(event_stream(), media_type="text/event-stream")
|
||||
|
||||
|
||||
@app.post("/chat/stream")
|
||||
async def chat_stream(
|
||||
body: ChatStreamRequestDTO,
|
||||
@@ -685,6 +894,10 @@ class SettingsDTO(BaseModel):
|
||||
# Fenetre de contexte effective passee au modele (num_ctx Ollama) — sert
|
||||
# aussi de plafond a la jauge de contexte UI.
|
||||
llm_num_ctx: int
|
||||
# Taille cible d'un morceau (tokens) pour l'import de PDF (regles/campagne).
|
||||
import_chunk_tokens: int
|
||||
# Timeout HTTP des appels LLM (s). A monter si les imports lourds expirent.
|
||||
llm_timeout_seconds: int
|
||||
|
||||
|
||||
class SettingsUpdateDTO(BaseModel):
|
||||
@@ -697,6 +910,8 @@ class SettingsUpdateDTO(BaseModel):
|
||||
# Chaine vide => on efface la cle. None => pas de changement.
|
||||
onemin_api_key: str | None = None
|
||||
llm_num_ctx: int | None = None
|
||||
import_chunk_tokens: int | None = None
|
||||
llm_timeout_seconds: int | None = None
|
||||
|
||||
|
||||
def _to_settings_dto(s: Settings) -> SettingsDTO:
|
||||
@@ -707,6 +922,8 @@ def _to_settings_dto(s: Settings) -> SettingsDTO:
|
||||
onemin_model=s.onemin_model,
|
||||
onemin_api_key_set=bool(s.onemin_api_key),
|
||||
llm_num_ctx=s.llm_num_ctx,
|
||||
import_chunk_tokens=s.import_chunk_tokens,
|
||||
llm_timeout_seconds=s.llm_timeout_seconds,
|
||||
)
|
||||
|
||||
|
||||
|
||||
Reference in New Issue
Block a user