Remplace TechStepClassifierService's node-nlp (NlpManager) par services/tech-step-intent-service, un microservice FastAPI/spaCy dedie (PhraseMatcher pour le NER par synonymes, textcat pour la classification d'intention). Corpus (TECH_STEP_TRAINING_DATA) toujours possede par apps/api, pousse au service via POST /v1/train a chaque warm-up ; le service ne touche jamais Postgres (meme posture que services/tech-step-llm-worker). Cote apps/api : - intent-service-client.ts : client HTTP vers le nouveau service - tech-step-matcher.ts : delegue NER + intent classification au client, logique pure (splitIntoClauses, seuil/fallback) inchangee - env.ts : INTENT_SERVICE_BASE_URL/INTENT_SERVICE_SECRET (secret requis, service coeur non optionnel) - server.ts : warm-up avec retry/backoff (service Python demarre a part) - scripts/calibrate-tech-step-threshold.ts : recalibration empirique de CONFIDENCE_THRESHOLD contre le jeu d'eval existant - node-nlp retire (package.json, node-nlp.d.ts, model.nlp du .gitignore) docker-compose.yml : nouveau service tech-step-intent-service (pas de port expose, healthcheck, app en depend). CI : job intent-service-test (pytest) + le job test demarre le service en arriere-plan avant la suite Mocha (jamais de mock d'un service interne, cf specs/dev-conventions.md). Verifie : 26/26 tests pytest du service (dont les offsets caracteres exacts de tech-step-matcher.test.ts), lint + build complets du monorepo, smoke test HTTP reel bout en bout. La suite Mocha et docker compose build/up n'ont pas pu etre executes dans cet environnement (pas de Postgres/Docker disponibles ici) — a confirmer via la CI et en local. Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
126 lines
5 KiB
Python
126 lines
5 KiB
Python
"""Rejoue les cas d'offsets caractère exacts et d'insensibilité accents/casse
|
|
de `tech-step-matcher.test.ts` (`apps/api/test/recipe-matching/tech-step-matcher.test.ts`)
|
|
contre le `PhraseMatcher`/`diacritics_normalizer` de `LocalePipeline` — le
|
|
point de fidélité le plus critique de cette migration (voir le plan). Doit
|
|
être vert *avant* de brancher `apps/api` dessus.
|
|
|
|
Ces tests entraînent un pipeline minimal (pas le corpus complet
|
|
`TECH_STEP_TRAINING_DATA`, propriété de `apps/api`) avec juste assez de
|
|
`synonyms`/`utterances` pour reproduire chaque cas — le textcat n'est pas ce
|
|
qui est vérifié ici (voir `test_locale_pipeline_intent.py`).
|
|
"""
|
|
|
|
import pytest
|
|
|
|
from intent_service.locale_pipeline import LocalePipeline, TrainEntry
|
|
|
|
# Un jeu d'entrées minimal mais réaliste, reprenant les synonymes réels de
|
|
# `tech-step-training-data.ts` pour "preheat"/"melt" qui rendent les cas
|
|
# `tech-step-matcher.test.ts` exacts (voir ce fichier, lignes 155/787).
|
|
_FR_ENTRIES = [
|
|
TrainEntry(
|
|
uid="preheat",
|
|
synonyms=["préchauffer", "poêle chaude"],
|
|
utterances=["préchauffer le four à 180 degrés", "mettre la poêle sur feu vif"],
|
|
),
|
|
TrainEntry(
|
|
uid="melt",
|
|
synonyms=["faire fondre", "faire chauffer"],
|
|
utterances=["faire fondre le beurre", "faire chauffer une noix de beurre"],
|
|
),
|
|
TrainEntry(
|
|
uid="simmer",
|
|
synonyms=["mijoter"],
|
|
utterances=["faire mijoter à feu doux", "laisser mijoter à couvert"],
|
|
),
|
|
]
|
|
|
|
|
|
@pytest.fixture(scope="module")
|
|
def fr_pipeline() -> LocalePipeline:
|
|
pipeline = LocalePipeline("fr")
|
|
pipeline.train(_FR_ENTRIES)
|
|
return pipeline
|
|
|
|
|
|
def test_matches_an_exact_expression(fr_pipeline: LocalePipeline):
|
|
result = fr_pipeline.process("Faire mijoter à feu doux")
|
|
assert [entity.uid for entity in result.entities] == ["simmer"]
|
|
entity = result.entities[0]
|
|
text = "Faire mijoter à feu doux"
|
|
assert text[entity.start : entity.end].lower() == "mijoter"
|
|
|
|
|
|
def test_is_case_and_accent_insensitive(fr_pipeline: LocalePipeline):
|
|
result = fr_pipeline.process("FAIRE MIJOTER")
|
|
assert [entity.uid for entity in result.entities] == ["simmer"]
|
|
|
|
|
|
def test_returns_no_entities_when_nothing_matches(fr_pipeline: LocalePipeline):
|
|
result = fr_pipeline.process("Ranger les couverts dans le tiroir")
|
|
assert result.entities == []
|
|
|
|
|
|
def test_returns_empty_for_an_empty_text(fr_pipeline: LocalePipeline):
|
|
result = fr_pipeline.process("")
|
|
assert result.entities == []
|
|
assert result.intent is None
|
|
assert result.score == 0.0
|
|
|
|
|
|
def test_untrained_locale_returns_empty_without_error():
|
|
pipeline = LocalePipeline("en")
|
|
result = pipeline.process("melt the butter")
|
|
assert result.entities == []
|
|
assert result.intent is None
|
|
assert result.score == 0.0
|
|
|
|
|
|
def test_detects_two_techniques_with_exact_tight_spans_reading_order(fr_pipeline: LocalePipeline):
|
|
text = "Préchauffer la poêle, puis faire fondre le beurre"
|
|
result = fr_pipeline.process(text)
|
|
|
|
uids_by_start = sorted(((entity.start, entity.uid) for entity in result.entities))
|
|
assert [uid for _, uid in uids_by_start] == ["preheat", "melt"]
|
|
|
|
preheat_entity = next(e for e in result.entities if e.uid == "preheat")
|
|
melt_entity = next(e for e in result.entities if e.uid == "melt")
|
|
assert text[preheat_entity.start : preheat_entity.end].lower() == "préchauffer"
|
|
assert text[melt_entity.start : melt_entity.end].lower() == "faire fondre"
|
|
|
|
|
|
def test_matches_the_classic_poele_chaude_example_with_exact_offsets(fr_pipeline: LocalePipeline):
|
|
# Le cas motivant les context spans côté apps/api (tech-step-matcher.test.ts) :
|
|
# le mot-clé de `preheat` est un groupe nominal ("poêle chaude"), pas un
|
|
# verbe. Offsets attendus IDENTIQUES à ceux du test TS d'origine :
|
|
# preheat -> [9, 21) ("poêle chaude"), melt -> [23, 37) ("faire chauffer").
|
|
text = "Dans une poêle chaude, faire chauffer une noix de beurre"
|
|
result = fr_pipeline.process(text)
|
|
|
|
preheat_entity = next(e for e in result.entities if e.uid == "preheat")
|
|
melt_entity = next(e for e in result.entities if e.uid == "melt")
|
|
|
|
assert (preheat_entity.start, preheat_entity.end) == (9, 21)
|
|
assert text[preheat_entity.start : preheat_entity.end] == "poêle chaude"
|
|
|
|
assert (melt_entity.start, melt_entity.end) == (23, 37)
|
|
assert text[melt_entity.start : melt_entity.end] == "faire chauffer"
|
|
|
|
|
|
def test_chop_matches_english_text_tight_span():
|
|
pipeline = LocalePipeline("en")
|
|
pipeline.train(
|
|
[
|
|
TrainEntry(
|
|
uid="chop",
|
|
synonyms=["chop"],
|
|
utterances=["chop the onions finely", "finely chop the garlic"],
|
|
),
|
|
TrainEntry(uid="boil", synonyms=["boil"], utterances=["bring to the boil", "boil the water"]),
|
|
]
|
|
)
|
|
text = "Chop the onions finely"
|
|
result = pipeline.process(text)
|
|
chop_entity = next(e for e in result.entities if e.uid == "chop")
|
|
assert (chop_entity.start, chop_entity.end) == (0, 4)
|
|
assert text[chop_entity.start : chop_entity.end] == "Chop"
|