* feat(recipes): associe ingredients, quantites et ustensiles aux techniques detectees
Etend le pipeline de detection de techniques (tech-step-matcher.ts) pour
resoudre, par clause, les metadonnees qui accompagnent une technique
detectee :
- Ingredients : nouvelle fonction findIngredientMentions (ingredient-matcher.ts)
qui scanne le texte d'une clause contre le catalogue Ingredient existant
(reutilise INGREDIENT_LABELS_FR/EN deja utilise par matchIngredientName),
avec extraction best-effort de la quantite+unite immediatement avant la
mention.
- Ustensiles : nouveau catalogue Utensil (Prisma) + second PhraseMatcher
cote service Python (intent_service/utensil_vocabulary.py), independant
du textcat des techniques (pas d'interpretation necessaire pour un
ustensile). POST /v1/process distingue desormais chaque entite via un
champ kind (technique|utensil).
- Persistance : deux nouvelles tables StepTechStepIngredient/
StepTechStepUtensil, liees a StepTechStep par sa cle composite
(stepId, order), peuplees au moment du matching (recipe.service.ts) et
exposees via StepTechStepView (packages/shared).
Aucune analyse syntaxique ajoutee (le parser spaCy reste exclu du
pipeline) : l'association se fait par appartenance a la clause deja
calculee par splitIntoClauses.
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
* fix(recipes): corrige les tests casses par les nouveaux champs ingredients/utensils
recipe-tech-step-correction.test.ts asserte StepTechStepView en dur sans
les nouveaux champs ingredients/utensils (toujours [] pour une correction
manuelle, qui ne repasse jamais par le scan de metadonnees).
Retire aussi le nouveau cas de tech-step-matcher.test.ts qui inventait une
phrase jamais vue par le corpus reel : verifie en CI que le textcat la
classe avec confiance comme caramelize plutot que melt, un artefact du
petit corpus BOW plutot qu'un bug du code de matching. L'extraction
quantite+unite reste couverte integralement et de facon deterministe par
ingredient-matcher.test.ts.
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
* feat(recipes): equilibre le corpus d'entrainement du textcat a 20 phrases par technique
Chaque technique n'avait que 3 a 7 utterances par locale (moyenne ~3.8),
un desequilibre reel entre classes qui contribue directement a des
classifications confiantes mais fausses sur une formulation jamais vue
(constate concretement dans la PR precedente : une phrase inedite pour
melt classee comme caramelize avec une confiance elevee).
Porte chaque technique a exactement 20 utterances par locale (fr et en) :
- Les utterances existantes sont conservees telles quelles, jamais
reecrites.
- Le complement vient d'augment_utterances.py (nouveau script maintainer,
reutilisable pour une future technique sous-alimentee) : enveloppe
chaque utterance deja a l'imperatif/infinitif dans une tournure modale
grammaticalement valide (il faut/veillez a/make sure to...) plutot que
de dupliquer ou d'inventer du texte generique - vraie diversite de
surface, vocabulaire distinctif de la technique intact.
- tests/test_training_data_balance.py fait respecter l'invariant en CI
(20 minimum, meme nombre fr/en) pour toute future modification.
_TRAINING_ITERATIONS recalibre de 25 a 10 (locale_pipeline.py) pour
compenser les ~2.6x d'exemples par epoque : temps d'entrainement mesure
quasi identique a avant (~687s fr+en combines contre ~670s), confiance
egale ou meilleure sur les cas deja suivis (simmer 0.31 -> 0.48).
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
* fix(recipes): remonte _TRAINING_ITERATIONS a 20, la gate F1 de CI etait sous 0.8 a 10
Le premier passage CI de l'equilibrage du corpus (20 utterances/technique)
a fait chuter le F1 agrege (tech-step-eval.test.ts) a 0.7999... avec
_TRAINING_ITERATIONS=10 : le pari qu'un corpus plus large convergerait en
moins d'epoques relatives etait faux a ce niveau de reduction. Remonte a
20 (mesure : ~699s pour la seule locale fr, previsiblement ~1360s pour
fr+en combines) - confiance nettement retablie sur les techniques
auparavant en echec au spot-check manuel (sweat ~0.99).
Consequence directe : le temps de demarrage du service passe d'environ
11 a environ 23 minutes. start_period (docker-compose.yml) et le timeout
d'attente /health (ci.yml) releves de 900s a 1800s en consequence.
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
* fix(recipes): reequilibre le corpus via substitution de synonyme plutot que du remplissage generique
Deux tentatives precedentes de porter chaque technique a 20 utterances
ont mesurablement degrade le F1 agrege (tech-step-eval.test.ts, 0.80 ->
0.79/0.791) au lieu de l'ameliorer : le generateur reposait surtout sur
des tournures modales generiques ("il faut ...", "make sure to ..."),
partagees identiquement par les 74 classes - un textcat bag-of-words lit
ca comme une separabilite reduite entre classes, pas un padding neutre.
augment_utterances.py revu : priorite a la substitution de synonyme
(l'un des synonyms propres a la technique en tete d'une utterance
existante, remplace par un autre - vocabulaire genuinement distinctif),
les tournures modales ne servant plus qu'de complement limite (5 par
locale, pas 12). Resultat : 13 a 20 utterances par technique/locale
(moyenne ~19.7), contre un forcage uniforme a 20 qui necessitait un
remplissage generique disproportionne pour les techniques au vocabulaire
propre pauvre (julienne, sweat, bainMarie - precisement celles qui
echouaient). Confiance mesuree nettement retablie sur ces techniques
(sweat ~0.99, bainMarie ~0.98, julienne ~0.88).
tests/test_training_data_balance.py : plancher abaisse a 12 (vise 20,
garanti seulement si le vocabulaire propre de la technique le permet
sans repasser par le piege ci-dessus) ; suppression de l'exigence
fr/en egaux, plus vraie avec cette strategie (le potentiel de
substitution differe naturellement entre les deux langues).
Suite complete locale : 35/35 verts (22m26s).
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
* revert(recipes): annule le reequilibrage du corpus d'entrainement du textcat
Trois strategies de generation differentes (tournures modales generiques,
tournures reduites + substitution de synonyme, substitution de synonyme
en priorite) ont ete tentees pour porter chaque technique a 20 utterances
par locale. Les trois degradent mesurablement le F1 agrege contre
TECH_STEP_EVAL_DATASET (tech-step-eval.test.ts) en dessous du seuil 0.8 :
0.7999 -> 0.791 -> 0.744 (chaque tentative pire que la precedente).
tech-step-eval-runner.ts documente explicitement ce seuil comme calibre
avec une marge deja tres etroite (0.8 pour un score mesure a 0.815) et
previent contre le fait de l'assouplir pour accommoder un classifieur
plus faible plutot que de corriger le probleme de fond - assouplir le
seuil ou le jeu d'evaluation pour faire passer cette PR irait a l'encontre
de cette convention documentee du projet.
Revient a l'etat d'avant tout reequilibrage (corpus a 3-7 utterances/
technique, _TRAINING_ITERATIONS=25, timeouts a 900s) - le dernier etat
confirme vert en CI sur cette branche. Ameliorer reellement l'equilibre
du corpus necessite du contenu redige a la main et verifie technique par
technique contre ce meme F1, pas une generation programmatique en bloc.
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
* fix(recipes): reequilibre le corpus via substitution de synonyme plutot que du remplissage generique
Trois tentatives precedentes d'egaliser chaque technique a 20 utterances
ont toutes degrade le F1 agrege sous 0.8 (voir le commit revert
precedent). Nouvelle strategie, beaucoup plus conservatrice : egalise
chaque technique vers le maximum DEJA present dans le corpus (7 en fr,
5 en en, portes par cook/preheat), pas vers un nombre choisi dans
l'absolu - +3-4 utterances en moyenne par technique au lieu de +13-17.
augment_utterances.py (nouveau, reutilisable) genere le complement en
priorite par substitution de synonyme (un des synonyms propres a la
technique, en tete d'une utterance existante, remplace par un autre) -
avec un garde-fou supplementaire par rapport aux tentatives precedentes :
le synonyme de remplacement doit lui aussi etre a l'imperatif/infinitif,
pas juste le synonyme d'origine, pour eviter de substituer un groupe
nominal/adjectif ("a petit feu", "gros bouillons") a la place d'un
verbe et produire une phrase grammaticalement cassee. Tournures modales
uniquement en dernier recours pour les techniques dont le vocabulaire
n'apparait qu'en milieu de phrase (julienne, brunoise...).
Resultat : chaque technique a exactement 7 utterances en fr et 5 en en,
sans exception (tests/test_training_data_balance.py fait respecter cet
invariant). _TRAINING_ITERATIONS reste a 25 (inchange). start_period/
timeout d'attente /health releves de 900s a 1200s (temps d'entrainement
mesure ~930s contre ~670s avant, la marge de securite existante etait
devenue trop juste).
Suite complete locale : 35/35 verts (14m41s).
Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
* chore: retrigger CI (aucun run genere pour c7116d4, probable incident GitHub Actions)
---------
Co-authored-by: Claude Sonnet 5 <noreply@anthropic.com>
235 lines
8.8 KiB
TypeScript
235 lines
8.8 KiB
TypeScript
import { expect } from "chai";
|
|
import request from "supertest";
|
|
import { createApp } from "../src/app.js";
|
|
import { prisma } from "../src/db/prisma.js";
|
|
import { syncRecipeSources } from "../src/db/recipe-source-sync.js";
|
|
import { seedReferenceData, TECH_STEPS, UTENSILS } from "../src/db/reference-seed-data.js";
|
|
import type { RecipeSourceAdapter } from "../src/lib/recipe-sources/recipe-source-adapter.js";
|
|
import {
|
|
clearRecipeSources,
|
|
registerRecipeSource,
|
|
} from "../src/lib/recipe-sources/recipe-source-registry.js";
|
|
import { resetDatabase } from "../test-support/reset-db.js";
|
|
|
|
/** A minimal `RecipeSourceAdapter` — only `key`/`name`/`official`/`iconUrl` matter for `syncRecipeSources` fixtures here. */
|
|
function buildFakeAdapter(
|
|
key: string,
|
|
name: string,
|
|
official: boolean,
|
|
iconUrl: string | null = null,
|
|
): RecipeSourceAdapter {
|
|
return {
|
|
key,
|
|
name,
|
|
official,
|
|
iconUrl,
|
|
locale: "fr",
|
|
async list() {
|
|
return { items: [], nextCursor: null };
|
|
},
|
|
async fetchDetail() {
|
|
throw new Error("not implemented");
|
|
},
|
|
parse() {
|
|
throw new Error("not implemented");
|
|
},
|
|
};
|
|
}
|
|
|
|
describe("Reference data", () => {
|
|
const app = createApp();
|
|
|
|
beforeEach(async () => {
|
|
await resetDatabase();
|
|
});
|
|
|
|
after(async () => {
|
|
await prisma.$disconnect();
|
|
});
|
|
|
|
describe("GET /reference/diets", () => {
|
|
it("returns the seeded regimes, no session required", async () => {
|
|
const res = await request(app).get("/reference/diets");
|
|
|
|
expect(res.status).to.equal(200);
|
|
expect(res.body).to.have.length(5);
|
|
expect(res.body.map((d: { key: string }) => d.key)).to.include("vegetarian");
|
|
expect(res.body[0]).to.have.keys(["id", "key"]);
|
|
});
|
|
});
|
|
|
|
describe("GET /reference/allergies", () => {
|
|
it("returns the seeded allergens with their key resolved, no session required", async () => {
|
|
const res = await request(app).get("/reference/allergies");
|
|
|
|
expect(res.status).to.equal(200);
|
|
expect(res.body).to.have.length(14);
|
|
expect(res.body.map((a: { key: string }) => a.key)).to.include("peanuts");
|
|
expect(res.body[0]).to.have.keys(["id", "key", "kind"]);
|
|
});
|
|
|
|
it("classifies Gluten and Sulfites as intolerances, the rest as allergies", async () => {
|
|
const res = await request(app).get("/reference/allergies");
|
|
|
|
const byKey = (key: string) => res.body.find((a: { key: string }) => a.key === key);
|
|
expect(byKey("gluten").kind).to.equal("INTOLERANCE");
|
|
expect(byKey("sulfites").kind).to.equal("INTOLERANCE");
|
|
expect(byKey("peanuts").kind).to.equal("ALLERGY");
|
|
expect(res.body.filter((a: { kind: string }) => a.kind === "INTOLERANCE")).to.have.length(2);
|
|
});
|
|
});
|
|
|
|
describe("GET /reference/ingredients", () => {
|
|
it("returns the seeded ingredients, no session required", async () => {
|
|
const res = await request(app).get("/reference/ingredients");
|
|
|
|
expect(res.status).to.equal(200);
|
|
expect(res.body.length).to.be.greaterThan(0);
|
|
expect(res.body.map((i: { key: string }) => i.key)).to.include("tomato");
|
|
expect(res.body[0]).to.have.keys([
|
|
"id",
|
|
"key",
|
|
"icon",
|
|
"category",
|
|
"subcategory",
|
|
"reproducible",
|
|
"allergens",
|
|
"diets",
|
|
]);
|
|
});
|
|
|
|
it("resolves each ingredient's linked allergens, empty for one with none", async () => {
|
|
const res = await request(app).get("/reference/ingredients");
|
|
|
|
const byKey = (key: string) => res.body.find((i: { key: string }) => i.key === key);
|
|
expect(byKey("egg").allergens.map((a: { key: string }) => a.key)).to.include("eggs");
|
|
expect(byKey("tomato").allergens).to.deep.equal([]);
|
|
});
|
|
});
|
|
|
|
describe("GET /reference/units", () => {
|
|
it("returns the seeded units, no session required", async () => {
|
|
const res = await request(app).get("/reference/units");
|
|
|
|
expect(res.status).to.equal(200);
|
|
expect(res.body).to.have.length(17);
|
|
expect(res.body.map((u: { key: string }) => u.key)).to.include("gram");
|
|
expect(res.body[0]).to.have.keys(["id", "key", "type", "toBaseFactor"]);
|
|
});
|
|
|
|
it("resolves MASS/VOLUME toBaseFactor against their type's base unit, COUNT units all at 1", async () => {
|
|
const res = await request(app).get("/reference/units");
|
|
|
|
const byKey = (key: string) => res.body.find((u: { key: string }) => u.key === key);
|
|
expect(byKey("gram")).to.include({ type: "MASS", toBaseFactor: 1 });
|
|
expect(byKey("kilogram")).to.include({ type: "MASS", toBaseFactor: 1000 });
|
|
expect(byKey("liter")).to.include({ type: "VOLUME", toBaseFactor: 1000 });
|
|
expect(byKey("piece")).to.include({ type: "COUNT", toBaseFactor: 1 });
|
|
expect(byKey("pinch")).to.include({ type: "COUNT", toBaseFactor: 1 });
|
|
expect(byKey("cup")).to.include({ type: "VOLUME", toBaseFactor: 236.5882 });
|
|
expect(byKey("ounce")).to.include({ type: "MASS", toBaseFactor: 28.3495 });
|
|
expect(byKey("pound")).to.include({ type: "MASS", toBaseFactor: 453.5924 });
|
|
});
|
|
});
|
|
|
|
describe("GET /reference/tech-steps", () => {
|
|
it("returns the seeded techniques, no session required", async () => {
|
|
const res = await request(app).get("/reference/tech-steps");
|
|
|
|
expect(res.status).to.equal(200);
|
|
// `TECH_STEPS.length` (reference-seed-data.ts), not a hardcoded
|
|
// number — this catalog has grown since (26 -> 74) and will again.
|
|
expect(res.body).to.have.length(TECH_STEPS.length);
|
|
expect(res.body.map((t: { key: string }) => t.key)).to.include("simmer");
|
|
expect(res.body[0]).to.have.keys(["id", "key"]);
|
|
});
|
|
|
|
it("orders techniques alphabetically by key", async () => {
|
|
const res = await request(app).get("/reference/tech-steps");
|
|
|
|
const keys = res.body.map((t: { key: string }) => t.key);
|
|
expect(keys).to.deep.equal([...keys].sort());
|
|
});
|
|
|
|
it("reseeding is idempotent — no duplicate techniques", async () => {
|
|
// resetDatabase already seeded once in beforeEach; seed a second time
|
|
// on top of that without truncating, the way a redeploy would.
|
|
await seedReferenceData(prisma);
|
|
|
|
const res = await request(app).get("/reference/tech-steps");
|
|
expect(res.body).to.have.length(TECH_STEPS.length);
|
|
});
|
|
});
|
|
|
|
describe("GET /reference/utensils", () => {
|
|
it("returns the seeded utensils, no session required", async () => {
|
|
const res = await request(app).get("/reference/utensils");
|
|
|
|
expect(res.status).to.equal(200);
|
|
expect(res.body).to.have.length(UTENSILS.length);
|
|
expect(res.body.map((u: { key: string }) => u.key)).to.include("pan");
|
|
expect(res.body[0]).to.have.keys(["id", "key"]);
|
|
});
|
|
|
|
it("orders utensils alphabetically by key", async () => {
|
|
const res = await request(app).get("/reference/utensils");
|
|
|
|
const keys = res.body.map((u: { key: string }) => u.key);
|
|
expect(keys).to.deep.equal([...keys].sort());
|
|
});
|
|
|
|
it("reseeding is idempotent — no duplicate utensils", async () => {
|
|
await seedReferenceData(prisma);
|
|
|
|
const res = await request(app).get("/reference/utensils");
|
|
expect(res.body).to.have.length(UTENSILS.length);
|
|
});
|
|
});
|
|
|
|
describe("GET /reference/sources", () => {
|
|
afterEach(() => {
|
|
clearRecipeSources();
|
|
});
|
|
|
|
it("is empty until a concrete adapter is registered", async () => {
|
|
const res = await request(app).get("/reference/sources");
|
|
|
|
expect(res.status).to.equal(200);
|
|
expect(res.body).to.deep.equal([]);
|
|
});
|
|
|
|
it("returns every synced adapter, official flag and icon included, no session required", async () => {
|
|
registerRecipeSource(buildFakeAdapter("fakeSource", "Fake Source", false));
|
|
registerRecipeSource(
|
|
buildFakeAdapter(
|
|
"officialSource",
|
|
"Official Source",
|
|
true,
|
|
"https://example.test/icon.svg",
|
|
),
|
|
);
|
|
await syncRecipeSources(prisma);
|
|
|
|
const res = await request(app).get("/reference/sources");
|
|
|
|
expect(res.status).to.equal(200);
|
|
expect(res.body).to.have.length(2);
|
|
expect(res.body[0]).to.have.keys(["id", "key", "name", "official", "iconUrl"]);
|
|
const byKey = (key: string) => res.body.find((s: { key: string }) => s.key === key);
|
|
expect(byKey("fakeSource").official).to.equal(false);
|
|
expect(byKey("fakeSource").iconUrl).to.equal(null);
|
|
expect(byKey("officialSource").official).to.equal(true);
|
|
expect(byKey("officialSource").iconUrl).to.equal("https://example.test/icon.svg");
|
|
});
|
|
|
|
it("orders sources alphabetically by name", async () => {
|
|
registerRecipeSource(buildFakeAdapter("bSource", "Bravo", false));
|
|
registerRecipeSource(buildFakeAdapter("aSource", "Alpha", false));
|
|
await syncRecipeSources(prisma);
|
|
|
|
const res = await request(app).get("/reference/sources");
|
|
|
|
expect(res.body.map((s: { name: string }) => s.name)).to.deep.equal(["Alpha", "Bravo"]);
|
|
});
|
|
});
|
|
});
|