De la sémantique à la structure : La fin du règne du mot

Le prompt engineering — cette discipline d'optimisation de séquences de mots pour guider un modèle de diffusion — a atteint ses limites structurelles. Un prompt décrit ce qu'on veut mais ne contrôle pas où dans l'image cela apparaît, ni comment les éléments s'articulent. C'est de la sémantique sans syntaxe spatiale.

L'orchestration latente repose sur un principe différent : contraindre l'espace de représentation du modèle (son "espace latent") par des signaux structurels plutôt que sémantiques. Un ControlNet de profondeur impose la géométrie de la scène. Un ControlNet de pose impose la posture d'un personnage. Un IP-Adapter injecte le style d'une référence visuelle. Ces contraintes structurelles sont non-ambiguës là où le langage est vague.

Dans ma pratique, l'orchestration latente a transformé le process de brief client : au lieu de décrire en mots l'image souhaitée (exercice frustrant pour le client et approximatif pour moi), je construis un "squelette structurel" — une carte de profondeur, une silhouette, une référence de lumière — et je laisse le modèle habiller ce squelette selon les paramètres de style définis. Le résultat est toujours structurellement conforme, même si les détails esthétiques varient.