Faut-il fine-tuner ou prompter

« On va fine-tuner un modèle sur nos données. » Je l'entends à presque chaque premier échange, dit avec l'assurance de celui qui a trouvé la solution sérieuse. Dans la quasi-totalité des cas, c'est le mauvais réflexe : plus cher à mettre en place, plus long à livrer, et rarement meilleur que ce qu'un bon prompt aurait donné en une après-midi. Le fine-tuning garde une aura de sérieux qu'il ne mérite pas toujours. Voici comment je tranche, à chaque fois, entre fine-tuner et prompter.

Fine-tuner ou prompter : c'est quoi la différence, au juste ?

Prompter, c'est écrire de bonnes instructions à un modèle déjà entraîné : vous lui dites quoi faire, comment le faire, avec quelques exemples, à chaque appel. Fine-tuner, c'est réentraîner ce modèle sur vos propres exemples pour modifier son comportement en profondeur. La confusion vient de là : on imagine que le fine-tuning « apprend votre métier au modèle », comme une formation qu'il retiendrait pour toujours. Dans la pratique, prompter suffit à obtenir le même résultat neuf fois sur dix, sans rien réentraîner et sans immobiliser personne pendant des semaines. Avant d'ouvrir le chantier lourd, je vérifie donc deux choses : que le besoin est réel, et que le prompting a vraiment atteint ses limites, pas juste qu'on l'a bâclé.

Ce que le prompting règle déjà, sans dette technique ?

La grande majorité des besoins tiennent dans de bonnes instructions et quelques exemples bien choisis. Tout se pilote au prompt, immédiatement, sans entraînement ni corpus à réunir : c'est ajustable en direct, versionnable comme du code, et ça ne crée aucune dette technique. Quand un cas résiste, on affine les consignes et on ajoute deux ou trois exemples, pas un pipeline d'entraînement à maintenir.

• Le format de sortie : JSON, tableau, gabarit fixe, obtenu par l'instruction et un ou deux exemples.
• Le ton et le style : formel, direct, commercial, réglé en une phrase de consigne.
• Les règles métier : ce qu'il faut faire, ce qu'il faut refuser, les cas limites, écrits noir sur blanc.
• La connaissance à jour : injectée dans le prompt au moment voulu, plutôt que gravée dans le modèle.

Autrement dit, avant même de toucher aux poids du modèle, on dispose déjà d'énormément de marge rien qu'en écrivant mieux. La plupart des projets que je reprends n'avaient pas épuisé cette marge : ils avaient sauté directement à l'idée de fine-tuner, en confondant « ça résiste » avec « le prompting ne peut pas ».

Pourquoi le fine-tuning coûte plus cher qu'il n'en a l'air ?

Parce que le prix de l'entraînement est la partie visible, et la moins chère. Le vrai coût est ailleurs. Il faut d'abord réunir et nettoyer des centaines, parfois des milliers d'exemples de qualité, ce qui suppose que vos données soient prêtes, rarement le cas au départ. Ensuite, un modèle fine-tuné se maintient : chaque fois que le fournisseur sort une version plus performante, votre fine-tune reste bloqué sur l'ancienne, et il faut tout refaire pour profiter du progrès. C'est ce coût récurrent, pas la facture initiale, qui plombe l'affaire. Là où un prompt se corrige en cinq minutes, un fine-tune se réentraîne, se re-teste et se redéploie à chaque fois.

• La préparation des données : réunir, nettoyer et étiqueter assez d'exemples de qualité, le poste le plus lourd et le plus sous-estimé.
• La maintenance : à chaque nouvelle version du modèle, votre fine-tune vieillit et doit être refait pour rester compétitif.
• La rigidité : corriger un comportement demande un réentraînement, pas une ligne d'instruction modifiée.
• L'évaluation : sans jeu de tests solide, vous ne savez même pas si le fine-tune fait mieux que le prompt qu'il remplace.

Vouloir « un modèle qui connaît votre métier », est-ce vraiment du fine-tuning ?

Le plus souvent, non. Quand on me demande de fine-tuner « pour que le modèle connaisse nos produits, nos procédures, nos contrats », on décrit un besoin de connaissance, pas de comportement. Or le fine-tuning change la façon dont le modèle répond, pas ce qu'il sait de vos documents. Pour lui donner accès à vos informations à jour, la bonne approche est presque toujours d'aller les chercher au moment de la question et de les fournir dans le contexte : c'est le principe du RAG. J'ai détaillé ce choix dans RAG ou fine-tuning, parce que confondre les deux fait dépenser cher pour résoudre le mauvais problème. La règle tient en une ligne : le fine-tuning pour la forme, le RAG pour les faits.

Quand le fine-tuning se justifie-t-il vraiment ?

Dans une minorité de cas, quand le prompting plafonne malgré tous les efforts et que les chiffres, eux, réclament autre chose. Concrètement, trois situations le justifient.

• Un style ou un format très spécifique, exigé à très grand volume, qu'aucune instruction ne stabilise assez.
• Une latence ou un coût à compresser sur une tâche répétée des millions de fois, où un petit modèle fine-tuné bat un gros modèle prompté. Avant d'en arriver là, je vérifie les autres leviers pour réduire la facture.
• Un domaine très pointu où le prompting plafonne vraiment, exemples à l'appui, pas par simple impression.

Le point commun de ces trois cas, c'est le volume. Fine-tuner ne se rentabilise qu'à l'échelle, quand le gain unitaire, multiplié par un très grand nombre d'appels, finit par dépasser le coût de préparation et de maintenance. En dessous de ce seuil, le calcul ne tient pas, et le prompt reste le meilleur choix, de loin.

Comment décider sans se tromper ?

En suivant toujours le même ordre, et en refusant de sauter les étapes. D'abord prompter sérieusement : instructions nettes, exemples représentatifs, puis mesure sur de vrais cas, pas sur trois exemples choisis à la main. Ensuite seulement, si un plafond apparaît noir sur blanc, envisager le fine-tuning et le comparer au prompt sur exactement les mêmes tests. Fine-tuner d'entrée, c'est se lier à un modèle et une version précise avant même de savoir si le prompting suffisait, et payer pour l'apprendre. L'ordre inverse, lui, coûte cher et n'apprend rien.

Fine-tuner n'est pas la preuve qu'on prend l'IA au sérieux. C'est souvent la preuve qu'on n'a pas assez essayé de prompter.

Avant de lancer un fine-tuning, posez-vous une question simple : avez-vous vraiment poussé le prompting jusqu'à son plafond, chiffres à l'appui ? Neuf fois sur dix, la réponse est non, et l'économie est immédiate. Si vous hésitez sur votre cas précis, ou si vous voulez vérifier qu'un fine-tune déjà en place se justifie encore, parlons-en : un premier échange suffit souvent à trancher, sans engagement.