⏱️ Durée fine-tuning : prévoir le temps GPU en 2026
Découvrez pourquoi les FLOP sous-estiment la durée du fine-tuning et apprenez à mieux prévoir le temps GPU en 2026 pour l’entraînement de LLM.

Fine-tuning : pourquoi le calcul en FLOP ne suffit pas à prévoir sa durée
Un calcul de capacité annonce neuf heures de fine-tuning. Le lendemain, l'entraînement tourne encore. Ce décalage n'est pas qu'un souci de précision : sur un cluster GPU partagé, il repousse les expériences suivantes, complique la tenue des échéances et laisse parfois des ressources coûteuses inutilisées.
La cause est souvent la même. On estime le temps nécessaire aux opérations d'entraînement, puis on traite le reste comme un détail. Or un fine-tuning, ce n'est pas uniquement la boucle de calcul : il y a aussi le chargement des données et du modèle, les évaluations, les sauvegardes et les transferts vers le stockage. Ces tâches ne suivent pas toujours la logique du calcul principal, surtout quand plusieurs équipes se partagent les mêmes machines.
Une étude basée sur 272 entraînements de production sur des GPU NVIDIA H200 quantifie l'écart entre le calcul théorique et la durée réelle. Elle compare des estimations fondées sur les FLOP à des modèles capables d'intégrer la configuration complète du travail. Voici ce que montrent les résultats, comment les lire, et ce qu'une équipe peut en tirer pour mieux planifier son infrastructure.
Pourquoi les FLOP sous-estiment la durée réelle
Pour un Transformer dense, on utilise souvent une estimation courante du coût d'entraînement d'environ 6 × P × D opérations en virgule flottante, avec P le nombre de paramètres et D le nombre de jetons traités. En divisant ce coût par le débit théorique des GPU, on obtient une durée estimée pour la boucle d'entraînement :
Tthéorique = (6 × P × D) / (nombre de GPU × FLOP/s de pointe × MFU)
La MFU (Model FLOPs Utilization) correspond à la part de la capacité maximale réellement utilisée pour le calcul du modèle. En pratique, elle est rarement à 100 % : accès mémoire, communications entre GPU et efficacité des noyaux logiciels limitent le débit utile. Une fourchette de 30 à 60 % est fréquemment utilisée, mais la valeur exacte dépend du modèle, du matériel et du logiciel.
Le problème : cette formule décrit surtout le temps de calcul de la boucle d'optimisation. Elle ne dit rien, ou presque, sur la durée de bout en bout entre l'allocation des GPU et la fin du travail - c'est précisément ce qui intéresse une équipe qui doit planifier un cluster.
Le calcul n'est qu'une partie du travail
Avant même la première itération, le système doit parfois préparer l'environnement, télécharger le modèle, charger ses poids et traiter les données. Pendant l'entraînement, il peut lancer des évaluations périodiques et enregistrer des points de contrôle. À la fin, il reste encore à sauvegarder le modèle final, parfois vers un stockage objet distant.
Ces opérations sollicitent du calcul, de la mémoire, du réseau et du stockage. Sur une infrastructure partagée, elles entrent en concurrence avec d'autres entraînements ou des services d'inférence. Même une sauvegarde qui paraît « rapide » dans un environnement calme peut devenir nettement plus lente quand les accès au stockage sont saturés.
Surtout, le temps de ces étapes ne grossit pas forcément au même rythme que les jetons ou le nombre de GPU. Deux travaux avec un coût théorique identique peuvent donc se retrouver séparés de plusieurs heures, selon leur cadence d'évaluation, leur politique de sauvegarde et la contention au moment où ils s'exécutent.
Pourquoi ajuster seulement la MFU ne suffit pas
On peut essayer de corriger l'estimation en choisissant une MFU plus basse. Mais ce réglage ne traite pas le cœur du problème : il applique un facteur global à une durée qui, elle, dépend de plusieurs sous-processus distincts. Résultat : une MFU « prudente » peut réduire la sous-estimation sur certains travaux tout en aggravant l'erreur sur d'autres.
Dans l'étude, l'estimation par FLOP la plus performante utilisait une MFU de 30 %. Son erreur absolue moyenne restait de 12,41 heures, pour des travaux d'une durée moyenne de 23,43 heures. Balayer la MFU entre 25 et 65 % ne permet pas de trouver une valeur qui rende la méthode fiable pour tous les cas.
La conclusion pratique n'est donc pas d'abandonner le calcul théorique. Il reste utile pour cadrer l'échelle du coût et comparer des scénarios. Simplement, il ne faut pas le confondre avec une prévision de durée opérationnelle.
Comment construire une prévision avant le lancement
L'étude reformule la durée de bout en bout comme un problème de régression supervisée. Le modèle reçoit des informations disponibles avant le lancement, puis prédit le temps écoulé entre l'allocation des GPU et la fin du travail. Le temps passé en file d'attente est exclu : il dépend de la politique d'ordonnancement et n'est pas la durée d'exécution elle-même.
Ce cadrage rend la prévision utilisable par un ordonnanceur. Si le modèle devait s'appuyer sur des journaux d'exécution ou sur l'avancement réel du job, il serait trop tard pour estimer une durée avant d'attribuer des ressources. Les caractéristiques proviennent donc de la configuration soumise et des métadonnées du modèle.
Ajouter des signaux liés aux coûts réels
Les paramètres bruts - taille du modèle, données et allocation GPU - sont complétés par des variables dérivées pour mieux représenter les tâches annexes. On retrouve notamment :
- le nombre total d'exemples traités pendant les cycles d'évaluation ;
- le nombre de sauvegardes prévues et le volume de paramètres enregistrés ;
- le volume de jetons par GPU ;
- la taille des lots d'entraînement et d'évaluation ;
- le régime de fine-tuning, par exemple LoRA ou ajustement complet ;
- le logiciel d'entraînement utilisé.
L'estimation en FLOP, calculée avec une MFU fixée à 45 %, est aussi fournie au modèle. Elle sert de point de départ : l'algorithme apprend ensuite quand il doit ajuster l'estimation à la hausse ou à la baisse à partir des autres caractéristiques.
Apprendre les interactions plutôt que chercher une règle unique
Les auteurs comparent plusieurs approches : régression linéaire, Ridge, XGBoost et CatBoost. La sélection des variables combine plusieurs méthodes, dont la corrélation, l'information mutuelle et l'importance par permutation. Le modèle CatBoost retenu utilise 24 caractéristiques.
L'intérêt des modèles basés sur des arbres boostés, c'est qu'ils capturent des relations non linéaires et des interactions. Par exemple, l'effet d'un gros lot d'évaluation peut varier selon la taille du modèle et le nombre de GPU. Une formule linéaire unique a plus de mal à reproduire ce genre de combinaison.
Mais ce n'est pas « universel ». Le modèle apprend les régularités des travaux observés ; son efficacité dépend donc autant de la qualité et de la représentativité des historiques que de l'algorithme choisi. Pour l'utiliser correctement, une équipe doit disposer de descriptions suffisamment détaillées des jobs et de durées de production fiables.
Ce que montrent les résultats de production
Le jeu de données regroupe 272 fine-tunings supervisés, soit environ 7 382 heures-GPU. Les modèles couvrent plusieurs familles, jusqu'à 15 milliards de paramètres, avec des ajustements LoRA et des ajustements complets. Les jobs ont utilisé un, deux ou quatre H200, dans un parc de 8 à 32 GPU répartis sur un à quatre nœuds, en présence d'autres charges.
Les durées observées vont de 1,6 à 172,4 heures. La moyenne est de 23,43 heures et la médiane de 15,29 heures. Les résultats viennent d'une validation croisée stratifiée en cinq groupes : chaque prédiction est évaluée sur des données qui n'ont pas servi à entraîner le modèle correspondant.
| Méthode | R² | Erreur absolue moyenne |
|---|---|---|
| Estimation par FLOP, MFU à 30 % | 0,31 | 12,41 h |
| Estimation par FLOP, MFU à 45 % | 0,18 | 13,01 h |
| Estimation par FLOP, MFU à 60 % | 0,01 | 14,62 h |
| Régression Ridge | 0,73 | 7,23 h |
| XGBoost | 0,97 | 1,95 h |
| CatBoost | 0,98 | 1,71 h |
Le R² indique dans quelle mesure les prédictions rendent compte de la variation des durées observées. Il ne veut pas dire que chaque prédiction est correcte « à 98 % ». Pour juger l'écart concret, l'erreur absolue moyenne est plus parlante : avec CatBoost, elle est de 1,71 heure. L'erreur absolue médiane, sur les prédictions hors échantillon, est de 0,51 heure.
Ce que les erreurs disent sur les cas difficiles
Les prédictions sont plus fiables sur les travaux courts et moyens que sur les très longs. Jusqu'à environ 60 heures, l'erreur médiane reste proche d'une heure ou moins. Pour des durées entre 60 et 175 heures, elle monte à 5,19 heures, et le 90e percentile atteint 18,51 heures.
À noter : ce résultat « extrême » reste statistiquement fragile, car seuls 13 travaux dépassaient 60 heures. Le modèle a donc relativement peu d'exemples pour apprendre les différences entre les jobs les plus longs et les autres. En revanche, 80 % des prédictions restent à moins de 2,20 heures de la durée réelle, et 90 % à moins de 4,31 heures, toutes durées confondues.
Les étapes annexes pèsent dans le temps total
Pour CatBoost, les variables les plus importantes incluent le volume total d'évaluation, le nombre de paramètres entraînables, la part du lot consacrée à l'évaluation et le nombre de paramètres sauvegardés. Ça colle assez bien avec ce qu'on observe en pratique : évaluer et sauvegarder fréquemment ajoute du travail en plus de la boucle d'optimisation.
Cela dit, l'importance d'une variable ne prouve pas une causalité. Elle indique comment cette variable contribue aux prédictions du modèle sur le jeu de données analysé ; elle ne démontre pas à elle seule qu'une modification donnée produira un gain chiffré. De même, le nombre de GPU est associé à des prédictions plus longues parce que, dans cet ensemble, les allocations plus importantes concernaient souvent des travaux plus volumineux. Ce n'est pas la preuve que « plus de GPU = plus lent ».
À quoi sert une prévision plus fiable
Une prévision de durée intéresse d'abord les équipes qui partagent un parc GPU coûteux. Un ordonnanceur ne veut pas seulement connaître la quantité de FLOP d'un travail : il doit décider quoi lancer, sur combien de GPU et à quel moment. Une prédiction plus proche du temps réel aide à comparer des allocations et à anticiper la libération des ressources.
Elle sert aussi à rendre les échéances plus crédibles. Une équipe produit qui attend un modèle entraîné pour une démo, un test utilisateur ou une mise en production a besoin d'un créneau réaliste, pas d'un chiffre calculé dans des conditions idéales. En France comme ailleurs en Europe, la gestion des coûts et des délais pèse davantage lorsque les capacités GPU sont partagées entre plusieurs équipes ou prestataires.
En faire un outil de planification, pas une promesse
Une prévision reste une entrée de décision, pas une garantie. Pour l'utiliser proprement, une équipe peut suivre une séquence simple :
- Enregistrer la configuration avant chaque lancement : modèle, données, lots, nombre de GPU, cadence d'évaluation, sauvegardes et pile logicielle.
- Mesurer toujours la même durée : préciser si le chronomètre démarre à l'allocation des GPU ou au lancement du processus, et s'il s'arrête après le transfert final.
- Conserver les durées réelles et les conditions d'exécution : matériel, logiciel et éventuelle contention doivent rester comparables.
- Évaluer les prédictions sur des travaux non utilisés pour l'entraînement : une faible erreur sur les données d'apprentissage ne suffit pas.
- Présenter une marge d'incertitude : s'appuyer sur les erreurs observées par tranche de durée plutôt que d'afficher une heure de fin comme une certitude.
Cette discipline aide aussi à repérer les décisions de configuration qui méritent un examen. Si une évaluation très fréquente se traduit par un coût nettement visible, il est utile de vérifier si cette cadence est réellement nécessaire à la conduite de l'expérience. La réponse dépend du risque produit : réduire les évaluations peut économiser du temps, mais aussi retarder la détection d'une divergence ou d'un souci de qualité.
Mesurer l'impact métier au bon niveau
Le gain ne se limite pas à réduire la durée d'un job isolé. Sur un cluster, une meilleure estimation peut diminuer les temps morts entre deux tâches, limiter les retards qui se propagent dans une file, et aider à comparer le coût d'une allocation GPU plus large. Mais il faut ensuite vérifier ces bénéfices avec des métriques d'organisation : taux d'utilisation, attente, respect des délais et coût par expérience menée à terme.
Enfin, il faut distinguer durée d'exécution et temps d'attente. L'étude exclut le temps passé en file. Dans un environnement très sollicité, cette attente peut représenter une part importante du délai ressenti par les équipes. Un système de planification complet doit donc combiner une estimation d'exécution, des règles d'ordonnancement, et une vue sur la demande concurrente.
Limites et conditions de transposition
Les résultats sont encourageants, mais ils ne justifient pas de déployer le modèle tel quel sur n'importe quel parc. L'étude s'appuie sur un contexte précis : 272 fine-tunings supervisés, des GPU H200 et une pile logicielle donnée. La précision observée vaut pour cet échantillon, pas comme garantie universelle pour d'autres matériels ou d'autres objectifs d'entraînement.
Un modèle calibré sur une génération de GPU
Tous les travaux ont été exécutés sur des H200. On ne peut donc pas supposer que les performances seraient identiques avec des générations antérieures, d'autres accélérateurs ou un cluster hétérogène. Les capacités, la mémoire, la bande passante et l'interconnexion entre GPU influencent la façon dont un entraînement se comporte.
Pour couvrir plusieurs types de matériel, il faudrait inclure des descriptions de ces ressources comme variables, puis recueillir suffisamment d'exemples pour chaque configuration. Sans ça, le modèle risque de confondre un changement de matériel avec une variation due au travail lui-même.
Des objectifs d'entraînement encore absents
L'étude concerne uniquement le fine-tuning supervisé. Elle ne valide pas la performance pour le RLHF, le DPO ou le RLVR, dont les étapes et les profils de calcul peuvent différer. La même réserve vaut pour des configurations et des logiciels absents des données d'origine.
Les jobs au-delà de 60 heures sont aussi peu représentés. L'erreur augmente dans cette zone, ce qui indique surtout un manque de données pour extrapoler. Un modèle prédictif devrait donc être capable de signaler quand il s'éloigne de son domaine habituel, plutôt que de présenter toutes ses estimations avec la même confiance.
La démarche, elle, reste transposable : collecter des données d'exécution, représenter les coûts annexes, choisir des variables pertinentes, puis évaluer le modèle sur des jobs mis de côté. Mais il faut ensuite reconstruire et valider sur les journaux du nouvel environnement. C'est une calibration locale, pas un outil prêt à brancher.
Conclusion
Le calcul en FLOP reste utile pour cadrer le coût théorique d'un entraînement, mais il ne suffit pas à prévoir sa durée opérationnelle. Évaluations, sauvegardes, transferts et contention comptent dans le temps réel, et leur poids dépend de la configuration.
Les résultats sur 272 travaux H200 montrent qu'un modèle entraîné sur des données de production peut réduire fortement l'erreur par rapport à une estimation analytique seule. La condition, c'est de rester strict sur le périmètre : mêmes types de travaux, matériel suffisamment représenté, et validation hors échantillon. Pour une équipe, le meilleur point de départ n'est donc pas de chercher une MFU universelle, mais de mesurer systématiquement ce qui se passe entre l'allocation des GPU et la fin effective du travail.