DaisyRose-27B : un post-entraînement IA plus efficace14 min de lecture2 714 mots

DaisyRose-27B : un post-entraînement IA plus efficace

Découvrez comment DaisyRose-27B améliore ses résultats avec 1 200 tâches, 144 GPU H200 et une infrastructure optimisée pour l’entraînement d’agents IA.

DaisyRose-27Bpost-entraînement des modèles IAapprentissage par renforcemententraînement des agents IAefficacité des GPU
DaisyRose-27B : un post-entraînement IA plus efficace

DaisyRose-27B : ce que l'efficacité du post-entraînement change pour les agents IA

Entraîner un modèle plus performant ne se résume pas à lui donner plus de données ou à brancher plus de GPU. Pour les agents capables d'utiliser un terminal, des outils et des environnements logiciels, l'enjeu est aussi ailleurs : la qualité des tâches d'entraînement, la durée réelle des interactions et la fiabilité de l'infrastructure qui tourne derrière.

DaisyRose-27B, le premier modèle présenté par RadixArk, illustre bien cette idée. Basé sur Qwen3.8-27B, il a été entraîné par apprentissage par renforcement avec le framework Miles. Le tout a mobilisé 1 200 tâches sélectionnées, en 18 jours, avec 144 GPU H200. Le résultat le plus marquant concerne Terminal-Bench 4.1 : le score pass@1 passe de 5,6 % (modèle de base) à 12,0 %.

Ces chiffres ne veulent pas dire que tout est réglé pour les agents. Ils montrent plutôt comment on peut construire un post-entraînement qui sert vraiment : créer des tâches difficiles mais apprenables, faire tourner l'agent en parallèle de l'entraînement, puis garder un grand nombre de sandboxes fiables. Dans les lignes qui suivent, on regarde ce que cette expérience suggère sur le coût, les résultats et les conditions qui rendent le post-entraînement utile en entreprise.

DaisyRose-27B : que propose ce modèle ?

DaisyRose-27B est un modèle de 27 milliards de paramètres, construit à partir de Qwen3.8-27B puis ajusté par apprentissage par renforcement. Concrètement, ce post-entraînement arrive après la phase initiale de pré-entraînement : l'idée est d'orienter les réponses vers des comportements plus utiles sur des tâches ciblées, sans repartir de zéro.

Le travail vise surtout des agents qui doivent enchaîner des opérations en plusieurs étapes. Un agent doit typiquement : comprendre une consigne, explorer un projet, modifier des fichiers, exécuter des commandes, interpréter des erreurs et recommencer. La performance ne dépend donc pas uniquement d'une réponse « plausible ». Il faut aussi tenir l'objectif, utiliser correctement les outils et finir ce qui est demandé.

Un progrès mesuré sur plusieurs tests

RadixArk indique une hausse par rapport au modèle de base sur sept benchmarks. Les résultats annoncés pour DaisyRose-27B sont :

  • Terminal-Bench 4.1 : 12,0, contre 5,6 pour Qwen3.8-27B ;
  • Terminal-Bench 2.1 : 75,5, contre 73,0 ;
  • DeepSWE v1.1 : 46,2, contre 42,2 ;
  • SWE-Bench Pro v2 : 94,7, contre 91,3 ;
  • HLE, en texte uniquement : 34,3, contre 33,9 ;
  • IFBench : 82,4, contre 79,5 ;
  • GPQA Diamond : 90,7, contre 89,2.

Le gain le plus visible concerne Terminal-Bench 4.1, un test centré sur des travaux longs réalisés dans un terminal. Sur d'autres benchmarks, la progression paraît plus modeste. Ça ressemble donc à une amélioration « liée à l'usage visé » plutôt qu'à un saut uniforme sur tous les formats de tâches.

Ce que ces chiffres ne garantissent pas

Un score de benchmark n'est pas une preuve automatique de performance en situation métier. Les évaluations dépendent du nombre de tentatives, du harnais, des outils disponibles et de la façon dont on note les sorties. Par exemple, Terminal-Bench 4.1 est ici évalué sur huit exécutions par tâche, avec un harnais interne de type mini-swe-agent et la synthèse activée. D'autres tests peuvent utiliser un nombre de répétitions différent.

Du point de vue d'une entreprise, la question utile n'est donc pas seulement « quel score est le meilleur ? », mais « est-ce que le modèle améliore vraiment les tâches qui coûtent du temps aux équipes ? ». Un agent fort sur un benchmark de programmation ne devient pas automatiquement fiable pour des dossiers administratifs, pour assister un service client ou pour naviguer dans un environnement logiciel interne. L'évaluation doit se faire sur des cas représentatifs, avec les mêmes contraintes que le déploiement.

Pourquoi 1 200 tâches bien conçues peuvent compter davantage que le volume

DaisyRose-27B s'appuie sur environ 1 200 tâches retenues parmi plusieurs milliers de candidates. RadixArk a travaillé avec Eigent AI, à partir d'un ensemble plus large couvrant notamment l'apprentissage automatique, le génie logiciel et les sciences. Le choix déterminant n'a pas été d'augmenter le volume, mais de rendre les tâches informatives pour le modèle.

Partir des erreurs observées

L'équipe a d'abord testé le modèle de base sur les tâches candidates. Ensuite, les concepteurs ont ajusté celles-ci pour faire ressortir des erreurs précises, puis calibré leur difficulté pour qu'elles ne soient ni triviales ni hors de portée. Cette logique évite deux pièges classiques : entraîner le modèle sur des exercices qu'il résout déjà facilement, ou au contraire sur des problèmes si durs que les tentatives apportent peu de signal exploitable.

L'idée est directement transposable à un projet d'entreprise : avant de constituer un gros dataset, on a souvent intérêt à lister les échecs qui coûtent cher. Par exemple : une extraction ratée, une étape oubliée, une commande risquée ou une sortie qui « a l'air correcte » mais ne respecte pas la consigne. Les tâches d'entraînement doivent représenter ces erreurs, pas seulement le scénario idéal.

Entraîner sur des séquences de travail, pas des réponses isolées

Chaque tâche de DaisyRose-27B regroupe plusieurs sous-problèmes dépendants. Le modèle doit traverser des étapes de raisonnement, de planification et d'exécution. Une tentative peut durer jusqu'à une heure et demie, mobiliser plus de 100 appels d'outils et produire plus de 256 000 jetons. Certaines sessions montent jusqu'à un million de jetons avant d'être résumées puis ré-encadrées en trajectoires d'apprentissage.

C'est adapté aux agents qui travaillent sur des processus longs. Dans une équipe logicielle, par exemple, le résultat ne tient pas à une seule réponse : il faut inspecter le code, repérer la cause d'un problème, proposer une modification, lancer des tests et vérifier qu'ils passent. Une tâche d'entraînement qui s'arrête à la première commande ne teste pas la capacité à boucler le cycle.

Réduire les contournements

Une récompense mal définie peut pousser le modèle à « optimiser la note » plutôt qu'à faire le travail demandé. Les concepteurs ont donc examiné les tâches et les tentatives pour repérer celles qui pouvaient être gagnées sans résoudre le problème, ou dont la conception comportait un défaut. Les tâches concernées ont été corrigées ou retirées.

Cette vérification manuelle a un coût, mais elle rend l'entraînement plus crédible. Dans un cadre métier, il faut aussi s'assurer qu'un agent ne peut pas obtenir une bonne évaluation en produisant un format de sortie qui masque une action non réalisée, ou en exploitant une faille dans les données de test. Un dataset plus petit, mais inspecté sérieusement, peut donc produire un signal plus fiable qu'un gros corpus dont les critères de réussite sont fragiles.

Comment l'infrastructure réduit le coût et le délai d'entraînement

Des tâches longues ne suffisent pas. Si les GPU attendent, si les environnements échouent à se lancer, ou si les trajectoires arrivent trop lentement au système, le coût explose sans améliorer le modèle. RadixArk attribue une partie de ses résultats à Miles, mais aussi à une infrastructure pensée pour traiter des sessions d'agents longues.

Faire travailler l'agent et le modèle en parallèle

L'entraînement est asynchrone. Pendant que 128 GPU H200 exécutent les tâches d'agents, 16 autres GPU entraînent le modèle à partir des trajectoires. Après chaque étape, la version mise à jour du modèle est envoyée aux GPU qui exécutent les agents. Le but est clair : réduire les périodes où l'une des deux parties attend l'autre.

Le système doit aussi gérer des sessions très longues. Les trajectoires peuvent être résumées par le harnais, puis découpées en unités utilisées pendant l'apprentissage. Le résumé doit toutefois préserver les informations utiles à la suite du travail : une synthèse qui omet une décision ou un état important peut dégrader la qualité du signal transmis.

Lire l'efficacité avec un indicateur concret

Sur les essais comparés, le backend interne atteint 37 % de MFU (utilisation des calculs théoriques du modèle), contre 16 % pour le trainer open source de référence, construit sur Megatron. Selon RadixArk, cet écart correspond à environ 57 % de temps GPU en moins pour un entraînement comparable.

Le débit « end-to-end » (en tenant compte du temps des tâches d'agents) atteint environ 16 800 jetons par seconde sur 144 GPU. Le trainer comparé atteint environ 8 300 jetons par seconde sur le même nombre de GPU : on est proche de la moitié. Ce genre d'indicateur est souvent plus utile que la vitesse « pure » du calcul d'apprentissage, parce que les agents et leurs environnements font partie du coût réel.

Cela dit, ces gains ne doivent pas être transposés mécaniquement à tous les cas. RadixArk rapporte aussi des écarts plus marqués sur des modèles à mélange d'experts : 6,2 fois sur Qwen3.6-35B-A3B et plus de dix fois sur GLM-5.3-Flash (autour de 300 milliards de paramètres). Ce sont des résultats annoncés par l'équipe sur leurs configurations : on ne peut pas en faire une promesse universelle.

La stabilité compte autant que la vitesse

Le lancement de DaisyRose-27B a mobilisé environ 63 000 heures-GPU sur 144 H200. Le débit et l'efficacité sont restés stables sur les 18 jours d'entraînement. Cette régularité est importante : gagner ponctuellement en débit ne sert pas à grand-chose si, ensuite, il faut gérer des pannes, des reprises coûteuses ou une baisse de performance quand la charge augmente.

L'autre pièce critique, c'est la sandbox : une copie isolée de l'environnement où l'agent exécute des commandes et modifie des fichiers. Le service de RadixArk, basé sur AgentENV (open source), a lancé environ 944 000 sandboxes pendant la période du projet, avec jusqu'à 1 566 environnements actifs simultanément. Sur neuf semaines, 99 % des créations ont réussi ; le taux a dépassé 99,95 % à partir de la fin octobre.

Enfin, l'équipe indique un coût d'infrastructure cloud inférieur d'environ 80 % à celui de fournisseurs de sandboxes populaires pour ces usages. Une partie de l'économie vient d'un ajustement de la mémoire à la consommation réelle : les environnements demandent souvent plus de mémoire que nécessaire, ce qui limite le nombre de sandboxes par machine si les ressources sont réservées de façon rigide. En pratique, l'économie dépend néanmoins du profil des tâches, du niveau d'isolation requis et du service attendu.

Quels résultats peut-on retenir, et quelles sont les limites ?

DaisyRose-27B montre qu'un post-entraînement ciblé peut améliorer un modèle existant sans réinventer tout le modèle depuis zéro. La combinaison est assez cohérente : tâches construites à partir des erreurs observées, sessions longues proches du travail d'un agent, exécution dans des sandboxes, puis infrastructure qui évite de laisser des ressources inutilisées.

Ce que les équipes peuvent reprendre

Si vous pensez à des agents spécialisés, la leçon n'est pas de copier exactement l'entraînement sur 144 GPU. C'est de traiter la qualité des données et celle de l'infrastructure comme un problème commun. Un dataset de tâches qui « semble bon » perd de sa valeur si les environnements sont instables. À l'inverse, un système très rapide ne compense pas des objectifs de réussite faciles à contourner.

Une démarche raisonnable peut commencer petit :

  1. Définir les tâches prioritaires selon leur fréquence, leur coût humain et l'impact d'une erreur.
  2. Collecter les échecs réels du modèle de base, plutôt que de construire uniquement des exemples parfaits.
  3. Écrire des scénarios à plusieurs étapes quand l'usage implique des outils, des vérifications ou des reprises.
  4. Définir une réussite vérifiable, en contrôlant que l'agent réalise bien l'action attendue.
  5. Mesurer le coût complet, y compris les appels d'outils, le temps de calcul, les sandboxes et les tentatives échouées.
  6. Comparer à un scénario de référence, sur des tâches représentatives, avec plusieurs essais quand les résultats varient.

Cette approche aide aussi à décider si le post-entraînement est le bon levier. Si les erreurs viennent surtout d'informations manquantes ou d'éléments qui changent souvent, une meilleure récupération des données peut suffire. Si le modèle connaît la procédure mais l'applique de façon irrégulière sur une séquence d'actions, le post-entraînement peut avoir du sens. Et si une erreur peut déclencher une action sensible, il faut garder des contrôles et une validation humaine proportionnés au risque.

Les limites à garder en tête

Les résultats publiés par RadixArk décrivent un cas précis. Ils dépendent de leurs benchmarks, de leur harnais et de leur infrastructure. Ils ne permettent pas, à eux seuls, d'estimer le coût pour une équipe avec un autre matériel, d'autres tâches ou un niveau de maturité opérationnelle différent. Les gains annoncés côté backend sont des comparaisons techniques : il faut les vérifier sur la charge de travail visée.

La sélection manuelle de tâches a aussi un plafond : examiner des milliers de candidates et toutes les tentatives associées demande du temps, des compétences et souvent l'accès à des spécialistes. Pour des tâches sensibles, les critères de récompense doivent aussi correspondre aux exigences de sécurité, de confidentialité et de conformité. Dans l'Union européenne, par exemple, si on utilise des données personnelles, le déploiement doit être pensé en tenant compte du RGPD ; un score élevé ne remplace ni l'analyse de risques ni la gouvernance des données.

Enfin, un benchmark mesure un comportement dans un protocole donné, pas la valeur commerciale complète d'un agent. L'indicateur de décision le plus fiable reste le coût et la qualité du processus en production : temps gagné, taux de réussite, fréquence des corrections humaines et gravité des erreurs. L'amélioration technique n'a de valeur que si elle se traduit par un service plus fiable ou une opération réellement moins coûteuse.

Conclusion

DaisyRose-27B est un bon exemple pour comprendre où se joue l'efficacité du post-entraînement des agents : dans l'alignement entre les erreurs à corriger, les tâches proposées et l'infrastructure qui transforme les tentatives en apprentissage. Les 1 200 tâches sélectionnées, le fonctionnement asynchrone de Miles et les sandboxes gérées à grande échelle forment un ensemble cohérent, plutôt qu'une simple logique de volume.

Pour les équipes qui évaluent des agents IA, l'essentiel reste de partir d'un problème mesurable et de vérifier la performance sur des séquences représentatives du travail réel. Les benchmarks peuvent guider, mais ils ne remplacent pas un pilote contrôlé, une mesure du coût complet et des garde-fous adaptés aux risques. C'est à cette condition qu'un progrès de modèle devient réellement un progrès de produit.

Questions frequentes

DaisyRose-27B est un modèle de 27 milliards de paramètres fondé sur Qwen3.8-27B et amélioré par apprentissage par renforcement. Son entraînement cible notamment les tâches longues d’agents qui utilisent un terminal et des outils. RadixArk indique que des versions BF16, FP8 et NVFP4 sont disponibles.
L’entraînement présenté a duré 18 jours sur 144 GPU H200, répartis entre l’exécution des tâches d’agents et l’apprentissage du modèle. RadixArk rapporte environ 63 000 heures-GPU au total. Ce chiffre décrit cette expérience précise et ne permet pas d’estimer directement les ressources nécessaires à un autre projet.
Les tâches longues permettent d’évaluer des capacités qui dépassent la réponse à une question isolée : planifier, utiliser des outils, interpréter des résultats et poursuivre le travail malgré les erreurs. Elles sont donc pertinentes pour les agents logiciels, à condition que la réussite soit mesurée de façon fiable et que les tentatives ne puissent pas contourner l’objectif.
Non. Les résultats dépendent du modèle de départ, des tâches, des outils, des méthodes d’évaluation et de l’infrastructure. Les scores publiés montrent des progrès sur les benchmarks retenus, mais une entreprise doit tester ses propres scénarios, y compris le coût des erreurs et les vérifications humaines nécessaires, avant de conclure à un gain opérationnel.

Articles similaires