IA spécialisée dans Figma : entraînement et évaluation
Comment Figma entraîne une IA à éditer des designs : données synthétiques, fine-tuning, apprentissage par renforcement, évaluation et impacts en production.
IA spécialisée dans Figma : entraînement et évaluation
Entraîner une IA à éditer dans Figma : méthode et limites
Modifier une maquette existante paraît simple sur le papier : déplacer un bouton, ajuster un espacement, changer une couleur. En pratique, tout dépend du contexte du fichier, des composants déjà en place, des décisions prises plus tôt - et, parfois, du système de design complet. On peut donc arriver à une modification techniquement correcte, mais visuellement maladroite. Ou produire quelque chose qui « a l'air bon » sans respecter vraiment la demande.
C'est précisément le genre de problème que Figma vise avec un modèle spécialisé pour l'édition de designs. Au lieu de s'en remettre uniquement à un modèle généraliste et à de longues instructions, l'entreprise entraîne des modèles capables de comprendre la structure native de ses fichiers et d'appliquer des changements directement sur le canevas. Son approche combine données synthétiques, fine-tuning supervisé, apprentissage par renforcement et évaluations à plusieurs niveaux.
Cette expérimentation illustre un mouvement plus large en IA : pour certains usages métier, un modèle spécialisé peut être plus utile qu'un modèle généraliste plus puissant « sur le papier ». Voici comment Figma construit cette approche, ce qu'elle permet de mesurer, et ce qu'il faut garder en tête avant d'en tirer des conclusions pour un produit.
Pourquoi l'édition de design est un cas à part
Un modèle généraliste peut générer du texte, du code ou des images à partir d'une consigne. Mais éditer un document de conception déjà existant, c'est autre chose : il faut agir dans un environnement structuré, préserver ce qui fonctionne et toucher aux bons éléments sans dégrader le reste.
Une demande comme « augmentez l'espace entre le titre et le bouton » ne suffit pas à elle seule. Le modèle doit comprendre quels objets sont concernés dans le fichier. Il peut devoir repérer une hiérarchie visuelle, identifier un composant, ou réaliser que plusieurs écrans partagent la même logique via le système de design. Et surtout : produire une réponse « plausible » ne veut pas dire réussir l'édition. Le changement doit vraiment être appliqué au bon endroit, dans le bon format, dans le fichier.
Une tâche répétitive, mais rarement vérifiable par une règle simple
En conception, on enchaîne souvent de petites modifications : ajuster une couleur après un commentaire, déplacer un élément, retravailler une mise en page, harmoniser un composant. Ce sont des gestes « petits », mais ils s'empilent vite. Une assistance qui les accélère peut donc avoir un effet concret sur le rythme du travail.
Le souci, c'est que la qualité d'un design n'est pas binaire. On peut vérifier qu'un fichier est valide ou qu'un objet a bien changé de couleur. Mais on ne peut pas toujours conclure facilement, de façon automatique, si le contraste est bon, si la composition reste cohérente, ou si l'édition correspond à l'intention du concepteur.
Du coup, il faut distinguer plusieurs dimensions :
- La validité structurelle : le changement peut-il être appliqué sans « casser » le fichier ?
- Le respect de la consigne : l'élément demandé a-t-il vraiment été modifié ?
- La qualité visuelle : le résultat est-il lisible, cohérent et propre ?
- La cohérence avec le système de design : le bon composant et les bons styles ont-ils été utilisés ?
- Le coût d'usage : l'édition est-elle assez rapide et suffisamment rentable pour être utilisée souvent ?
Ces critères peuvent se contredire. Une modification ultra fidèle à la consigne peut rendre l'écran moins agréable. À l'inverse, une proposition visuellement réussie peut ne pas répondre à la demande. C'est pour ça que Figma traite l'édition comme une tâche spécialisée, pas juste comme une génération de contenu.
Le coût d'une interruption compte aussi
Dans un outil de conception, la vitesse n'est pas « un détail ». Si une édition prend trop de temps, l'utilisateur coupe son raisonnement : il attend, puis il vérifie ce qui a été fait. Et là, le risque n'est pas seulement la frustration : l'assistance peut créer une nouvelle tâche au lieu d'en supprimer une.
La qualité opérationnelle se juge donc sur toute la boucle : formuler la demande, obtenir une modification, l'inspecter, la garder ou l'annuler. Un bon modèle n'est pas seulement celui qui produit parfois quelque chose de correct. C'est celui qui réduit le travail de correction sans ralentir le flux.
Comment entraîner un modèle spécialisé pour Figma
Au départ, Figma explique que ses modèles généralistes ne comprenaient pas assez bien la syntaxe des fichiers. On aurait pu compenser avec des consignes « système » très détaillées, mais ça aurait coûté cher en jetons, ajouté de la latence, et n'aurait pas garanti une maîtrise fine de chaque modification.
L'entreprise a donc choisi le fine-tuning supervisé (SFT). Concrètement : on expose le modèle à des exemples où une demande d'édition est associée à un design de départ et à un résultat considéré comme réussi. Le modèle apprend alors à produire des changements au format natif de Figma, plutôt que de décrire en texte ce qu'il faudrait faire.
Des données synthétiques contrôlées
Chaque exemple d'entraînement relie un design existant, une demande d'édition générée et la modification correspondante. Quand la tâche dépend d'un système de design, les données couvrent aussi des thèmes et des composants. L'objectif est de se rapprocher des situations réelles : une consigne n'existe pas dans le vide, elle vise des éléments déjà présents.
Pour produire et contrôler ces exemples, Figma s'appuie sur des modèles enseignants plus grands qui tentent de réaliser les modifications. Des validateurs déterministes vérifient certains aspects (par exemple la validité du résultat), tandis que des évaluateurs visuels regardent la qualité et si la demande a bien été respectée. Ensuite, la chaîne peut réviser la modification en fonction des retours des évaluateurs.
Cette étape de vérification est cruciale. Des données synthétiques produites « en masse » ne deviennent pas automatiquement de bonnes données. Si les exemples contiennent des erreurs, des consignes ambiguës ou des résultats incohérents, l'entraînement risque de les apprendre... et de les reproduire. L'utilisation de plusieurs contrôles réduit le risque, sans le supprimer : la qualité des évaluateurs, elle aussi, compte.
Figma rapporte qu'un de ses premiers modèles, Llama 3.3 70B, entraîné sur plus de 250 000 exemples, a obtenu des résultats compétitifs sur des tâches d'édition par rapport aux meilleurs modèles disponibles à l'époque. C'est un signal intéressant sur l'intérêt d'un entraînement ciblé. Mais ça ne veut pas dire automatiquement qu'un modèle spécialisé surpassera un généraliste sur tous les usages.
Pourquoi ajouter l'apprentissage par renforcement
Le SFT apprend surtout par imitation : le modèle reproduit des exemples de modifications réussies. Cette méthode marche bien quand les tâches ressemblent à ce qu'il a vu à l'entraînement. En revanche, elle peut limiter la généralisation : face à une situation nouvelle, le modèle peut « réciter un schéma » plutôt que s'adapter vraiment.
Figma souligne aussi qu'il faut potentiellement beaucoup d'exemples pour couvrir correctement les différentes facettes du travail. Pour mieux étendre la capacité du système, l'entreprise ajoute de l'apprentissage par renforcement à l'entraînement. L'idée : améliorer les environnements de simulation, diversifier les situations, affiner les modèles de récompense et définir des critères écrits par des experts.
Dans un domaine créatif, la récompense ne peut pas se résumer à une métrique unique. Il faut traduire des attentes de design en critères évaluables : la demande est-elle respectée ? le résultat reste-t-il cohérent ? le bon composant a-t-il été utilisé ? Les experts servent à définir et calibrer ces critères, pour que les récompenses reflètent davantage ce que les designers jugent utile.
Le compromis est assez simple : le SFT donne une bonne base d'imitation, et le renforcement sert à mieux orienter le modèle dans des contextes variés. Mais tout dépend de la qualité de l'environnement et des récompenses. Si le modèle apprend à optimiser un indicateur imparfait, il peut produire des résultats conformes « aux critères », mais décevants pour l'utilisateur.
Comment évaluer la qualité d'une modification
L'évaluation commence par une question pratique : est-ce qu'un tel modèle est réellement utile dans le produit ? Figma indique mesurer la capacité à travailler dans l'outil, à suivre les consignes et à modifier efficacement des designs existants. La vitesse et le coût des opérations font aussi partie des critères.
Séparer ces dimensions évite de se raconter des histoires avec une moyenne globale. Un modèle peut afficher un bon score général tout en échouant sur des tâches importantes. Par exemple : il gère bien les couleurs, mais galère avec les composants ou la disposition d'un écran. Pour une équipe produit, ces écarts comptent souvent plus qu'un classement unique.
Combiner contrôles automatiques et jugement humain
Figma combine des vérifications sur la structure du design avec des évaluateurs visuels, puis fait examiner et calibrer les résultats par des designers experts. Le but est double : automatiser ce qui est contrôlable de façon reproductible, et vérifier que les critères automatiques correspondent bien à une qualité de conception pertinente.
Les validations déterministes sont utiles pour tout ce qui reste vérifiable sans interprétation : le fichier est-il exploitable ? l'objet attendu existe-t-il ? le changement demandé a-t-il été fait exactement ? Les juges visuels peuvent regarder des aspects plus nuancés, mais leurs résultats doivent être mis en regard avec le jugement humain. Sinon, une évaluation automatisée peut paraître « précise » tout en récompensant des défauts.
Les erreurs fréquentes montrent bien pourquoi cette décomposition est nécessaire. Un écran peut contenir des éléments qui se chevauchent. Un panneau d'informations peut être mal aligné ou avoir des flèches coupées. Une fiche de réservation peut afficher un prix incohérent avec le reste de la composition. Dans ces cas, le fichier peut être techniquement valide, mais l'édition n'est pas suffisamment « prête » pour être acceptée.
Lire les scores avec prudence
Figma publie des résultats issus de ses évaluations internes. Dans un exemple présenté par l'entreprise, « Figma design edits v3 » obtient 77,8 %, contre 76,9 % pour Sol 6.1. Ces chiffres permettent de comparer des systèmes sur un protocole donné, mais ce ne sont pas des mesures universelles de la qualité d'une IA « en design ».
Un score dépend du choix des tâches, de la manière dont le jeu d'évaluation est composé, de la pondération des critères et de la façon dont les résultats sont jugés. Il faut aussi vérifier si les cas testés reflètent vraiment les usages clients. Figma précise en plus que ces évaluations ne sont qu'un élément parmi d'autres dans le choix des modèles pour son produit.
Pour une organisation qui déploie une assistance à la conception, la méthode est transposable : sélectionner des tâches représentatives, séparer les dimensions de qualité, examiner les erreurs, et faire valider les critères par des personnes qui connaissent le métier. Le score sert à suivre une évolution, pas à remplacer l'analyse des échecs.
Ce que cette approche change pour les équipes produit
Le modèle d'édition ne suffit pas tout seul. Pour modifier utilement, l'agent a besoin du contexte du canevas, d'accéder aux informations du système de design, et de disposer d'outils capables d'appliquer les changements. Le modèle apporte la compréhension et la décision ; l'environnement apporte le contexte et les moyens d'agir.
C'est important pour les équipes qui envisagent un agent métier. Ajouter un modèle à une interface ne garantit rien. Il faut décider quelles données l'agent peut consulter, quelles actions il peut exécuter, comment on détecte les erreurs, et comment l'utilisateur garde la main. Dans un outil de conception, pouvoir inspecter le changement et l'annuler fait partie de l'expérience, pas un « détail technique ».
Des gains annoncés, à replacer dans le contexte
Figma rapporte qu'entre la version bêta et la disponibilité générale de son agent, les tâches typiques seraient devenues environ 20 % plus rapides. Lors de tests comparatifs avec des designers experts, le nouvel agent aurait égalé ou dépassé l'agent de production précédent dans 62 % des cas. L'entreprise mentionne aussi +33 % de notes utilisateurs et -60 % d'annulations de modifications.
Ces indicateurs décrivent des résultats communiqués par Figma, dans son produit et avec ses protocoles. Ils ne permettent pas d'attribuer chaque progrès au seul modèle d'édition : Figma indique aussi des améliorations sur les modèles, les outils et le système d'orchestration. Cette nuance compte quand on veut estimer un retour sur investissement.
Figma précise également avoir plus que doublé la part du travail réalisée par son modèle de design post-entraîné, tout en réduisant le coût moyen par message. À grande échelle, ce type de gain peut peser autant que le score de qualité : une assistance performante mais trop chère ou trop lente aura du mal à se généraliser.
Une grille de décision pour un cas d'usage métier
Pour juger si un modèle spécialisé est pertinent, une équipe peut regarder cinq points :
- La répétition : les utilisateurs font-ils souvent la même famille de tâches ?
- Le contexte disponible : le produit peut-il fournir documents, composants et règles nécessaires ?
- La vérifiabilité : y a-t-il des contrôles automatiques (même imparfaits) pour repérer les erreurs ?
- Le coût de correction : une proposition imparfaite reste-t-elle facile à inspecter, corriger ou annuler ?
- L'économie d'usage : le gain de temps compense-t-il la latence, le coût d'inférence et la supervision ?
Un modèle spécialisé est particulièrement intéressant si les demandes sont récurrentes, si le contexte est riche et si les actions peuvent être évaluées sur plusieurs dimensions. Il est moins convaincant si chaque demande est exceptionnelle, si le produit ne donne pas assez de contexte métier, ou si les erreurs ont un impact trop difficile à rattraper.
La leçon n'est donc pas « remplacer partout un généraliste ». Elle ressemble plutôt à : choisir le bon niveau de spécialisation en fonction du travail réel. Figma se concentre sur des modifications fréquentes dans un environnement qu'il contrôle, ce qui permet de relier entraînement, outils et évaluation à un usage concret.
Conclusion
L'approche de Figma montre qu'un modèle spécialisé peut devenir très compétitif sur un travail métier précis, à condition de ne pas traiter l'entraînement comme un exercice isolé. Les données, les outils, le contexte du canevas, l'évaluation et la possibilité de corriger une action forment un ensemble.
Pour les équipes produit, le bon point de départ n'est pas de suivre « le modèle à la mode ». C'est plutôt d'identifier une tâche fréquente, de définir des critères de réussite observables et de clarifier le coût d'une erreur acceptable. À ce moment-là, l'IA devient un levier de productivité mesurable, sans effacer le jugement humain quand la qualité reste en partie subjective.