Modèles JEPA : mieux planifier sans réentraîner14 min de lecture2 778 mots

Modèles JEPA : mieux planifier sans réentraîner

Découvrez comment quatre méthodes de planification améliorent les modèles JEPA, leurs résultats sur Push-T et les limites à considérer avant un déploiement.

modèles JEPAmodèle du monde en IAplanification robotiqueapprentissage par représentationintelligence artificielle robotique
Modèles JEPA : mieux planifier sans réentraîner

Modèles JEPA : quatre façons de mieux planifier sans réentraîner

On associe souvent les progrès en intelligence artificielle à des modèles plus gros ou à des volumes toujours plus massifs de données. En robotique, toutefois, le modèle n'est pas forcément le goulot d'étranglement principal. Il peut déjà prédire assez bien ce qui va se passer après une action. Dans ce cas, c'est la planification - la façon de choisir et d'enchaîner les actions - qui finit par limiter ce que le système peut réussir.

C'est justement ce que suggèrent 600 expériences sur Push-T : un environnement simulé où un robot doit pousser un bloc en forme de T jusqu'à une cible. Le modèle étudié, LeWorldModel (LeWM), repose sur une architecture JEPA. Il apprend à prédire des représentations compactes des scènes, plutôt que de générer chaque pixel. Et sans toucher à ses paramètres, quatre changements côté planification améliorent les résultats, surtout pour les tâches longues ou des objectifs moins « habituels ».

Ces résultats ne veulent pas dire que la JEPA règle, à elle seule, les tâches robotiques générales. Ce qu'ils montrent, en revanche, c'est où se cachent des gains accessibles : découper un objectif, utiliser une mémoire de démonstrations, et définir correctement ce qui compte comme une « réussite ». Voici comment lire ces expériences, ce qu'elles impliquent pour des systèmes d'IA, et où les limites apparaissent.

Qu'est-ce qu'un modèle JEPA et en quoi diffère-t-il d'un modèle génératif ?

Un modèle du monde aide un agent à anticiper les conséquences de ses actions. En robotique, cela peut vouloir dire estimer ce qui se passe quand un bras pousse un objet dans une direction donnée. Ensuite, l'agent peut comparer plusieurs actions avant d'en exécuter une dans le monde réel (ou dans un simulateur).

La méthode la plus visible consiste à prédire la suite d'une scène en générant de nouvelles images. Ça peut marcher quand la qualité visuelle compte. Mais, pour décider où pousser un bloc, tous les détails n'ont pas la même valeur : la texture de la table ou certaines variations de lumière peuvent ne rien changer à la décision. D'autres pixels, eux, peuvent être difficiles à prévoir et pourtant inutiles pour atteindre le bon résultat.

Une représentation plutôt qu'une image complète

JEPA, pour Joint-Embedding Predictive Architecture, prend une autre direction. Un encodeur transforme une observation en représentation compacte (un embedding). Le prédicteur utilise cet embedding et une action pour estimer l'état représenté après l'action. Le planificateur teste alors des séquences d'actions, et choisit celle qui rapproche l'état prédit de l'objectif.

Le calcul se fait donc dans un espace de représentations : pas besoin de « dessiner » chaque trajectoire possible image par image. L'idée est simple : conserver ce qui semble utile à la décision. Mais il y a un risque : si l'embedding perd une information nécessaire à la tâche, le planificateur ne pourra pas la récupérer ensuite.

Le cas de LeWM et de Push-T

LeWorldModel, ou LeWM, est évalué sur Push-T : un environnement de simulation où un robot déplace un bloc en T vers une position cible. Le scénario paraît trivial, mais il combine plusieurs choses à gérer : garder le bloc stable, choisir comment le pousser, et réussir à planifier quand la cible est éloignée.

Dans les expériences, le planificateur utilise le modèle pour tester des séquences d'actions. Les objectifs peuvent être fournis via des images, et des démonstrations expertes servent à entraîner le modèle, et parfois à proposer des étapes intermédiaires. L'enjeu n'est donc pas uniquement « est-ce que LeWM prédit bien ? ». Il faut aussi regarder si, avec les informations disponibles, il choisit un chemin vraiment exploitable.

C'est un point important pour ceux qui évaluent des systèmes d'IA « incarnée ». Une prédiction visuellement convaincante ne garantit pas qu'elle aide à décider. À l'inverse, une représentation moins détaillée peut suffire si la tâche est bien cadrée. Au final, le critère pertinent reste la qualité de la décision en conditions d'usage.

Pourquoi la planification peut-elle compter autant que le modèle ?

Pour tester l'importance des prédictions, les expériences ont remplacé le prédicteur de LeWM par la physique exacte du simulateur, tout en gardant le reste du système identique. Sur des tâches où l'objectif se trouvait à 75 étapes, LeWM obtient 78 % de réussite, contre 77 % avec la physique exacte. Autrement dit : pour les trajectoires observées dans les données d'entraînement, les prédictions étaient déjà assez bonnes pour planifier presque comme une « référence idéale ».

Résultat contre-intuitif, à première vue. Si on s'attend à ce que les échecs viennent forcément d'un modèle imprécis, on est surpris par le faible gain. Ici, l'organisation des objectifs et la recherche de chemins semblent peser plus lourd que le remplacement du modèle.

Une limite d'horizon plutôt qu'une simple erreur de prédiction

Sans modification, LeWM réussit environ 22 % des tâches à long horizon. Quand la cible est ramenée à 25 étapes, le taux grimpe à 89,7 %. Les prédictions semblent donc adaptées à des horizons courts, mais la planification devient fragile sur de longues séquences.

Une explication classique est l'accumulation d'erreurs : une petite différence entre l'état prédit et l'état réel se propage ensuite sur les étapes suivantes. Pourtant, les expériences invitent à tester autre chose avant de réentraîner : découper la tâche en segments que le modèle sait mieux gérer. Sur les mêmes tâches longues, un découpage en segments de 25 étapes apporte près de 60 points de réussite, là où remplacer le prédicteur par la physique exacte ne donne qu'environ 20 points.

Ce que l'expérience dit - et ne dit pas

Ces comparaisons ne prouvent pas que la précision du modèle n'a aucun rôle. Elles indiquent plutôt que, pour Push-T et pour les trajectoires évaluées, la dynamique prédite n'était pas le principal blocage. Sur un environnement plus varié, avec des objets différents, ou des actions hors distribution, des erreurs de dynamique pourraient peser davantage.

Autre leçon pratique : augmenter le nombre de recherches ne remplace pas forcément une meilleure stratégie. Répéter quatre fois la recherche et ne garder que le meilleur plan « au plus faible coût » coûte quatre fois plus de calcul... pour moins d'un point de réussite en plus. Et souvent, ces répétitions échouaient sur les mêmes tâches.

En pratique, il faut donc distinguer trois causes possibles d'échec : le modèle anticipe mal, le planificateur explore mal, ou l'objectif est mal défini. On ne change les poids du modèle que si l'erreur vient vraiment de ses prédictions. Cette séparation évite de brûler du temps de calcul et de développement là où le problème se situe ailleurs.

À retenir : avant d'augmenter la taille d'un modèle ou de le réentraîner, mesurez séparément la qualité des prédictions, le comportement du planificateur et la définition de la réussite.

Comment allonger l'horizon de planification sans réentraîner le modèle ?

Le premier levier : planifier par sous-objectifs. Au lieu de demander au système de trouver directement un plan sur 75 étapes, on lui demande d'atteindre une étape intermédiaire vers 25 étapes, puis de planifier la suite. C'est une forme de planification hiérarchique : un niveau choisit des objectifs locaux, et un niveau inférieur exécute les actions nécessaires pour les atteindre.

Avec des sous-objectifs construits à partir de démonstrations expertes, LeWM passe d'environ 22 % de réussite sur les tâches longues à 85 %. Le système exploite alors des morceaux de trajectoire cohérents avec son horizon utile. Le message est plus général : si quelque chose marche bien localement mais casse sur la durée, ajouter une structure entre les étapes peut être plus rentable que remplacer le composant.

Construire des sous-objectifs à partir d'une mémoire

En déploiement, on ne dispose pas toujours d'une démonstration experte qui colle parfaitement à chaque nouvelle tâche. Une seconde approche construit donc un graphe à partir des représentations issues des démonstrations déjà vues par LeWM. Chaque état est relié à ceux qui le suivent dans la démonstration, et à des états proches issus d'autres démonstrations.

Pour une nouvelle tâche, le planificateur cherche un chemin dans ce graphe, de l'état courant jusqu'à la cible. Les états intermédiaires deviennent des sous-objectifs, et le modèle les atteint l'un après l'autre. Dans les expériences, la distance entre représentations reflétait assez bien la possibilité physique d'atteindre un état : parmi un état accessible en 25 étapes et un état qui ne l'était pas, l'embedding classait le premier comme plus proche dans 87 % des cas.

La mémoire sert alors de carte approximative des transitions possibles, sans transformer chaque démonstration en « règles » écrites à la main. Avec une pénalité sur les transitions entre démonstrations, le taux de réussite atteint 85 % sur les mêmes tâches longues.

Pourquoi les transitions artificielles doivent coûter quelque chose

Le premier graphe considérait certains rapprochements entre démonstrations comme des transitions ordinaires. Or, deux états visuellement proches ne permettent pas forcément de passer directement de l'un à l'autre. Sans pénalité, le planificateur a alors tenté des raccourcis irréalistes : 318 des 1 015 plans examinés contenaient au moins six sauts de ce type.

Imposer un coût à chaque saut entre démonstrations limite ces chemins artificiels. Ce n'est pas un détail cosmétique : ça change la validité globale du plan. Le graphe ne doit pas seulement refléter des états qui se ressemblent ; il doit aussi refléter la difficulté réelle pour passer de l'un à l'autre.

Cette mémoire a aussi une dépendance assez claire : elle guide efficacement seulement dans les régions couvertes par les données (ou suffisamment proches). Elle réutilise l'expérience, elle ne « s'invente » pas des trajectoires crédibles partout. Pour un système industriel, la question devient alors concrète : la mémoire contient-elle assez de situations proches de celles qu'on verra sur le terrain ?

Comment rendre les objectifs et la mémoire plus robustes ?

Un planificateur ne peut pas exploiter ce qu'il ne connaît pas. Le graphe dépend donc de sa couverture. Dans l'expérience rapportée, retirer les états proches de la cible a fait chuter la réussite de 93 % à 32 %. Pour limiter ça, les chercheurs ont exploité une propriété de Push-T : déplacer, faire pivoter ou refléter la table et les objets ne change pas les règles physiques du problème.

Le système peut ainsi réutiliser des segments de démonstration, transformés pour s'adapter aux zones manquantes. Avec ces segments adaptés, la réussite remonte à 85 % sur le test correspondant. Et ces transformations permettent aussi de mieux tirer d'un petit jeu de données : un graphe construit avec 1 % des démonstrations, plus leurs copies transformées, donne des résultats comparables à un graphe construit avec 10 % des démonstrations.

Une augmentation de données qui dépend de la tâche

Cette méthode marche parce que les transformations retenues préservent la physique pertinente dans Push-T. Ce n'est pas un blanc-seing pour faire n'importe quelle rotation ou réflexion sur des données robotique. En production, par exemple, l'orientation d'une pièce ou la position d'un capteur peut changer la donne. Une transformation « géométriquement correcte » peut produire une trajectoire invalide.

Sur un test plus difficile - où le point de départ et la cible viennent de démonstrations différentes - les segments transformés améliorent la réussite de 45 % à 56 %. Le gain est particulièrement net quand la cible se trouve dans une direction peu couverte par les démonstrations. Cela confirme la valeur de la méthode... mais aussi sa limite : elle étend une expérience existante, sans supprimer la dépendance aux données de départ.

L'image d'objectif peut imposer une mauvaise contrainte

Le quatrième résultat concerne la définition de la réussite. Dans Push-T, les objectifs peuvent être donnés sous forme d'image, qui montre à la fois le bloc et le robot pousseur. Si le planificateur compare sa prédiction à l'image complète, il cherche à placer le pousseur exactement comme dans l'exemple, même si la position du pousseur n'est pas indispensable pour réussir.

Une version isolée du test, basée sur la physique exacte du simulateur, a mis ce point en évidence. Sur 50 tâches, ignorer la position du pousseur fait passer 30 cas de l'échec à la réussite, sans basculer des cas dans l'autre sens. Dans les situations concernées, le planificateur qui tenait compte du pousseur amenait bien celui-ci près de la position montrée... mais perdait le bloc en route. Le problème ne venait donc pas d'une dynamique mal prédite : c'était la cible imposée au système.

LeWM n'a pas d'étiquette distincte pour le bloc et pour le pousseur dans son embedding. Une solution testée consiste à comparer la prédiction à plusieurs versions de l'image cible : le bloc reste au même endroit, mais le pousseur occupe différentes positions observées dans les démonstrations. Le planificateur retient alors la version la plus proche. Avec 16 variantes, la réussite sur le test difficile passe de 11 % à 23 %, sans réentraîner.

Définir une réussite comme un ensemble d'états

La leçon vaut au-delà de la robotique. Un objectif devrait souvent représenter un ensemble d'états acceptables, plutôt qu'une copie exacte d'une observation unique. Pour « poser une tasse sur une étagère », la position finale du bras peut varier tant que la tasse est stable et que la tâche est faite. Une image unique risque au contraire d'imposer une posture arbitraire du bras.

Bien sûr, ça ne veut pas dire ignorer toutes les variables secondaires. Le robot peut avoir besoin de s'arrêter, d'éviter une zone, ou de laisser un accès libre. L'important est de définir clairement ce qui fait partie du succès, et ce qui n'est qu'un détail de la démonstration.

Pour une entreprise, ça compte directement dans l'évaluation. Un indicateur mal conçu peut récompenser une apparence de conformité tout en pénalisant une solution qui serait correcte sur le plan opérationnel. Avant d'ajouter des données ou de modifier le modèle, il est souvent plus utile de vérifier que la fonction de coût correspond bien au besoin métier - et aux marges de manœuvre réelles du système.

Conclusion : le prochain progrès se joue dans la planification

Les expériences sur LeWM remettent une question simple au centre : avant de chercher un modèle plus puissant, vérifiez d'abord si le système exploite correctement celui qu'il a déjà. Sur Push-T, un prédicteur compact arrive à un niveau proche de la physique exacte pour les trajectoires testées. Ensuite, le découpage en sous-objectifs, la mémoire de démonstrations, les transformations adaptées et une meilleure définition des cibles apportent des gains, sans changer les poids du modèle.

La limite reste là aussi, assez nette : les meilleurs résultats dépendent encore des démonstrations et des chemins présents, directement ou indirectement, dans les données. Le système ne sait pas toujours choisir un sous-objectif pertinent quand il s'éloigne des trajectoires connues. Si vous devez évaluer une application, commencez donc par trois questions : le modèle prédit-il assez bien, le planificateur dispose-t-il d'un chemin exploitable, et l'objectif mesure-t-il vraiment la réussite ? C'est à partir de ces réponses qu'on peut décider où investir pour la prochaine itération.

Questions frequentes

JEPA est une architecture qui apprend à prédire des représentations compactes d’observations, plutôt que de générer nécessairement chaque pixel du futur. Un planificateur peut ensuite comparer des séquences d’actions dans cet espace. L’approche vise à conserver les informations utiles à la décision, mais dépend de la qualité des représentations apprises.
Les quatre méthodes décrites modifient la planification ou la manière d’évaluer les objectifs, pas les poids du modèle LeWM. Elles n’exigent donc pas de réentraîner le modèle dans ces expériences. Leur efficacité reste néanmoins liée aux données, à l’environnement et aux capacités de représentation déjà présentes.
Non. Push-T est un environnement simulé et les tests s’appuient sur des démonstrations disponibles. Les résultats montrent des pistes de planification prometteuses, pas une généralisation garantie à des objets, capteurs ou conditions physiques inédits. Un déploiement réel demanderait des évaluations de sécurité et de robustesse adaptées.
Une image cible unique peut inclure des détails inutiles, comme la position exacte du bras robotique. Comparer le plan à plusieurs états acceptables évite de pénaliser des solutions qui accomplissent la tâche autrement. Il faut toutefois conserver dans l’objectif les contraintes réellement nécessaires, telles que la stabilité de l’objet ou l’arrêt du robot.

Articles similaires