llmagentsopen-weights

Qwen-AgentWorld : simuler le monde avant d'agir

En bref

Un modèle open-weights entraîné à prédire la réaction de l'environnement, pas seulement la prochaine action. Pour qui déploie des agents chez ses clients, cela ouvre une pratique qui manque cruellement au marché : répéter avant de jouer.

Publié initialement sur LinkedIn le 29 juillet 2026. Le texte décrit l'état des choses à cette date et n'a pas été actualisé depuis.

La plupart des agents IA actuels sont entraînés à répondre à une question simple : « quelle est la prochaine action à exécuter ? »

Qwen-AgentWorld inverse en partie la perspective : « si j’exécute cette action, que va répondre l’environnement ? »

La nuance semble légère. Elle touche pourtant à l’une des limites fondamentales des agents : agir ne suffit pas. Pour planifier, corriger une erreur ou anticiper un effet de bord, un agent doit disposer d’un modèle interne du monde dans lequel il évolue. C’est précisément la proposition de Qwen-AgentWorld, présenté par l’équipe Qwen comme un « Language World Model » généraliste pour les agents (rapport technique).

Un world model exprimé en langage

Un modèle de langage classique prédit le prochain token. Un agent classique utilise cette capacité pour raisonner, appeler un outil, puis interpréter son résultat.

Qwen-AgentWorld est spécialisé dans une autre fonction : prédire la prochaine observation de l’environnement à partir du contexte d’interaction et de l’action courante. Formellement, ô(t+1) = f(c, o≤t, a≤t). Le modèle reçoit le prompt système c, l’historique des observations o et des actions a, puis génère l’état attendu à l’étape suivante.

Il peut ainsi simuler la sortie d’une commande Linux, la réponse structurée d’un serveur MCP, l’évolution d’un dépôt logiciel après une modification, ou le nouvel état d’une interface Web, Android ou desktop. Les sept domaines couverts sont MCP, Search, Terminal, Software Engineering, Android, Web et OS. Tous sont représentés dans un schéma textuel unifié, même lorsque l’environnement d’origine est graphique.

Une architecture native, pas un simple prompt

L’intérêt du projet ne réside pas dans un prompt demandant à un modèle généraliste de « jouer le rôle » d’un terminal ou d’un navigateur. La modélisation de l’environnement est intégrée dès l’entraînement, en trois étapes :

  • Continual Pre-Training : acquisition des dynamiques d’environnement et de connaissances spécialisées.
  • Supervised Fine-Tuning : activation explicite du raisonnement de prédiction d’état.
  • Reinforcement Learning : amélioration de la fidélité de simulation, avec une récompense combinant jugement multidimensionnel et vérification par règles.

L’entraînement exploite plus de 10 millions de trajectoires d’interaction. Le modèle apprend donc à maintenir un état, à reproduire les conventions d’un outil, à propager les erreurs et à préserver la cohérence sur plusieurs tours.

La variante ouverte, Qwen-AgentWorld-35B-A3B, repose sur une architecture Mixture of Experts : 35 milliards de paramètres au total, environ 3 milliards activés par token, et une fenêtre de contexte de 262 144 tokens. Elle est publiée avec ses poids et AgentWorldBench sous licence Apache 2.0 (dépôt officiel, fiche Hugging Face).

Un chiffre mérite qu’on s’y arrête. Sur AgentWorldBench, cette version ouverte de 35B, dont 3B actifs, atteint 56,39, au niveau de Claude Sonnet 4.6 (56,04) et devant Gemini 3.1 Pro (54,57) dans le protocole présenté. Un modèle open-weights, exécutable sur une seule carte graphique, qui rivalise avec des modèles frontier sur son terrain de spécialité : c’est ce genre d’écart qui change les architectures possibles en local.

Pourquoi cela peut changer la conception des agents

Le papier décrit deux usages complémentaires.

Le premier consiste à employer Qwen-AgentWorld comme simulateur externe. Un agent peut être entraîné dans des environnements synthétiques, contrôlables et moins coûteux que des infrastructures réelles. Il devient alors possible d’y injecter des API instables, des résultats incomplets ou des échecs partiels, afin de travailler la robustesse.

Pour qui déploie des agents en production chez des clients, j’y vois un cas d’usage plus immédiat encore que l’apprentissage par renforcement : la validation avant déploiement. Rejouer des dizaines de scénarios contre un environnement simulé, avant tout contact avec un système réel. Le client furieux, l’API qui renvoie une erreur 500 en plein traitement, la donnée manquante. Une répétition générale, reproductible et scorée, là où la pratique courante du marché reste trop souvent : déployer et prier.

Le second usage est plus ambitieux : faire du world modeling une capacité interne de l’agent. Avant d’agir, le modèle simule mentalement les conséquences possibles, compare les résultats attendus et affine son action.

Dans les expériences publiées, un échauffement par renforcement centré sur la prédiction d’état améliore ensuite, sans fine-tuning supplémentaire, les performances sur Terminal-Bench 2.0, SWE-Bench, WideSearch, OpenClaw et BFCL v4. La précision des prédictions explicites dans les traces de raisonnement passe de 69,9 % à 78,3 %.

OpenClaw désigne ici le benchmark agentique, homonyme amusant de notre propre plateforme multi-agents. Aucun rapport entre les deux, mais la coïncidence méritait d’être signalée avant qu’un lecteur ne s’y perde.

Ce résultat suggère une direction importante : entraîner un agent à comprendre les transitions d’état pourrait être aussi structurant que l’entraîner directement à sélectionner des actions.

Des résultats prometteurs, à lire avec recul

AgentWorldBench contient 2 170 échantillons issus d’interactions avec des environnements réels. Les prédictions sont évaluées selon cinq dimensions : format, factualité, cohérence, réalisme et qualité.

Modèle Score AgentWorldBench
Qwen-AgentWorld 397B-A17B 58,71
GPT-5.4 58,25
Qwen-AgentWorld 35B-A3B (ouvert) 56,39
Claude Sonnet 4.6 56,04
Gemini 3.1 Pro 54,57

La version ouverte gagne 8,66 points par rapport à son modèle de base, Qwen3.5-35B-A3B. Ces chiffres ne signifient pas pour autant qu’un simulateur remplace déjà un environnement réel. Trois limites me paraissent importantes.

  • La factualité reste le point faible. Simuler une réponse plausible n’est pas garantir qu’elle soit vraie.
  • Les environnements graphiques restent textuels. Les arbres d’accessibilité ne capturent pas toute l’information visuelle.
  • L’évaluation dépend en partie d’un modèle juge. Elle est ancrée sur une observation réelle, mais ne remplace pas une validation entièrement déterministe.

Le résultat le plus intéressant n’est donc pas un classement brut. C’est l’écart obtenu entre les modèles de base et leurs versions entraînées comme world models, et le transfert vers des tâches agentiques non vues à l’entraînement.

Prochaine étape : le déployer dans le lab

Je vais déployer Qwen-AgentWorld-35B-A3B sur notre plateforme, avec llama.cpp comme moteur d’inférence, pour confronter les promesses du papier aux contraintes réelles :

  • consommation de VRAM et impact du contexte long, jusqu’à 262K ;
  • débit, latence et comportement du Mixture of Experts ;
  • fidélité de simulation sur Terminal, MCP et Software Engineering ;
  • cohérence sur les trajectoires longues ;
  • intégration dans une boucle agent, world model, vérificateur, avec un premier harnais de scénarios de validation avant déploiement.

Y compris dans notre propre flux de développement, où nos agents devront désormais prouver leurs actions en simulation avant de toucher un environnement réel.

L’objectif ne sera pas seulement de faire tourner le modèle. Il sera de mesurer s’il permet réellement à un agent de prévoir, tester et corriger ses actions avant de toucher un environnement de production. L’architecture, les paramètres d’inférence, les mesures et les limites observées feront l’objet d’un prochain retour d’expérience.

Retour à la liste des articles