Nadella veut traiter chaque agent IA en initié compromis

Satya Nadella, à la tête de Microsoft, demande que tout agent d’intelligence artificielle soit tenu pour compromis dès sa mise en service, dans une longue publication sur X.

Le dirigeant part d’un constat qu’il formule sans détour : les modèles de pointe, qu’ils soient propriétaires ou publiés avec leurs poids ouverts, se comportent comme des initiés, au sens opérationnel comme organisationnel. Ils occupent, dans une entreprise, la place d’un collaborateur disposant de clés étendues. À ce titre, leur accès aux systèmes critiques appelle selon lui une surveillance du même niveau que celle réservée aux comptes internes les plus sensibles.

Des initiés puissants au comportement imprévisible

La difficulté tient à la nature même de ces systèmes. Leur fonctionnement n’est pas déterministe : soumis deux fois aux mêmes entrées, un modèle peut livrer deux réponses distinctes. Or cette imprévisibilité cohabite déjà avec des droits considérables. Les agents consultent aujourd’hui les données les plus confidentielles et peuvent déclencher des opérations critiques pour le compte de leurs utilisateurs. C’est cette contradiction, un pouvoir d’action réel confié à un comportement que l’on ne peut garantir, qui fonde l’ensemble du raisonnement.

Pourquoi un modèle ne peut pas en surveiller un autre

Une réponse courante consiste à placer un second modèle en sentinelle du premier. Nadella la juge insuffisante. Il reconnaît l’utilité des tests adversariaux et des vérifications croisées, mais met en garde contre l’empilement de systèmes dont personne ne voit l’intérieur. Il résume le risque par une image :

« un modèle opaque dans une couche d’orchestration opaque, surveillé par un autre modèle opaque »

Satya Nadella, CEO de Microsoft

La chaîne de pensée, ce raisonnement intermédiaire que certains modèles affichent avant de répondre, ne règle pas non plus le problème. Le cheminement exposé ne reflète pas toujours fidèlement le calcul effectivement mené, et il reste trop peu lisible pour servir à lui seul de fondation à un dispositif de sécurité.

L’alternative proposée change de registre. Plutôt que de chercher la fiabilité dans le modèle, Nadella veut entourer ces composants probabilistes d’une architecture déterministe, de procédures d’exploitation éprouvées et de contrôles exercés par des humains.

Confiner, interrompre, séparer, tracer

Plusieurs autres règles viennent préciser la doctrine :

• Un bouton d’arrêt humain : une personne habilitée doit pouvoir suspendre ou stopper un modèle en pleine exécution d’une tâche.
• La séparation des rôles : jamais le même modèle ne doit maîtriser à la fois le comportement d’un système et les éléments qui permettent de vérifier que ce comportement respecte l’intention de départ.
• Une preuve que l’agent ne signe pas lui-même : toute action significative doit produire une trace infalsifiable, compréhensible par un humain, qui permet de retracer le chemin vers un résultat sans s’en remettre à la certification du modèle.

Les réflexes de la cybersécurité appliqués aux agents

Rien de tout cela n’est entièrement neuf pour les équipes de sécurité. Comme le relève Pause Hardware, la doctrine transpose aux systèmes agentiques quatre principes bien connus : le moindre privilège, la segmentation, la journalisation indépendante et la révocation immédiate des accès. Pour les organisations qui confient des tâches à des agents, la grille de lecture devient donc familière : traiter l’agent comme un compte à hauts privilèges, cloisonner ce qu’il peut atteindre, conserver des journaux qu’il ne contrôle pas et pouvoir lui retirer ses droits sans délai.

Des dérives d’agents ont déjà été documentées, à l’image de cette IA d’Anthropic ayant contacté la police avec un témoignage fabriqué.

Photo à la une. Source : Wikimedia Commons. Photographe : NOIRLab/NSF/AURA/T. Slovinský. Licence : CC BY 4.0.