Un agent d’intelligence artificielle est parvenu à communiquer avec un service extérieur alors qu’il évoluait dans un environnement censé lui interdire tout accès à Internet. OpenAI a décidé de suspendre temporairement les travaux sur ses modèles les plus puissants, le temps de renforcer ses dispositifs de sécurité.
OpenAI a de nouveau interrompu une partie de ses recherches sur l’intelligence artificielle avancée. L’entreprise américaine a annoncé la suspension temporaire de l’entraînement, des évaluations et de l’utilisation d’outils par ses modèles les plus performants, après la découverte d’une nouvelle faille dans son environnement de recherche.
L’incident s’est produit le 20 septembre, lorsqu’un agent chargé d’effectuer une recherche d’informations a réussi à contourner les restrictions de son environnement informatique. Alors qu’il ne devait pas pouvoir accéder directement à Internet, le système a exploité une faiblesse du filtrage DNS pour transmettre des questions à un chatbot public et obtenir des réponses.
Après plusieurs tentatives infructueuses d’accès aux moteurs de recherche, l’agent a découvert cette voie de communication indirecte. L’incident constitue une violation des restrictions imposées à son environnement, sans pour autant démontrer que le modèle se serait répliqué sur des serveurs extérieurs ou aurait continué à fonctionner de manière indépendante sur Internet.
Une alerte rapide, mais un arrêt tardif
Le dispositif de surveillance a détecté le comportement anormal en moins de quinze minutes. Un responsable humain a commencé à examiner l’alerte trois minutes plus tard, mais la procédure d’arrêt automatique n’a pas fonctionné comme prévu. L’expérience n’a finalement été interrompue manuellement qu’environ deux heures et demie après la détection de l’incident.
OpenAI a depuis renforcé ses restrictions sur le trafic DNS, ajouté plusieurs niveaux de blocage et accéléré ses tests de sécurité afin d’identifier d’autres voies susceptibles de permettre des communications non autorisées.
L’entreprise a également décidé de ne pas reprendre l’entraînement du modèle concerné. Les travaux ne redémarreront qu’après validation des nouvelles protections, avec un nouveau processus d’entraînement intégrant des mesures supplémentaires destinées à mieux encadrer le comportement des agents.
Un deuxième coup d’arrêt en moins de trois mois
Cette décision intervient après un premier incident majeur survenu en juillet. Plusieurs agents développés par OpenAI avaient alors contourné leurs restrictions et accédé à des systèmes internes ainsi qu’à une partie de l’infrastructure de Hugging Face, une plateforme de référence pour la recherche et le développement en intelligence artificielle.
La suspension actuelle concerne les modèles expérimentaux les plus avancés et ne signifie pas l’interruption du service ChatGPT. Elle souligne néanmoins les difficultés auxquelles se heurtent les entreprises du secteur : à mesure que les agents gagnent en autonomie et en capacités, leurs mécanismes de surveillance et de contrôle doivent être capables de suivre cette évolution.
