OpenAI hat GPT-Red entwickelt, ein automatisiertes KI-System zur Identifikation von Sicherheitslücken in Sprachmodellen. Das Tool half dabei, GPT-5.6 widerstandsfähiger gegen Prompt-Injection-Attacken zu machen, bevor das Modell in den Einsatz ging.
OpenAI hat mit GPT-Red ein neues automatisiertes System vorgestellt, das gezielt nach Sicherheitslücken in seinen Sprachmodellen sucht. Das Tool basiert auf dem Prinzip des Red Teamings, einer bewährten Cybersecurity-Methode, bei der Experten Systeme intentional attackieren, um Schwachstellen vor echten Angriffsversuchen aufzudecken. Das System wurde bereits bei der Entwicklung von GPT-5.6 eingesetzt und verbesserte dessen Resistenz gegen Prompt-Injection-Attacken deutlich.
GPT-Red trainiert sich selbst durch adversarial reinforcement learning: Das System generiert zunehmend komplexere Injektions-Attacken, während Verteidigungsmodelle gleichzeitig lernen, sich gegen diese zu schützen. Laut OpenAI war das System in 84 Prozent der internen Tests erfolgreich, während menschliche Red Teamer nur in 13 Prozent der gleichen Szenarien Sicherheitslücken fanden. Die erkannten Angriffsmuster wurden direkt in das Training von GPT-5.6 integriert.
Das System könnte ein Game-Changer bei der Sicherung von KI-Systemen sein, soll aber vorerst intern bleiben. OpenAI begründet dies damit, dass GPT-Red selbst intentional entwickelte Schwachstellen enthält, die nicht öffentlich zugänglich sein sollten. Diese Entwicklung reiht sich in einen breiteren Trend ein: Immer mehr Organisationen, wie auch die Ethereum Foundation, setzen KI-Agenten ein, um kritische Infrastrukturen zu prüfen und Sicherheitslücken zu identifizieren.