Sicherheit für KI-generierten Code: Vom Prompt bis zum Pentest

Codacy veranstaltete eine Session mit Jordan Constantine (Head of Offensive Security bei WorkNest Secure) und Codacy-CTO Kendrick Curtis zu typischen Schwachstellen der KI-gestützten Entwicklung und praktischen Gegenmaßnahmen. Die Diskussion klassifizierte vier Verwundbarkeitskategorien — unsichere Dependencies und Malware, schädliche MCP-Server, Prompt Injection sowie unbeschränkte Agenten-Berechtigungen — und skizzierte Fixes wie die Durchsetzung eines minimalen Paket-Alters in der .npmrc, kuratierte Allowlist-Verfahren, bereichsspezifische Token für MCPs, Agenten-Sandboxing mit Vault-Schlüsseln sowie das Prinzip der minimalen Rechtevergabe (Least Privilege). Zwei Angriffs-Walkthroughs verdeutlichten reale Risiken: Ein Chatbot offenbarte Datenbankdetails und führte zur Exfiltration von Nutzer-Hashes, während die Dokumenten-Ingestion von LLMs AWS-Credentials über Redirects und vektorisierte Datenspeicher preisgab. Die Experten betonten, dass KI wie kritische Infrastruktur mit starker Governance, strikten Berechtigungskonzepten und agiler Incident Response behandelt werden muss.