AI Penetration Testing · Moritz Samrock

AI Penetration Testing ist die autorisierte, methodische Sicherheitsprüfung von Systemen der künstlichen Intelligenz und des maschinellen Lernens. Dabei werden Schwachstellen untersucht, die klassische Penetrationstests nicht abdecken: Modellextraktion, Adversarial Inputs, Prompt Injection, Training-Data-Poisoning, Model Inversion, Membership Inference und der Missbrauch KI-gestützter APIs. Mit der zunehmenden Verbreitung von KI in Produktivsystemen entstehen neue Angriffsflächen, die dedizierte Testmethoden erfordern.

Wer beauftragt diesen Test?

KI-Produktteams, CISOs und CTOs KI-getriebener Unternehmen sowie Compliance-Verantwortliche, die sich auf den EU AI Act vorbereiten, sind die typischen Auftraggeber. Organisationen, die KI-Modelle von Drittanbietern integrieren oder eigene entwickeln, stehen vor Risiken, die klassische Application-Security-Assessments nicht adressieren. Der regulatorische Druck wächst: Der EU AI Act schreibt Konformitätsbewertungen für Hochrisiko-KI-Systeme vor und macht proaktive Tests zur Compliance-Pflicht.

Ziel des Tests

Ziel ist die Identifikation von Sicherheitsschwächen, die spezifisch für KI/ML-Komponenten sind — vom Modell selbst bis zur umgebenden Infrastruktur. Tester prüfen, ob ein Angreifer das Modellverhalten manipulieren, proprietäre Modellgewichte extrahieren, Trainingsdaten leaken, Sicherheits-Guardrails umgehen oder KI-gestützte Funktionen für unbeabsichtigte Zwecke missbrauchen kann. Jedes Finding wird nach Ausnutzbarkeit und geschäftlicher Auswirkung bewertet.

Was wird getestet?

Geprüft wird die KI-spezifische Angriffsfläche: Modell-APIs und Inferenz-Endpunkte, Input-Preprocessing-Pipelines, Output-Filtering und Sicherheitsmechanismen, Trainings- und Fine-Tuning-Workflows, Datenpipelines, Agent-Tool- und Function-Calling-Implementierungen, Embedding Stores und Retrieval-Systeme, Rate Limiting und Abuse Prevention auf KI-Endpunkten sowie die Integrationspunkte zwischen der KI-Komponente und der Gesamtanwendung.

Übliche Schwachstellen und Findings

Typische Schwachstellen sind Prompt Injection (direkt und indirekt), Jailbreaks zur Umgehung von Safety-Guardrails, Modellextraktion durch systematisches API-Querying, Trainingsdaten-Leakage durch gezielt formulierte Prompts, Adversarial Examples zur Fehlklassifikation, übermäßige Berechtigungen von KI-Agenten, unsichere Tool- und Function-Calling-Implementierungen, PII-Offenlegung über Modell-Outputs, fehlendes Rate Limiting auf Inferenz-APIs, mangelnde Eingabevalidierung, Data-Poisoning-Vektoren in Trainingspipelines und unzureichende Output-Sanitisierung mit der Folge nachgelagerter Injection-Angriffe. Die Methodik stützt sich auf das OWASP AI Security Project und das MITRE ATLAS Framework.

Ablauf eines AI Penetrationstests

Ein AI Penetrationstest folgt dem etablierten Pentest-Prozess mit zusätzlichen KI-spezifischen Schritten.

Interesse und Erstanfrage — der Kunde nimmt Kontakt auf, beschreibt sein KI-System, den Einsatzkontext und den Anlass für den Test (regulatorische Compliance, Pre-Launch, Incident Response).

Erstgespräch zum Verständnis der Kundenziele — Tester und Kunde besprechen die KI-Architektur: Modelltyp (LLM, Klassifikator, Recommender), Deployment-Modell (API, eingebettet, On-Premise), Zugang zur Trainingspipeline und ob der Test das Modell selbst, seine Integration oder beides umfasst. Da die KI-Sicherheit ein junges Feld ist, erfordert das Scoping enge Zusammenarbeit.

Angebotserstellung und Freigabe — ein Angebot beschreibt Scope, Methodik (mit Verweis auf OWASP AI Security, MITRE ATLAS), Zeitplan und Deliverables. AI Pentests erfordern oft flexiblere Zeitrahmen als traditionelle Assessments, da sich Angriffstechniken schnell weiterentwickeln.

Scope-Definition — Ziele werden dokumentiert: API-Endpunkte, Modellversionen, Testumgebungen, verfügbare Dokumentation und Einschränkungen (z. B. keine Modifikation der produktiven Trainingspipeline).

Letter of Engagement — autorisiert den Test und definiert Grenzen. Bei KI-Systemen wird explizit festgelegt, ob Tester Modellextraktion, adversariale Trainingsdaten-Einspeisung oder Interaktion mit dem Produktivmodell versuchen dürfen.

Erstellung weiterer Freigaben — Cloud-Provider-Genehmigungen, API-Zugangsprovisionierung und Testumgebungs-Setup. AI Pentests erfordern häufig dedizierte Testinstanzen, um das Verhalten des Produktivmodells nicht zu beeinträchtigen.

Bereitstellung von Informationen je nach Black-/Gray-/White-Box-Ansatz — der Kunde stellt je nach Ansatz API-Dokumentation, Model Cards, System-Prompts, Architekturdiagramme, Trainingsdaten-Samples oder vollen Quellcodezugang bereit. Gray-Box-Testing ist üblich: Tester erhalten API-Zugang und Dokumentation, aber nicht die Modellgewichte.

Kick-Off Call — Abstimmung von Testansatz, Kommunikationsrhythmus und Eskalationswegen. Tester klären, welche Angriffskategorien im Scope sind, und besprechen mögliche Auswirkungen auf die Modellperformance während des Tests.

Durchführung mit laufender Information der Stakeholder — Tester prüfen das KI-System systematisch auf Prompt Injection, Adversarial Inputs, Modellextraktion und Missbrauchsszenarien. Kritische Findings — insbesondere solche, die Datenexfiltration oder Safety-Bypass ermöglichen — werden sofort gemeldet.

Sammlung und Bewertung der Schwachstellen — Findings werden mit Reproduktionsschritten, Nachweisen und Schweregradbewertungen dokumentiert. KI-spezifische Auswirkungsfaktoren werden berücksichtigt: Reputationsschaden durch Safety-Bypass, regulatorische Exposition und Potenzial für skalierten Missbrauch.

Erstellung des Abschlussberichts — enthält Management Summary, detaillierte Findings mit KI-spezifischem Kontext, Risikobewertungen und Behebungsempfehlungen. Empfehlungen umfassen oft Modellarchitektur, Prompt Engineering, Output-Filtering und operative Kontrollen.

Vorstellung in einer Präsentation — Findings werden sowohl dem KI-Engineering-Team als auch der Sicherheitsleitung präsentiert, mit technischen Details, Business Risk und einer Remediation-Roadmap.

Projektabschluss — das Engagement wird mit vereinbarten Behebungszeiträumen und Retest-Planung abgeschlossen. Angesichts der schnellen Weiterentwicklung von KI-Angriffstechniken sind regelmäßige Nachtests dringend empfohlen.

Wer sollte diesen Test wann durchführen lassen?

Jede Organisation, die KI-Systeme produktiv einsetzt, sollte AI Penetration Testing beauftragen — insbesondere wenn die KI mit Kunden interagiert, sensible Daten verarbeitet oder folgenreiche Entscheidungen trifft. Typische Anlässe sind der Launch KI-gestützter Features, Modellupdates oder Architekturänderungen, EU-AI-Act-Compliance (verpflichtend für Hochrisikosysteme), die Integration neuer KI-Tools oder Agent-Capabilities und KI-bezogene Sicherheitsvorfälle. Das Feld entwickelt sich rasant — Organisationen sollten kürzere Testzyklen einplanen als bei traditionellen Anwendungen.