Exploiting Shadow Data from AI Models – Patrick Walsh (DEF CON 33)

Exploiting Shadow Data from AI Models
(Patrick Walsh, DEF CON 33)

I watched Patrick Walsh’s DEF CON 33 talk and felt a chill, not because of theatrics, but because of the quiet, real danger he laid out. He showed how modern apps that use Large Language Models (LLMs) and Retrieval-Augmented Generation (RAG) can leak *shadow data*, those hidden bits of personal information that you didn’t even know were stored.

First, the basics. RAG systems pull together external documents and embeddings to answer questions, they’re clever, but also complicated. Walsh walked through two attack types that stuck with me. One is *model inversion*, where an attacker teases confidential training data back out of a fine-tuned model. The other is *embedding inversion*, where vector databases leak sensitive items like PII or social security numbers through the embeddings they store. Real-world demos, simple prompts, and suddenly data you thought was safe becomes exposed.

Here’s the rub, and this part made me uneasy: common PII scanners routinely miss these buried signals. They look at plain text, not the rich, transformed data inside models and vector stores. So your usual checklist might give you confidence, but that confidence could be misplaced.

What can you do? A few practical steps that actually help: minimize sensitive data in training and RAG sources, add access controls and rate limits, audit embeddings regularly, and consider privacy-preserving training methods (for example, differential privacy). Also, treat your vector database like any other sensitive datastore, with encryption and retention policies.

If you want to watch Walsh’s talk, here’s the source: https://youtu.be/O7BI4jfEFwA?si=GLn517tVu4owD0_T

I’m optimistic. Awareness is the first step, and researchers are already building better tools. It’s messy now, sure, but with smarter practices we can keep powerful AI useful and private at the same time.

Ausnutzung von Schatten-Daten in KI-Modellen
(Patrick Walsh, DEF CON 33)

Ich habe mir Patrick Walshs Vortrag bei DEF CON 33 angesehen, und ehrlich gesagt war ich beunruhigt. Er erklärt, wie Anwendungen mit Large Language Models (LLMs) und Retrieval-Augmented Generation (RAG) sogenannte *Schatten-Daten* enthalten können, also persönliche Informationen, die man gar nicht erwartet.

Kurz und knapp: RAG-Systeme kombinieren externe Dokumente mit Vektor-Embeddings, das macht sie mächtig, aber auch anfällig. Walsh zeigte zwei Angriffsarten, die leicht übersehen werden. Beim *Model Inversion* lassen sich Trainingsdaten aus feinabgestimmten Modellen zurückgewinnen. Beim *Embedding Inversion* können Vektor-Datenbanken sensible Informationen verraten, etwa PII oder Sozialversicherungsnummern. Die Demos waren erschreckend einfach und effektiv.

Das Problem: gängige PII-Scanner erkennen das nicht. Sie prüfen meist nur Rohtext. Sie sehen nicht die verborgenen Hinweise, die in Modellen oder Embeddings stecken. Das heißt, ein „grüner Haken“ durch Scanner gibt dir nicht unbedingt Sicherheit.

Praktische Maßnahmen, die wirklich helfen: vermeide sensible Daten in Trainings- und RAG-Quellen, setze strikte Zugriffskontrollen und Ratenbegrenzungen, auditier Embeddings regelmäßig und nutze wenn möglich datenschutzfreundliche Trainingsmethoden (zum Beispiel Differential Privacy). Behandle deine Vektor-Datenbank wie jede andere sensible Datenbank, mit Verschlüsselung und klaren Aufbewahrungsregeln.

Den Vortrag findest du hier: https://youtu.be/O7BI4jfEFwA?si=GLn517tVu4owD0_T

Ich bin optimistisch. Probleme sind bekannt, Forscher und Entwickler arbeiten an besseren Tools. Es ist ein bisschen chaotisch gerade, aber mit den richtigen Maßnahmen können wir die Vorteile von KI nutzen, ohne unsere Privatsphäre zu opfern.