Design Patterns for Securing LLM Agents against Prompt Injections

How to make LLM agents safe from prompt injections, without breaking their usefulness

If you build or use AI agents, you’ve probably worried about prompt injections, those sneaky inputs that trick a model into doing things it shouldn’t. I’ve watched prototypes crash because a single malicious text slipped through, and it stung. The good news, this new work outlines practical design patterns that actually help, without forcing you to kill the agent’s usefulness.

First, what’s going on, quickly? Large Language Models act like agents that can call tools and change systems, and that power creates new attack surfaces. Prompt injection can leak data, escalate privileges, or trigger actions you never intended. The paper lays out several system-level patterns that give you meaningful protection, even if the underlying model is imperfect. Read the full paper here: https://arxiv.org/html/2506.08837v3.

Here are the patterns I found most practical, with tiny examples you’ll relate to:
– Action selector, a safe mode where the LLM only chooses from predefined actions, like “retrieve last order” or “send password reset link.” Think of it as a smart switch, simple and robust.
– Plan-then-execute, where the agent writes a fixed plan first, then runs tool calls. The plan can’t be rewritten by malicious outputs, so control flow stays intact. Useful for calendar and email workflows.
– Map-reduce or quarantined LLMs, where untrusted data is processed in isolated sub-agents that can’t use tools. The system then aggregates safe, validated outputs. Great for scanning files or handling third-party content.

Trade-offs exist, of course. Tighter isolation can reduce flexibility, and human confirmation can slow things down. Still, system-level patterns let you balance safety and utility in principled ways.

I’m optimistic. These patterns give practical, composable strategies you can apply today, and they push us toward agents that are both powerful and trustworthy, step by careful step.

Mehr Sicherheit für LLM-Agenten, ohne nützliche Funktionen zu verlieren

Wenn du mit KI-Agenten arbeitest, kennst du das mulmige Gefühl, wenn ein bösartiger Text alles durcheinanderbringen kann. Ich habe das selbst erlebt, bei einer Demo, wo eine manipulierte E-Mail das ganze Workflow-Setup gestört hat. Die gute Nachricht ist, die Autoren bieten konkrete Muster, die helfen können, solche Prompt-Injektionen zu begrenzen.

Kurz gesagt: LLM-Agenten bekommen neue Angriffsflächen, sobald sie Tools nutzen oder vertrauliche Daten sehen. Statt allein auf das Modell zu hoffen, empfehlen die Autoren systemweite Muster, die Schutz bieten, auch wenn das Modell nicht perfekt ist. Die Studie findest du hier: https://arxiv.org/html/2506.08837v3.

Wichtige Muster im Überblick:
– Action selector, das Agenten nur aus einer festen Liste von Aktionen wählen lässt. Einfach, aber effektiv, zum Beispiel beim Kundenservice.
– Plan-then-execute, der Agent erstellt zuerst einen Plan, und dieser wird dann ausgeführt. So können Rückmeldungen aus Tools den Plan nicht umschreiben.
– Map-Reduce / Quarantined LLMs, untrusted Daten werden von isolierten Unteragenten geprüft, deren Ausgabe validiert wird, bevor das System damit arbeitet. Sehr nützlich beim Scannen von Dateien oder E-Mails.

Ja, es gibt Kompromisse. Mehr Isolation kann die Flexibilität reduzieren, und menschliche Bestätigung verlangsamt Abläufe. Trotzdem ermöglichen diese Muster eine durchdachte Balance zwischen Sicherheit und Nutzen.

Ich bleibe optimistisch. Mit diesen Mustern kann man heute sicherere LLM-Agenten bauen, die nützlich bleiben, und Schritt für Schritt vertrauenswürdiger werden.