Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game

Zusammenfassung

Große Sprachmodelle (LLMs) werden immer häufiger in echten Anwendungen eingesetzt, bleiben aber anfällig für Prompt-Injection: Fremde, böswillige Prompts untergraben die Absicht des Entwicklers. Damit Forschende dieses Problem untersuchen können, stellen wir einen Datensatz mit über 126.000 Prompt-Injection-Angriffen und 46.000 promptbasierten „Verteidigungen“ vor. Alle stammen von Spielern des Online-Spiels Tensor Trust. Nach unserem Wissen ist das derzeit der größte Datensatz von Menschen erzeugter Angriffsbeispiele für LLMs, die Anweisungen befolgen. Die Angriffe im Datensatz haben eine gut verständliche Struktur und zeigen Schwächen von LLMs auf. Außerdem bauen wir aus dem Datensatz einen Benchmark für die Widerstandsfähigkeit gegen zwei Arten von Prompt-Injection: Prompt-Extraktion und Prompt-Hijacking. Die Ergebnisse zeigen, dass viele Modelle gegen die Angriffsstrategien aus dem Datensatz anfällig sind. Einige Strategien funktionieren sogar bei echten LLM-Anwendungen, obwohl diese ganz andere Randbedingungen haben als das Spiel. Wir veröffentlichen alle Daten und den Quellcode unter tensortrust.ai/paper.

@misc{toyer2023tensor,
    title={{Tensor Trust}: Interpretable Prompt Injection Attacks from an Online Game},
    author={Toyer, Sam and Watkins, Olivia and Mendes, Ethan Adrian and Svegliato, Justin and Bailey, Luke and Wang, Tiffany and Ong, Isaac and Elmaaroufi, Karim and Abbeel, Pieter and Darrell, Trevor and Ritter, Alan and Russell, Stuart},
    year={2023},
    journal={arXiv preprint arXiv:2311.01011},
    url={https://arxiv.org/pdf/2311.01011.pdf}
}