KI-Forschung 5 Min. Lesezeit

Prompts testen 2026: verbessern, ohne Bewährtes zu verschlechtern

Von Emmanuel Abou Chabke, Gründer und Redakteur · Geprüft vom Redaktionsteam von AIQuickPrompt · Über den Herausgeber

Beim Prompt-Test prüfen Sie eine gespeicherte Anweisung anhand von Beispielen und klaren Erfolgskriterien. Ein Regressionstest ergänzt die Frage: Erledigt die neue Version weiterhin die Aufgaben, die vorher gut funktionierten? Bevor Sie einen nützlichen ChatGPT-, Claude- oder Gemini-Prompt ersetzen, vergleichen Sie beide Versionen mit denselben Eingaben. Eine gute Antwort auf eine schwierige Anfrage ist ein Anlass, die Änderung zu testen, aber kein Beleg dafür, dass sie in Ihre Bibliothek gehört.

Zwei Prompt-Versionen durchlaufen dieselben drei Testfälle, bevor die überarbeitete Version in die Bibliothek aufgenommen wird
Zwei Prompt-Versionen durchlaufen dieselben drei Testfälle, bevor die überarbeitete Version in die Bibliothek aufgenommen wird

Die November-Neuigkeit: Prompt-Optimierung braucht eine Erhaltungsprüfung

STEVE wurde in den Findings der IJCNLP-AACL 2026 zur Konferenz vom 6. bis 10. November veröffentlicht und untersucht Instabilität bei der automatischen Prompt-Optimierung. Der Preprint erschien am 20. September. Es handelt sich um eine neue Konferenzveröffentlichung, nicht um eine heute erstmals vorgestellte Technik.

Die Forschenden beschreiben zwei Probleme: Feedback zu bereits richtigen Antworten kann unnütze Änderungen auslösen, und wiederholte Optimierung für schwierige Beispiele kann einfache Fälle verschlechtern. Ihr Verfahren nutzt Fehler zur Überarbeitung und einen getrennten Erhaltungssatz zur Prüfung neuer Kandidaten. Sie berichten stabilere Ergebnisse auf zehn Reasoning-Benchmarks.

Die folgenden Praxistipps sind unsere Übertragung auf alltägliche Prompt-Bibliotheken. Sie reproduzieren STEVE nicht, vergleichen keine Chat-Apps und behaupten nicht, dass diese Vorlagen die Studienergebnisse erzielen.

Wie eine Prompt-Regression im Arbeitsalltag aussieht

Stellen Sie sich einen gespeicherten Prompt vor, der ein Kundenbriefing in eine kurze E-Mail verwandelt. Dann fehlt in einem Briefing die Frist. Sie ergänzen: „Stelle vor dem Schreiben immer Fragen.“ Das erkennt das fehlende Datum, führt aber auch bei vollständigen Briefings zu Rückfragen. Ein Fall wurde verbessert, der Normalfall verschlechtert.

Versuchen Sie eine gezieltere Änderung: „Wenn im Briefing eine für die E-Mail nötige Angabe fehlt, liste die fehlenden Angaben auf, statt sie zu erfinden. Andernfalls schreibe die E-Mail.“ Das ist ein illustrativer Testkandidat, kein gemessenes Ergebnis.

Wie eine Prompt-Regression im Arbeitsalltag aussieht
TesteingabeErforderliches Verhalten
Vollständiges BriefingE-Mail ohne unnötige Rückfragen verfassen
Briefing ohne wichtiges DatumFehlendes Datum benennen, nicht erfinden
Briefing mit widersprüchlichen DatenWiderspruch vor dem Schreiben melden

KI-Prompts in fünf Schritten testen

Beginnen Sie mit einer wiederkehrenden Aufgabe. Legen Sie die Akzeptanzregeln fest, bevor Sie die neue Antwort ansehen, damit gute Formulierungen keine verfehlte Anforderung verdecken.

  • Referenz behalten: Speichern Sie den bisherigen Prompt vor der Bearbeitung.
  • Kleine Fallsammlung aufbauen: normale Eingaben, einen bekannten Fehler und eine widersprüchliche oder unvollständige Eingabe aufnehmen. Ergänzen Sie realistische Beispiele im Alltag.
  • Eine Anforderung ändern: Beheben Sie den beobachteten Fehler, ohne unabhängige Anweisungen umzuschreiben.
  • Unter gleichen Bedingungen vergleichen: dasselbe Modell, dieselben Eingaben, Werkzeuge und verfügbaren Einstellungen nutzen. Gespräche trennen, damit frühere Antworten den Vergleich nicht beeinflussen.
  • Jeden Fall prüfen: Änderung nur behalten, wenn sie das Zielproblem löst und wesentliches Verhalten erhält. Unsichere Fälle wiederholen und Abweichungen dokumentieren.
Ein Prompt-Kandidat löst einen Fall, scheitert aber an einem zuvor erfolgreichen Fall und geht zur Überarbeitung zurück, statt die gespeicherte Version zu ersetzen
Ein Prompt-Kandidat löst einen Fall, scheitert aber an einem zuvor erfolgreichen Fall und geht zur Überarbeitung zurück, statt die gespeicherte Version zu ersetzen

Kopiervorlage: eine gezielte Prompt-Überarbeitung anfordern

Ersetzen Sie die Platzhalter durch einen echten Fehler und Ihre Anforderungen. Entfernen Sie vertrauliche Kundendaten. Fordern Sie einen Vorschlag an und testen Sie ihn selbst; die Erklärung des Optimierers ist kein Testergebnis.

Überarbeite diesen wiederverwendbaren Prompt: {{baseline_prompt}}
Beobachteter Fehler: {{failed_input_and_output}}
Erforderliches Verhalten: {{acceptance_rules}}
Zu erhaltendes Verhalten: {{preservation_rules}}
Schlage die kleinste sinnvolle Änderung vor.
Liefere den überarbeiteten Prompt, den Grund jeder Änderung und mögliche Regressionen zum Testen.
Behaupte nicht, Tests ausgeführt oder die Genauigkeit verbessert zu haben.

Kopiervorlage: eine Testkarte zur Prompt-Bewertung

Halten Sie das erwartete Verhalten getrennt von den gesammelten Antworten fest. Nutzen Sie geprüfte Quellen für Faktenaufgaben; definieren Sie bei Textaufgaben beobachtbare Anforderungen wie Länge, belegte Aussagen und Pflichtfelder. Eine KI kann Probleme aufzeigen, doch unsichere Bewertungen sollte ein Mensch klären.

Aufgabe: {{task_name}}
Referenzversion: {{baseline_version}}
Kandidatenversion: {{candidate_version}}
Modell und Datum: {{model_and_date}}
Werkzeuge und Einstellungen: {{tools_and_settings}}
Testeingabe: {{test_input}}
Erwartetes Verhalten: {{expected_behavior}}
Referenzantwort: {{baseline_output}}
Kandidatenantwort: {{candidate_output}}
Prüfen: nötige Fakten, Format, fehlende Informationen und unnötige Schritte.
Festhalten: bestanden, fehlgeschlagen oder unsicher je Version, mit Belegen.
Entscheidung: Kandidaten behalten, überarbeiten oder verwerfen.
Offene Fragen: {{review_notes}}

Prompt-Versionen in AIQuickPrompt speichern und im eigenen Werkzeug testen

Speichern Sie Referenz, Kandidaten und Testkarte in Ihrer Bibliothek. Nutzen Sie einen klaren Titel wie „Kunden-E-Mail — fehlendes Datum prüfen“ und wiederverwendbare Variablen für wechselnde Eingaben. Dokumentieren Sie Änderungen und geprüftes Modell, bevor Sie den Kandidaten zur Alltagsversion machen.

AIQuickPrompt bietet Prompt-Speicherung, wiederverwendbare Variablen und Versionsverlauf. Dieser Ablauf nutzt die Funktionen zur Organisation; die Vergleiche führen Sie im gewählten KI-Werkzeug selbst aus und dokumentieren die Ergebnisse. Das Speichern eines Prompts startet keine automatische Regressionstestsuite.

Wenn Sie AI Optimise nutzen, behandeln Sie dessen Formulierung als Kandidaten für dieselben Prüfungen. Unser Leitfaden zur Prompt-Optimierung erklärt den weiteren Bearbeitungsprozess. Nutzen Sie diese Testkarte, wenn Sie Belege brauchen, dass sich eine Änderung lohnt.

Wählen Sie einen wöchentlich genutzten Prompt. Speichern Sie die aktuelle Version, definieren Sie eine gute Antwort und vergleichen Sie eine kleine Änderung anhand derselben Fälle. Behalten Sie die Version, die die Prüfungen besteht, samt Belegen für den nächsten Einsatz.

Weiterführende Artikel

Primärquellen und praktische Leitfäden zu diesem Artikel.

Häufig gestellte Fragen

Was ist ein Prompt-Regressionstest?

Er prüft, ob eine Prompt-Änderung vorher funktionierendes Verhalten verschlechtert. Führen Sie Referenz und Kandidaten mit denselben repräsentativen Eingaben aus und vergleichen Sie sie anhand ausdrücklicher Anforderungen.

Wie viele Beispiele brauche ich zum Testen eines Prompts?

Es gibt keine allgemeine Mindestzahl. Beginnen Sie mit normalen Fällen und bekannten Fehlern und erweitern Sie die Sammlung je nach Vielfalt und Folgen der Aufgabe. Eine kleine manuelle Prüfung ist ein Anfang, kein Nachweis für Produktionszuverlässigkeit.

Wird damit STEVEs automatische Prompt-Optimierung reproduziert?

Nein. Die Vorlagen unterstützen eine von der Forschung inspirierte manuelle Prüfung. Sie implementieren STEVEs Optimierer nicht und belegen nicht dessen veröffentlichtes Benchmark-Ergebnis.

Weiterlesen