Testen Sie getippte und eingefügte KI-Prompts separat
Ein erfolgreicher Einfügetest beweist nicht, was passiert, wenn ein Mitarbeiter denselben Inhalt tippt. Bewerten Sie Eingabemethode, Richtlinienentscheidung und endgültige Einreichung separat mit einem genehmigten Testkonto und synthetischen Daten mit bekannter erwarteter Klassifikation.
Für Sicherheitsingenieure, die einen Mitarbeiter-KI-Pilotversuch durchführen
Eine Support-Zusammenfassung, drei Eingabemethoden
Ein Pilotnutzer bittet einen KI-Assistenten, ein fiktives Support-Ticket zusammenzufassen. Der Bewerter ändert nur, wie derselbe Testtext in den Editor eingegeben wird.
Womit Sie arbeiten
- Ein synthetisches Ticket mit einem vom Anbieter genehmigten sensiblen Testdatensatz und einem deutlichen NUR TEST-Label.
- Ein ansonsten gleichwertiges Ticket mit öffentlichen Informationen, die gemäß der ausgewählten Richtlinie erlaubt sein sollten.
- Eine aufgezeichnete Browserversion, Erweiterungsversion, Richtlinienkonfiguration und angemeldeter KI-Kontotyp.
Ein sichererer Ansatz
- Verwenden Sie eine isolierte Testkonversation und bestätigen Sie die erwartete Klassifikation des Testdatensatzes, bevor Sie eine Einreichung versuchen.
- Tippen, Einfügen als Nur-Text und Einfügen formatierten Textes in separaten Durchläufen mit derselben Richtlinie.
- Bewahren Sie Screenshots und Ergebnisse im Arbeitsblatt des Bewerters auf; gehen Sie nicht davon aus, dass das Sicherheitsprodukt die Eingabemethode aufzeichnet.
Erwartetes Ergebnis: Jede relevante Methode erzeugt die vereinbarte Entscheidung, und der Bewerter kann eine abgefangene Einreichung von einer Warnung mit anschließendem abgeschlossenen Versand unterscheiden.
Arbeiten Sie das Verfahren durch
Korrigieren Sie die Richtlinie und den Testdatensatz
Notieren Sie die erforderliche Aktion für den synthetischen eingeschränkten Text und die erlaubte Kontrollversion. Fragen Sie den Anbieter, welcher Detektor und welches Beispiel geeignet sind. Eine erfundene Kontonummer, die eine Prüfziffer nicht besteht, ist ein schlechter positiver Test, da die erwartete Klassifikation bereits unsicher ist.
Testen Sie jede Eingabemethode
Starten Sie für jeden Durchlauf eine neue Konversation. Testen Sie manuelles Tippen, Einfügen als Nur-Text und Einfügen formatierten Textes, ohne Browser, Konto oder Richtlinie zu ändern. Beobachten Sie, ob die Intervention beim Einfügen, während der Eingabe oder bei der Einreichung erfolgt; dies sind unterschiedliche Punkte im Workflow.
Überprüfen Sie die endgültige Aktion
Versuchen Sie die normale Sendeaktion und dokumentieren Sie, was der Nutzer sieht. Prüfen Sie, sofern im Testumfeld erlaubt, die resultierende Konversation und verfügbare Produktnachweise. Ein Popup allein beweist nicht, dass der Anbieter das übermittelte Material nie erhalten hat.
Wiederholen Sie mit einer harmlosen Kontrollversion
Senden Sie die erlaubte Version mit denselben Methoden. Dokumentieren Sie unnötige Unterbrechungen getrennt von einer verpassten Einschränkung. Testen Sie inkonsistente Ergebnisse erneut und identifizieren Sie deren Bedingungen, bevor Sie entscheiden, ob eine Methode unterstützt, nicht unterstützt oder für diese Bereitstellung noch ungeklärt ist.
Was vor dem Fortfahren zu prüfen ist
1. Abdeckung der Eingabemethoden
- Bereit, wenn
- Getippte und eingefügte Testdaten erfüllen die dokumentierte Aktion für jede relevante Methode.
- Wenn die Prüfung fehlschlägt
- Schließen Sie die fehlerhafte Methode aus der Abdeckungserklärung aus und vereinbaren Sie eine Umgehungslösung oder einen Nachtest.
2. Ergebnis der Einreichung
- Bereit, wenn
- Die Nachweise unterscheiden verhinderte, modifizierte, überschreibende und abgeschlossene Einreichungen.
- Wenn die Prüfung fehlschlägt
- Markieren Sie das Ergebnis als nicht schlüssig und beschaffen Sie eine unterstützte Methode zur Verifizierung der endgültigen Aktion.
3. Benigne Benutzerfreundlichkeit
- Bereit, wenn
- Die genehmigte Kontrollversion bleibt ohne unerklärte Richtlinienunterbrechung nutzbar.
- Wenn die Prüfung fehlschlägt
- Überprüfen Sie die passende Regel, bevor Sie die Durchsetzung auf weitere Nutzer ausweiten.
Häufige Fehler vermeiden
- Eine Warnung als Verhinderung zu zählen, obwohl der Nutzer den Originaltext weiterhin senden kann.
- Wechsel von KI-Dienst, Kontotyp und Eingabemethode zusammen, wobei die Ursache unterschiedlicher Ergebnisse unklar bleibt.
Bewerten Sie diesen Workflow mit Aona
Wo Aona helfen kann
Bitten Sie Aona Vertrieb und Technik, die unterstützten Prompt-Workflows und geeigneten synthetischen Testdaten für einen begrenzten Pilotversuch zu identifizieren.
Was zu bestätigen ist
Bestätigen Sie das Verhalten bei getippten und eingefügten Eingaben für die tatsächliche Version und den Anbieter; dieses Protokoll behauptet nicht, dass jeder Eingabepfad abgedeckt ist.
Bewerten Sie ChatGPT-Prompt-Kontrollen?
Besprechen Sie getippte und eingefügte Prompts auf der ChatGPT-Oberfläche, die Ihre Mitarbeiter nutzen. Überprüfen Sie unterstützte Richtlinienreaktionen mit synthetischen Eingaben und einigen Sie sich auf Akzeptanzkriterien.
FAQ