Schritt 6 von 6 · Testing - Praxis-Kit

Vorlage Regressionstest

Validiert eine Korrektur mit aktueller Evidenz und hält den Status der historischen Rekonstruktion getrennt.

Diese Vorlage verwenden

Eine Vorlage ist keine Evidenz. Nur bereinigte Kennungen eintragen.

  1. 01Plan
  2. 02Fall
  3. 03Lauf
  4. 04Evidenz
  5. 05Befund
  6. 06Regression

Zweck

Entscheidet, ob ein Befund geschlossen werden kann, anhand einer in den geänderten Versionen ausgeübten Kontrolle.

Einsatz: Nach einer Korrektur und nach jedem Regressionsauslöser wie einer Modell-, Prompt-, Richtlinien-, Tool- oder Kataloganpassung.

Bezug

Bezug
FeldWas zu erfassen ist
Regressions-IDEindeutige Kennung, etwa RG-ASM014-03-1.
Ursprüngliche Befund-IDDer nachgetestete Befund.
Ursprüngliche Fall- / Lauf-IDsLäufe, die das Versagen zeigten.
Referenz der Korrektur / ÄnderungÄnderungsticket, Commit oder Release.
Geänderte Komponente / VersionNeue Versionen aller betroffenen Komponenten.
Erwartete korrigierte KontrolleEntscheidung, die nun gelten soll, mit Richtlinienversion.

Ausführung

Ausführung
FeldWas zu erfassen ist
PositivkontrolleHarmlose Operation im Umfang, die weiterhin gelingen muss.
Verweis auf den RegressionsstimulusFixture-Version oder Hash aus dem ursprünglichen Lauf; kein Payload-Text.
Erforderliche EvidenzMaßgebliche Quellen für die Stufen 5 bis 7.
VorbedingungenZustand, der gelten muss, damit der geschützte Pfad erreichbar ist.
TestläufeIDs der Laufprotokolle, mindestens drei, wenn Modelleinfluss beteiligt ist.

Status

Historische Rekonstruktion und aktuelle Validierung werden getrennt erfasst.

Status
FeldWas zu erfassen ist
Status der historischen RekonstruierbarkeitVollständig, teilweise oder nicht rekonstruierbar: Lässt sich das ursprüngliche Versagen aus aufbewahrter Evidenz noch zeigen?
Aktueller RegressionsstatusBehoben, weiterhin fehlerhaft, nicht schlüssig oder Kontrolle nicht ausgeübt in den neuen Versionen.
Kontrolle ausgeübt?Hat ein Lauf den geschützten Pfad erreicht?
Früheres Versagen reproduziert?In den neuen Versionen ja oder nein, mit Lauf-IDs.
Nachgelagerte Wirkung beobachtet?Laut maßgeblichem System.
EvidenzlückenFehlende oder nicht verfügbare Quellen.
RestrisikoVerbleibende Exposition und Verantwortliche.
Entscheidung Wiedereröffnen / SchließenEntscheidung, entscheidende Person und Datum.
Nächster AuslöserÄnderung, die den nächsten Nachtest erfordert.

Hinweise zur Ergebniseinordnung

Hinweise zur Ergebniseinordnung
ErgebnisBedeutung
BehobenGeschützter Pfad ausgeübt, erwartete Kontrollentscheidung erfasst, keine nicht autorisierte Ausführung oder Wirkung, Positivkontrolle gelang.
Weiterhin fehlerhaftMaßgebliche Evidenz zeigt die nicht autorisierte Ausführung oder Wirkung in den neuen Versionen.
Nicht schlüssigPfad ausgeübt, erforderliche Evidenz aber nicht verfügbar oder widersprüchlich.
Kontrolle nicht ausgeübtDer Pfad wurde nie erreicht; die Korrektur ist ungetestet. Nicht schließen.
Historische Evidenz unvollständig, aktuelle Korrektur validiertDas ursprüngliche Versagen ist nicht vollständig rekonstruierbar, die aktuellen Läufe erfüllen aber die Kriterien für Behoben. Beide Tatsachen erfassen.
Historische Evidenz vollständig, aktueller Nachtest nicht schlüssigDas ursprüngliche Versagen ist gut belegt, die aktuellen Läufe tragen aber keine Entscheidung. Offen lassen.

So wird diese Vorlage genutzt

  1. Ursprüngliche Fixture-Version und Vorbedingungen wiederverwenden; nur die korrigierte Komponente ändern.
  2. Zuerst die Positivkontrolle ausführen.
  3. Historischen und aktuellen Status unabhängig bewerten.
  4. Nur bei Behoben schließen, mit benannter entscheidender Person.

Häufige Fehler

  • Schließen, weil das Versagen 'nicht auftrat', obwohl der Pfad nie erreicht wurde.
  • Historischen und aktuellen Status zu einem Label zusammenfassen.
  • Mit geänderter Fixture nachtesten und so Regressionen verdecken.
  • Keine Positivkontrolle, sodass eine alles ablehnende Korrektur richtig wirkt.
  • Den nächsten Auslöser nicht festlegen.