Wenn Automatisierung schneller kommt als das Testkonzept

Manchmal sind die Erwartungen an #KI im Testing größer als das Testkonzept selbst.

Gerade wenn Zeitdruck dazukommt und neue Tools schnelle Lösungen versprechen, entsteht schnell der Eindruck, dass Automatisierung Probleme lösen kann, die im Testprozess selbst noch gar nicht geklärt sind.

In einem Projekt habe ich genau das erlebt.

Aufgrund meines naturwissenschaftlichen Hintergrunds betrachte ich sehr schnelle Veränderungen in der Arbeitswelt – etwa die Integration von künstlicher Intelligenz in Testkonzepte – zunächst eher kritisch.

Der Begriff „künstliche Intelligenz“ suggeriert ein umfassendes Verständnis komplexer Systeme, obwohl die Modelle letztendlich auf kollektiven Mustern aus bereits vorhandenen Daten basieren, ohne dabei die Qualität der Daten zu unterscheiden.

Wo KI im Testing heute tatsächlich hilft

In meiner täglichen Arbeit als System- und Abnahmetesterin nutze ich selbstverständlich Tools mit KI-Funktionen oder entsprechende Erweiterungen. Gerade bei praktischen Aufgaben können sie sehr hilfreich sein, etwa wenn es darum geht, Tippfehler zu erkennen, Tickets sauber zu strukturieren oder fehlende Informationen in Testfällen sichtbar zu machen.

Auch Testing-Tools wie #JIRA und #XRAY haben sich in den letzten Jahren deutlich weiterentwickelt, insbesondere wenn es darum geht, eine nachvollziehbare Teststruktur aufzubauen und den gesamten Workflow von Anforderungen über Entwicklung und #Testing bis hin zur Produktion transparent abzubilden. Ein solcher Überblick hilft enorm, Zusammenhänge zu erkennen und Probleme schneller zu identifizieren.

Dennoch nehmen diese Tools den Testern nicht die Hauptverantwortung für die Erstellung verarbeitbarer Testfälle ab. Je nach Sicherheits- und Datenschutzanforderungen des Systems und der Tests spart die Erstellung von Tests mithilfe von KI-Tools wie #Claude den Testern jedoch viel Zeit.

Wenn KI im Testing falsch eingesetzt wird

Gleichzeitig habe ich in einem Projekt erlebt, wie schnell die Erwartungen an KI größer werden als das, was in der Praxis sinnvoll ist. Unter erheblichem Zeitdruck wurde beschlossen, für Tests, die noch nicht einmal als stabile Regressionstests definiert waren, eine Testautomatisierung umzusetzen.

Das Team versuchte dennoch, Prozesse mithilfe von KI-Modellen vorherzusagen und zu automatisieren.

Die Automatisierung wurde geliefert.

Drei Monate später wurde sie wieder abgeschaltet, weil die Ergebnisse zu unzuverlässig waren und wir letztlich zu manuellen Tests zurückkehren mussten.

Warum Testautomatisierung oft nicht an KI scheitert

Solche Erfahrungen zeigen für mich vor allem eines: KI kann im Testing sehr viel unterstützen, insbesondere bei Struktur, Dokumentation und Analyse. Es zeigt sich ein wiederkehrendes Muster: nicht die Technologie ist das Problem, sondern die fehlende Grundlage.

Testautomatisierung – mit oder ohne KI – funktioniert nur dann stabil, wenn:

• Testfälle klar definiert sind
• Prozesse konsistent ablaufen
• Datenstrukturen belastbar sind

Fehlt diese Basis, verstärkt Automatisierung bestehende Schwächen, anstatt sie zu lösen.

KI im Testing braucht Struktur, nicht Erwartungen

Wirklich belastbare Ergebnisse entstehen aber erst dann, wenn diese Werkzeuge auf klar definierten Prozessen und der Erfahrung von Menschen aufbauen, die Systeme und Abläufe wirklich verstehen. Nur dann können wir der KI für eine funktionierende Testausführung vertrauen.