1. Test- und ALM-Werkzeuge fallen typischerweise in die Kategorie Monitoring und Messwerkzeug. Denn man nutzt ja die Software explizit, um Fehler zu finden und/oder zu verfolgen, um Trends zu analysieren und die Güte der Prozesse zu beurteilen.
2. Der Begriff Verifizierung in diesem Kontext erscheint bei Software etwas problematisch. Eigentlich ist es eine Validierung, nämlich eine Prüfung, ob das Werkzeug den Nutzungszweck tatsächlich erfüllt. Bei einem Testwerkzeug müsste beispielsweise geprüft werden, ob Fehler tatsächlich gefunden werden und ob das Werkzeug bei fehlerfreier Software auch keine Fehler meldet.
3. Es empfiehlt sich, den Aufwand für die Verifizierung/Validierung der Messwerkzeuge (zumindest solange diese bereits im Markt bewährt sind) zu beschränken. Prüfen Sie v.a. die absolute und für Sie relevante Kernfunktionalität sowie die Bereiche der Software, die Sie durch Konfiguration für sich spezifisch gestaltet haben (Customizing). Sie wollen die Qualitätssicherung ja nicht zum Selbstzweck machen, sondern für sich (und den Auditor) weitgehend sicherstellen, dass das Werkzeug seinen Zweck erfüllt. Die Wahrscheinlichkeit einen Fehler in einem 100.00-fach eingesetzten Werkzeug zu finden, ist eher gering. Mein Tipp: Fokussieren Sie sich auf den für Sie spezifischen Teil des Werkzeugs („Customizing“) und die eigene Software selbst. Die Wahrscheinlichkeit in der eigenen Software einen Fehler zu haben, ist um Größenordnungen höher als bei kommerziellen oder Open-Source Werkzeugen.
4. Achten Sie beim Verifizieren/Validieren darauf, ISO 13485-konform zu dokumentieren. Die Dokumentation Ihrer Validierung/ Verifizierung sollte enthalten:
   • Die Version des Werkzeuges, das geprüft wird
   • Die Testspezifikation, die Testdaten, die Testergebnisse und ggf. ein Verweis auf das dazu verwendete Werkzeug
   • Den Autor, das Datum und eine Unterschrift/Freigabe
   • Tipp: packen Sie alles in ein Versionsverwaltungssystem oder auf eine CD. Wiederholen Sie diese Prüfung, wenn Sie Ihr Werkzeug updaten.
5. Man muss natürlich nicht über den Source-Code des Werkzeugs verfügen. Die Verifizierung/Validierung ist ein Blackbox-Testing. Und die Werkzeuge, die Sie zur Prüfung der Werkzeuge einsetzen, muss man nicht selbst validieren/verifizieren (, es sein denn, man setzt diese Werkzeuge auch zum Prüfen des eigentlichen Produkts/Prozesses ein). Andernfalls käme man ja in einen unendlichen Zyklus.

Bei den Audits, die ich selbst über mich ergehen ließ oder bei denen ich meine Kunden unterstützte, war es meist entscheidend, dass das Werkzeug überhaupt und sei es noch so minimal geprüft und dies auch dokumentiert wurde. Der Umfang dieser Prüfungen wurde nie bemängelt. Falls dies doch erfolgen sollte, empfehle ich, den Auditor auf die Wahrscheinlichkeiten aufmerksam zu machen, einen Fehler in einem Werkzeug und im eigenen Code zu finden. Er soll bitte seinen Auditschwerpunkt darauf zu legen, wo die Fehler am wahrscheinlichsten sind. Und das bleibt nun mal der eigene Code.

Herzliche Grüße, Christian Johner