A team of three working focussed on desktop computers.
Kundenreferenz

Beschleunigter Innovationszyklus eines medizinischen Robotikgerätes durch Testautomatisierung

Eine gemeinsame Erfolgsgeschichte mit Carl Zeiss Meditec AG. Erfahren Sie, wie die Testdauer um 96,25% verkürzt werden konnte.

Business-Kontext

Viele Medizintechnikunternehmen stehen vor der Herausforderung, Produktinnovationszyklen verkürzen zu wollen und Markteinführungen zu beschleunigen. Moderne medizintechnische Geräte sind jedoch hochkomplex und müssen höchste Anforderungen an die Sicherheit und regulatorische Anforderungen an die Qualität der Software erfüllen. Aus diesem Grund spielt die Qualitätssicherung während der Entwicklung eine entscheidende, aber auch zeit- und kostenintensive Rolle. Der verstärkte Einsatz von Testautomatisierung reduziert diese Aufwände erheblich, jedoch fehlen häufig Standardwerkzeuge für kundenspezifische Anforderungen.

Projektübersicht

Mit dem "Scalable Automated Framework for Firmware Tests" wurde ein Werkzeug zur Testautomatisierung realisiert, das die kundenspezifischen Anforderungen der Carl Zeiss Meditec AG in vollem Umfang erfüllt. Das Tool wurde für den Firmwaretest der Robotikgeräte entwickelt und validiert. Durch den Einsatz der Testautomatisierung konnten Zeit und Kosten für Entwicklungs- und Integrationstests beim Auftraggeber deutlich reduziert und gleichzeitig das Niveau der Softwarequalität weiter erhöht werden. Als Plattformlösung konzipiert, lässt sich das Framework kostengünstig auf weitere Komponenten und Produkte ausweiten und somit vorteilhaft für ein breites Produktportfolio nutzen.

Unser Vorgehen

Aufgrund des stark interdisziplinären Charakters der Entwicklung medizinischer Geräte war ein tiefes technisches Verständnis aus verschiedenen Bereichen wie z. B. dem Embedded Engineering, der Softwareentwicklung, der Softwarearchitektur, dem Testen und der Testautomatisierung erforderlich. Zudem mussten die hohen regulatorischen Anforderungen der Medizintechnik bei der Entwicklung berücksichtigt und aussagefähig dokumentiert werden.

Für die komplette Konzeption und Entwicklung der Testautomatisierungslösung war unser auf Medizintechnik spezialisiertes Testteam verantwortlich. In enger Zusammenarbeit mit den Embedded-Software-Entwickler:innen, Architekt:innen und Reliability Manager:innen der Carl Zeiss Meditec AG haben wir die Kundenanforderungen analysiert und die technische Umsetzung agil geplant und umgesetzt. Von Anfang an wurden die effiziente Skalierbarkeit und Erweiterbarkeit der Testautomatisierung mitgedacht. Die Validierung des Frameworks als Testwerkzeug im Kontext der IEC 62304 und ISO 13485 erfolgte in Zusammenarbeit mit dem Auftraggeber. Die hohe Qualität und vollständige Dokumentation des Frameworks wurden während der gesamten Entwicklungsphase sichergestellt. Somit kann es sowohl entwicklungsbegleitend als auch für Abnahmetests verwendet werden.

Unsere Lösung

Das "Scalable Automated Framework for Firmware Tests" wird zur Verifikation und Validierung der Embedded Firmware von robotischen Operationsmikroskopen eingesetzt. Dafür wurden klassische Black-Box-Testfälle implementiert, die in einer Hardware-in-the-Loop-Testumgebung ablaufen.

Das Framework kommuniziert über CAN-Bus direkt mit dem Device Under Test und sendet Steuersignale an die Gerätefirmware bzw. empfängt Daten und Signale vom Gerät und zeichnet diese auf. Dabei wurde die komplexe Gerätelogik in ein einfach zu bedienendes Interface verpackt, damit Testfälle schnell und effizient implementiert werden können.

Dabei wurden zwei Arten von Testfällen - vollautomatische und halbautomatische Tests - auf Basis des Frameworks implementiert

  • Vollautomatische Tests benötigen keine Benutzerinteraktion und können z. B. als Regressionstests über Nacht laufen. Dadurch erhalten die Entwickler:innen in kurzer Zeit direktes Feedback zu ihren Änderungen. Dafür wurde das Testframework in die Continuous-Integration-Umgebung der Kund:innen integriert und kann so z. B. bei jedem Update der Firmware oder durch zeitliche Trigger ausgelöst werden.
  • Halbautomatische Testfälle laufen weitgehend automatisiert ab, haben aber auch einzelne Testschritte, die eine Benutzerinteraktion erfordern. Hierfür wurde das Framework um ein Graphical User Interface (GUI) erweitert.

Die Test-GUI führt den Tester:innen durch den Testfall und informiert ihn über notwendige manuelle Eingriffe. Die Auswertung der Testergebnisse und die Berichterstellung erfolgen weiterhin vollautomatisch. Denm Tester:innen wird somit ein Großteil der manuellen Schritte abgenommen, wodurch die Komplexität und die Dauer der Testdurchführung deutlich reduziert werden konnten.

Für beide Testarten wurden Testreports und zugehörige Daten, wie z. B. aufgezeichnete Messdaten und Logs, automatisch im Testmanagement-Tool der Kund:innen abgelegt. Damit ist die Archivierung und Nachvollziehbarkeit der Testergebnisse gewährleistet.

Erbrachte Leistungen

  • Anforderungsanalyse
  • Entwurf und Implementierung der Lösungsarchitektur
  • Umsetzung der Testautomatisierungslösung
  • Analyse und Review der Testspezifikationen
  • Implementierung von Testfällen
  • UI der Anwendung
  • Validierung im IEC-62304-Kontext
  • Qualitätssicherung und Dokumentation

Technisches Umfeld

C++17, Python 3, Qt, QML, Embedded, CAN, Serial, TeamCity, Polarion, Git, Jira, Conan, Artifactory

 IOLMaster 700 Praxisbeispiel

Das Ergebnis

Mithilfe des Testframeworks konnte die Testdauer von bis zu 2 Wochen auf ca. 3 Stunden (für vollautomatische Tests), was einer Effizienzsteigerung um 96,25% entspricht, bzw. 1 Tag (für halbautomatische Tests) reduziert werden. Diese hohe Zeit- und Kostenersparnis wirkt sich nicht nur während der Entwicklung aus, sondern auch wenn das Produkt bereits im Feld eingesetzt wird. Für notwendige Firmware-Updates können alle automatisierten Testfälle innerhalb weniger Stunden durchgeführt werden. Updates können schneller und effizienter ausgerollt werden, notwendige Auswirkungs- und Risikoanalysen werden stark vereinfacht, weitere Kosten eingespart. Die höhere Testabdeckung erhöht zudem das Vertrauen in die Qualität des Updates.

Ein weiterer großer Vorteil der Testautomatisierung ist, dass die Tests und die Belastung der Firmware wesentlich intensiver sein können als bei einer rein manuellen Durchführung der Tests. Dies erhöht zusätzlich die Robustheit der Firmware und das Vertrauen in ihre Qualität.

Mit Umsetzung und Anwendung des ‚Scalable Automated Framework for Firmware Tests‘ erreichen wir nicht nur eine verbesserte Qualität der FW Komponenten, sondern reduzieren auch erheblich die Aufwände für Integration sowie Fehler- und Regressionsanalysen. Für uns ein deutlicher Schritt nach vorne bezüglich Effizienz und Effektivität in der Entwicklung. Das Testteam von ZEISS Digital Innovation hat uns hierbei sehr professional und kollaborativ unterstützt - in der Umsetzung als auch als beratender Partner.

Head of Reliability Management bei Carl Zeiss Meditec AG

Laden Sie unser Praxisbeispiel als PDF herunter.



Profilbild Dr. Julian Massing
Projektverantwortlicher Dr. Julian Massing Senior Consultant Testanalysis
ZEISS Digital Innovation Health & Life Sciences
ZEISS Digital Innovation Health & Life Science Solutions

Kontaktieren Sie uns, um mehr über Softwareentwicklungsservices für Medizintechnik und Diagnostik bei ZEISS Digital Innovation Health & Life Science Solutions zu erfahren.

Share this article

Kontakt

Schreiben Sie uns!

Gerne beantworten wir Ihre Fragen, wenn Sie sich über das Kontaktformular bei uns melden.

Formular wird geladen ...

Optionale Angaben

Wenn Sie weitere Informationen zur Datenverarbeitung bei ZEISS haben möchten, lesen Sie bitte unsere Datenschutzerklärung.