Von der Black Box zur erklärbaren KI Studierende machen künstliche Intelligenz im Deep Learning Lab erklärbar
Wie kann man die Entscheidungen von Künstlicher Intelligenz (KI) nachvollziehbar machen? Mit dieser Frage beschäftigten sich in diesem Sommersemester Bachelor- und Masterstudierende der TU Braunschweig im Rahmen der mittlerweile achten Auflage des Deep Learning Labs. In Teams entwickelten die Teilnehmenden innovative Methoden zur Erklärbarkeit von Deep-Learning-Modellen, um die oft als „Black Box“ kritisierten neuronalen Netze transparenter zu machen.
Die Visualisierung eines Busses (hellblau) von vorne zeigt durch Rotfärbung, dass das KI-Modell des Gewinnerteams die Klasse „Bus“ insbesondere anhand der Konturen, der Windschutzscheibe und der Frontschürze erkennt. Bildnachweis: PascalVOC-Datensatz, IfN/TU Braunschweig.
Künstliche Intelligenz ist aus vielen Lebensbereichen – von der medizinischen Bildanalyse bis zum autonomen Fahren – nicht mehr wegzudenken. Doch wie ein neuronales Netz genau zu seiner Entscheidung kommt, bleibt für Anwender*innen häufig im Dunkeln. Genau hier setzt das Forschungsfeld der „Explainable AI“ an: Ziel ist es, die Entscheidungsprozesse von KI-Systemen für Menschen nachvollziehbar zu machen.
„Vertrauen in KI entsteht nur, wenn wir ihre Entscheidungen verstehen können“, betont das Organisationsteam des Deep Learning Labs.
Die Challenge: Erklärungen sichtbar machen
Im Mittelpunkt der diesjährigen Challenge stand die Entwicklung von Erklärungsmodellen für tiefe neuronale Netze. Die Studierenden arbeiteten mit dem Bilddatensatz PASCAL VOC 2012 und sollten sogenannte „Saliency Maps“ erzeugen – also Heatmaps, die zeigen, welche Bildbereiche für die Entscheidung des Modells besonders wichtig waren. Bewertet wurden die Erklärungen anhand zweier Kriterien. Erstens sollten sie möglichst ähnlich zu Erklärungen sein, wie sie auch ein Mensch geben würde. Zweitens sollten sie nicht nur plausibel sein, sondern auch wirklich zeigen, wie die KI zu ihrer Entscheidung gekommen ist. Zusätzlich spielte die Effizienz der Modelle eine Rolle: Ein Sonderpreis („Umweltpreis“) wurde für eine Arbeit vergeben, die es schafft, trotz geringen Rechenbedarfes zu guten Ergebnissen zu kommen.
Das Gewinnerteam des Deep Learning Labs 2025. V.l.n.r.: Thomas Graave (IfN), Jennifer Ly (Gewinnerin), Fabian Kollhoff (Gewinner), Niklas Hahn (Robert Bosch GmbH), Aruhan (Gewinnerin), Michael Hufnagel (Siemens Mobility GmbH), Björn Möller (IfN), Prof. Tim Fingscheidt (IfN). Bildnachweis: Andreas Gudat/TU Braunschweig.
Innovative Ansätze und Teamgeist
Die Teams setzten auf unterschiedliche Methoden, um die Black Box zu öffnen. Die Herausforderung bestand darin, eine Balance zwischen Erklärbarkeit, Modellgenauigkeit und Rechenaufwand zu finden. „Die Challenge zu lösen war eine Kombination aus Frust und Spaß. Ich habe viel gelernt!“, berichtet eine Teilnehmerin. Am Ende überzeugte das Team um die Studierenden Fabian Kollhoff, Jennifer Ly und Aruhan mit einer innovativen Kombination aus einem Vision Transformer und einer angepassten Grad-CAM-Variante und gewann damit den mit 600 Euro dotierten Hauptpreis. Der mit 450€ dotierte Umweltpreis für den geringsten Verbrauch an GPU-Rechenzeit bei dennoch sehr guter Performanz ging an die beiden Studierenden Mohammad Rezaei Barzani und Nils-André Forjahn.
Die Gewinner des Umweltpreises des Deep Learning Labs 2025. V.l.n.r.: Thomas Graave (IfN), Nils-André Forjahn (Gewinner), Mohammad Rezaei Barzani (Gewinner), Michael Hufnagel (Siemens Mobility GmbH), Niklas Hahn (Robert Bosch GmbH), Björn Möller (IfN), Prof. Tim Fingscheidt (IfN). Bildnachweis: Andreas Gudat/TU Braunschweig.
Ausblick
Die Abschlussveranstaltung des Deep Learning Lab am 11. Juli 2025 bot den Teilnehmenden die Möglichkeit, ihre Ergebnisse vorzustellen und sich mit Sponsor*innen und Expert*innen aus der Industrie auszutauschen. Bei einem gemeinsamen Buffet wurde nicht nur gefeiert, sondern auch über die Zukunft der erklärbaren KI diskutiert. Das Organisationsteam zeigte sich begeistert vom Engagement und der Kreativität der Studierenden: „Wir waren von einigen Lösungen wirklich positiv überrascht! Alles in allem hat die Challenge gezeigt, wie wichtig und spannend das Thema Explainable AI ist“.
Text: Thomas Graave/IfN