Trainieren neuronaler Netze schwieriger als gedacht Künstliche Intelligenz: Forscherteam liefert neue Erkenntnisse

Das Trainieren neuronaler Netze ist noch schwieriger als bisher gedacht. Das hat Mathematikerin Dr. Linda Kleist aus der Abteilung Algorithmik der Technischen Universität Braunschweig zusammen mit den Informatikern Mikkel Abrahamsen, Universität Kopenhagen, und Tillman Miltzow, Universität Utrecht, nachgewiesen. Im Dezember hat das Forscherteam seine Ergebnisse auf der „NeurIPS“ vorgestellt, einer der weltweit bedeutendsten Konferenzen zum maschinellen Lernen.

Methoden und Anwendungen der künstlichen Intelligenz haben in den vergangenen Jahren beeindruckende Fortschritte gemacht. Ein spezieller Ansatz sind neuronale Netze. Ähnlich wie das menschliche Gehirn verarbeiten sie Eingabedaten in mehreren Zwischenschritten, bis ein Ergebnis berechnet wird. Neuronale Netze können komplexe und vielfältige Aufgaben auf übermenschlichem Niveau erledigen.

Typische Beispiele dafür sind das Spielen komplexer Spiele wie Schach und Go, das Übersetzen von Sprachen, aber auch das Erkennen menschlicher Gesichter, von Krebs in Computertomographie-Scans oder Fahrbahnen beim autonomen Fahren. Sie werden auch häufig in sozialen Medien eingesetzt, um das Verhalten der Nutzer zu modellieren und ihnen personalisierte Werbung anzuzeigen.

Bevor ein neuronales Netz von Nutzen ist, muss es trainiert werden, zum Beispiel anhand einer großen Sammlung von Computertomographie-Scans, bei denen ein menschlicher Experte zuvor festgestellt hat, welche davon Anzeichen von Krebs zeigen und welche nicht. Durch das Lernen dieser Muster kann das neuronale Netz im Anschluss Krebs in neuen Scans eigenständig erkennen. Nach Abschluss des Trainings kann das Netz schnell und effizient immer wieder verwendet werden.

Herausforderung: Minimieren von Fehlern

Um sich auf neuronale Netze beim Lösen komplexer Probleme verlassen zu können, müssen sie möglichst fehlerfrei arbeiten. In der Trainingsphase werden die Parameter eines neuronalen Netzes angepasst, um die Fehler nach und nach zu minimieren. Zu entscheiden, ob eine Lösung mit geringem Fehler überhaupt existiert, ist dabei ein sehr schwieriges Problem, so das Ergebnis der Forschenden.

Die meisten der mit KI-Methoden behandelten Herausforderungen, wie zum Beispiel komplexe Optimierungsprobleme, sind schwierig zu lösen. Für viele ist aber gut erkennbar, wenn eine Lösung gefunden ist, wie man es von kniffligen Rätseln kennt. Es existieren aber noch schwierigere Probleme wie das Finden reeller Nullstellen für ein Polynom mit vielen Unbekannten, für die nur sehr langsame Algorithmen bekannt sind. Die Forschenden haben in ihren mathematischen Überlegungen bewiesen, dass das Minimieren von Fehlern der neuronalen Netze genauso schwierig ist wie dieses Problem. Daher kamen sie in der Studie zu dem Ergebnis, dass das Trainieren neuronaler Netze noch herausfordernder ist als bisher angenommen.

Ausblick: Viel Grundlagenforschung nötig

„Mit den derzeit bekannten Algorithmen kann man für die erforderliche Rechenleistung leicht die gesamte weltweite Energieproduktion über viele Jahre hinweg nutzen, ohne das Optimum zu erreichen“, weiß Dr. Linda Kleist, wissenschaftliche Mitarbeiterin in der Abteilung Algorithmik der TU Braunschweig. Um schnellere und effizientere Algorithmen zu finden oder um nachzuweisen, dass solche Algorithmen womöglich gar nicht existieren, sei noch eine Menge Grundlagenforschung nötig. „Es wird also auch in Zukunft viel für Forschende aus der Informatik zu tun geben“, so Kleist.