Viel Spaß beim Lesen!
Um ein ML-Modell zu trainieren, gibt es, ganz allgemein, zwei Möglichkeiten. Beim Überwachten Lernen (Supervised Learning) wird dem Modell beim Training "gezeigt", welche Ausgabe es bei einer bestimmten Eingabe erzeugen soll. Ein Beispiel ist ein Spamfilter, der anhand von vielen Beispielen lernt, E-Mails in Spam und nicht-Spam einzuteilen.
Das zweite ist Unüberwachtes Lernen (Unsupervised Learning), bei dem ein Algorithmus Muster in den Daten erkennt, ohne dass explizit vorgegeben wird, wie diese aussehen sollen. Ein Beispiel dafür ist Clustering, also das Einteilen von Daten in verschiedene Gruppen.
Eine Variante des Überwachten Lernens ist Selbstüberwachtes Lernen (Self-supervised Learning), bei dem ein Modell lernt, einen Teil der Eingabedaten vorherzusagen. Ein Beispiel dafür ist ein Sprachmodell, das lernen soll das nächste Wort eines Satzes vorherzusagen. Beim Selbstüberwachten Lernen wird im Prinzip eine Art Lückentext erstellt, den das Modell lernt auszufüllen.
Forscher:innen von Meta AI ist es gelungen, ein Modell zu entwickeln, das selbstüberwacht auf mehreren unterschiedlichen Arten von Daten trainiert werden kann; nämlich Sprache, Bilder und Text.
Dazu haben sie einen Trick angewandt: Zuerst haben sie jeweils ein Modell für jede der drei Arten von Daten selbstüberwacht trainiert. Diese Modelle nennen sie "Lehrer".
Danach haben sie ein "Schüler"-Modell trainiert. Als Eingabe bekommt es maskierte Daten, die von einer der drei Arten sind, wie beim Selbstüberwachten Lernen. Zusätzlich wird aber, wie beim Überwachten Lernen, eine erwartete Ausgabe vorgegeben: der interne Zustand des Lehrer-Modells, wenn ihm dieselben Daten unmaskiert gegeben werden.
Das Modell lernt dadurch quasi für mehrere Datenarten, das Verhalten eines anderen Modells vorherzusagen, das speziell für diese Art von Daten trainiert wurde.
Bei Programmierwettbewerben bekommen die Teilnehmer typischerweise 5-10 Aufgaben und drei Stunden Zeit um die passenden Lösungen zu programmieren. Die Aufgaben sind Textbeschreibungen davon, was das Programm tun soll, und einige Beispiele, welche Ausgabe bei welcher Eingabe erwartet wird.
Die von den Teilnehmern abgegebenen Programme werden dann automatisch auf einem Server getestet.
Forscher:innen von Deepmind haben ein Modell entwickelt, das sie AlphaCode nennen, und das solche Aufgaben von Programmierwettbewerben lösen kann.
Dazu haben sie ein Transformer-Sprachmodell erst auf 715 GB Programmcode von Github trainiert, und dann nochmal extra auf Competitive Programming Daten (sogenanntes Finetuning).
Die Aufgaben werden dabei als Übersetzungsaufgaben betrachtet: das Modell soll den Text der Aufgabenstellung in Quelltext übersetzen. Daher verwenden sie die Encoder-Decoder-Variante der Transformer-Architektur, die für Übersetzungen genutzt wird.
Um eine Aufgabe zu lösen, generiert das Modell eine riesige Menge (Millionen) an Python und C++ Programmen. Diese werden dann auf den in der Aufgabe angegebenen Beispielen getestet. Diesen Test bestehen 99% der generierten Programme nicht, für ca. 10% der Aufgaben wurde sogar kein einziges gefunden.
Es können aber auch immer noch zehntausende übrig bleiben, die bei den Beispielen die richtigen Ergebnisse liefern.
Um aus dieser Menge eine Auswahl zu treffen wird noch ein weiteres Modell trainiert, das zusätzliche Tests erzeugt. Darauf werden die Programme wieder getestet, und diejenigen, die die gleichen Ergebnisse liefern, zusammen in eine Gruppe gesteckt. Diese werden nach der Größe sortiert.
Beginnend mit dem größten wird dann aus jedem Cluster ein Programm genommen, bis maximal zehn Kandidaten übrig bleiben (tatsächlicher Durchschnitt: 2,4).
Diese werden dann zum Test auf dem Server abgegeben.
Die Forscher:innen haben die Teilnahme an zehn Wettbewerben im Dezember 2021 simuliert. Dabei landete das Modell im Mittelfeld, es war durchschnittlich schlechter als 54% der Teilnehmer.
Beispiele für die Aufgaben und Lösungen kann man auf https://alphacode.deepmind.com/ anschauen. Besonders interessant finde ich dabei, dass man für die einzelnen Teile des Codes anzeigen lassen kann, welcher Teil des Aufgabentexts dazu geführt hat, dass das Modell diesen Code erzeugt hat.
Die Zeit hat online einen Artikel über autonomes Fahren veröffentlicht. In der Vorschau des Artikels heißt es "Fast 100 Jahre wird schon am selbstfahrenden Auto geforscht. Dieses Jahr steht der Durchbruch bevor.". Das klang spannend. Ein bevorstehender Durchbruch, von dem ich noch nichts gehört hatte?
Nachdem ich ihn angeklickt hatte, änderte sich die Zusammenfassung leider: "Der Traum vom selbstfahrenden Auto scheint zum Greifen nah. Wann ist es endlich so weit?". Schade, also doch noch nicht dieses Jahr?
Im Artikel selbst geht es als erstes um ein Projekt von Sixt und Mobileye. Das wird so beschrieben: "Der Autovermieter Sixt wird die Fahrzeuge des chinesischen Herstellers Nio bald nutzen, um damit Passagiere in der Region München zu transportieren. Auf gewöhnlichen Straßen, im echten Verkehr – aber ohne Fahrer.".
Andere Nachrichtenseiten schreiben dagegen, dass auch in den Sixt/Mobileye-Autos Fahrer:innen sitzen werden (z.B. Süddeutsche Zeitung, Golem).
Den Rest konnte ich leider nicht lesen, weil er hinter einer Paywall liegt, aber der Artikel hat mich zum Nachdenken gebracht - sitzen nun Fahrer:innen in den Autos oder nicht?
Ich wusste, dass es in Kalifornien einige Unternehmen gibt, die Fahrzeuge auch ohne Sicherheitsfahrer:in testen, der/die im Notfall eingreifen könnte (zum Beispiel Nuro, über dessen neue Entwicklung ich in KI News #23 berichtet habe).
Aber wäre das in Deutschland auch möglich?
Im Sommer 2021 ist eine neue Gesetzesänderung in Kraft getreten, die einen rechtlichen Rahmen für autonomes Fahren geschaffen hat.
Relevant für die Frage ist dabei § 1i Straßenverkehrsgesetz "Erprobung von automatisierten und autonomen Fahrfunktionen".
Darin heißt es:
"(1) Kraftfahrzeuge, die zur Erprobung von Entwicklungsstufen für die Entwicklung automatisierter oder autonomer Fahrfunktionen dienen, dürfen auf öffentlichen Straßen nur betrieben werden, wenn
[...]
4. das Kraftfahrzeug im Betrieb wie folgt permanent überwacht wird:
a) bei automatisierten Fahrfunktionen erfolgt die Überwachung durch einen in Bezug auf technische Entwicklungen für den Kraftfahrzeugverkehr zuverlässigen Fahrzeugführer,
b) bei autonomen Fahrfunktionen erfolgt die Überwachung durch eine vor Ort anwesende, in Bezug auf technische Entwicklungen für den Kraftfahrzeugverkehr zuverlässige Technische Aufsicht."
Bei "automatisierten Fahrfunktionen", das heißt, wenn das Auto noch nicht vollständig autonom fahren kann, muss es von einem "zuverlässigen Fahrzeugführer", also einem Fahrer oder einer Fahrerin überwacht werden.
Bei "autonomen Fahrfunktionen", was wohl auf die Autos von Sixt/Mobileye zutreffen würde, ist von "Fahrzeugführer" nicht mehr die Rede, nur von einer "Technischen Aufsicht", die "anwesend" sein muss. Da sich Autos bewegen, bedeutet "vor Ort anwesend" wohl "muss im Auto sein".
Warum jetzt "Technische Aufsicht" statt "Fahrzeugführer"?
Weil autonome Autos per Definition in § 1d StVG keinen Fahrzeugführer brauchen:
"Ein Kraftfahrzeug mit autonomer Fahrfunktion im Sinne dieses Gesetzes ist ein Kraftfahrzeug, das
1. die Fahraufgabe ohne eine fahrzeugführende Person selbstständig in einem festgelegten Betriebsbereich erfüllen kann".
Wenn es, anders als bei normalen Autos, keinen Fahrzeugführer gibt, handelt es sich bei der Technischen Aufsicht trotzdem um das, was man umgangssprachlich Sicherheitsfahrer:in nennt?
Die Aufgaben der Technischen Aufsicht während der Fahrt sind in § 1d StVG definiert:
"Technische Aufsicht eines Kraftfahrzeugs mit autonomer Fahrfunktion im Sinne dieses Gesetzes ist diejenige natürliche Person, die dieses Kraftfahrzeug während des Betriebs [...] deaktivieren und für dieses Kraftfahrzeug [...] Fahrmanöver freigeben kann."
"Fahrmanöver freigeben" klingt für mich sehr nach Sicherheitsfahrer:in, der oder die im Notfall das Lenkrad festhält, um ein gefährliches Manöver zu verhindern.
Allerdings: Einen Führerschein braucht man (laut Fahrerlaubnisverordnung) nur als Fahrzeugführer. Als Technische Aufsicht muss man laut § 1i lediglich "in Bezug auf technische Entwicklungen für den Kraftfahrzeugverkehr zuverlässig" sein.
Zusammengefasst: Autonome Autos haben per Definition keinen Fahrzeugführer, sondern eine Technische Aufsicht. Diese muss sich im Auto befinden, scheint aber nicht unbedingt einen Führerschein zu brauchen, da sie ja nicht Fahrzeugführer ist. Trotzdem muss sie aber "Fahrmanöver freigeben" können.
Ob sie das zum Fahrer bzw. zur Fahrerin macht ist wohl Interpretationssache.
EleutherAI, ein Zusammenschluss von Freiwilligen KI-Entwickler:innen und -Forscher:innen, hat ein neues sehr großes Sprachmodell veröffentlicht. Das Modell basiert, wie die anderen aktuellen sehr großen Sprachmodelle, auf der Transformer-Architektur.
Was die Modelle von EleutherAI von zum Beispiel denen von Open AI (bekannt für die GPT-Modelle) unterscheidet, ist, dass hinter EleutherAI kein Unternehmen steht, das damit Geschäfte machen will, sondern dass alle Modelle als Open Source freigegeben werden.
Vorhersage von Zahlenfolgen
Forscher:innen von Meta AI haben ein neuronales Netz mit Transformer-Architektur darauf trainiert, aus Zahlenfolgen die Gesetze vorherzusagen, nach denen sie gebildet werden.
Als Trainingsdaten haben sie fünf Millionen selbstgenerierte, zufällige Zahlenfolgen benutzt.
Das Training dauerte auf 16 Grafikkarten mehr als 10 Tage (ca. 250h).
Die einfachste Art von Funktionen aus den Trainingsdaten, nur mit Addition, Subtraktion und Multiplikation, konnte das Modell zu 78% korrekt vorhersagen, die schwierigste immerhin noch zu 50%.