Viel Spaß beim Lesen!
Ein Algorithmus ist eine Reihe von Anweisungen, z.B. an einen Computer, die vorgeben, auf welche Art er etwas tun soll.
Ein Sortieralgorithmus ist dementsprechend ein Algorithmus, der beschreibt, wie etwas sortiert werden soll.
Sortieralgorithmen sind auf den ersten Blick meistens unsichtbar, werden aber im Hintergrund die ganze Zeit benutzt: quasi jedes Mal, wenn ein Computer etwas in einer bestimmten Reihenfolge anzeigt, steckt ein Sortieralgorithmus dahinter.
Da Sortieralgorithmen so viel benutzt werden, sind sie sehr wichtig und entsprechend optimiert.
Das Modell AlphaDev ist eine Weiterentwicklung von AlphaZero, das auf Spiele ausgelegt und für seine Leistungen in Schach und Go bekannt ist.
Bei AlphaDev wird daher das Sortieren auch als eine Art Spiel betrachtet: das Modell gewinnt das Spiel, wenn es einen korrekten, schnelleren Algorithmus findet.
Der von den Forscher:innen so optimierte Algorithmus ist bei kurzen zu sortierenden Folgen bis zu 70% schneller, bei größeren, ab 250.000 Elementen, immerhin noch 1,7%.
Sie haben den Algorithmus in eine der wichtigsten C++ Bibliotheken eingebracht, so dass er jetzt ohne Zusatzaufwand von Millionen Entwicklern weltweit genutzt werden kann.
Auch auf einem anderen Gebiet, den sogenannten Hash-Algorithmen, haben die Forscher:innen mithilfe von AlphaDev eine Verbesserung entwickeln können.
Uber muss eine Abwägung treffen, wie viele Fahrer:innen an einen Flughafen geschickt werden: zu wenige Fahrer:innen an einem Flughafen sind schlecht für die Fahrgäste, die warten müssen (und eventuell verlorener Umsatz, weil sie lieber ein Taxi nehmen, statt auf ein Uber zu warten).
Zu viele Fahrer:innen an einem Flughafen sind wiederum schlecht für die Fahrer:innen selbst, die lange warten müssen und weniger verdienen.
Daher hat Uber ein Modell entwickelt, das die durchschnittliche Wartezeit für Fahrer:innen vorhersagen kann, so dass diese im Voraus entscheiden können, ob sie besser zum Flughafen fahren oder in der Stadt bleiben sollen.
Die Wartezeiten werden in drei Stufen vorhergesagt: kurz (0-15 Minuten), mittel (15-30 Minuten) und lang (mehr als 30 Minuten).
Das Modell dafür besteht aus drei Teilen:
1) Berechnung der "echten" Position in der Warteschlange anhand von verschiedenen Faktoren, wie der aktuellen Länge der Schlange, Wochentag, Uhrzeit und unter Berücksichtigung, dass manche Fahrer:innen das Warten aufgeben und aus der Schlange ausscheiden oder gerade von einer sehr kurzen Fahrt zurückkehren und sich deshalb weiter vorne einreihen dürfen (wie das Warteschlangen-System funktioniert beschreibt Uber z.B. hier für den Flughafen von Hongkong).
2) Vorhersage wie schnell Autos gebucht werden, in 15 Minuten Abschnitten, bis zu einer Stunde in die Zukunft. Dazu werden Informationen wie ankommende Flüge, aktuelles Wetter, wie viele Leute im Moment über die Uber App nach Fahrten suchen, Wochentag und Uhrzeit genutzt.
3) Zum Schluss wird aus den Ergebnissen der ersten beiden Schritte die Wartezeit berechnet.
Sowohl Google als auch Meta haben neue Modelle entwickelt, bei denen es um Sprache geht.
Bei Google ist das PaLM 2 (Pathways Language Model 2), das ab jetzt die Antworten des Bard Chatbots generiert.
Vorteil von PaLM 2 gegenüber der Vorgängerversion ist, dass es kleiner ist als das Vorgängermodell PaLM und damit billiger betrieben werden kann.
Trainiert wurde es mit Texten in verschiedenen Sprachen, Programmiersprachen, aus wissenschaftlichen Arbeiten und von Webseiten.
Die Forscher:innen schreiben "PaLM 2 ist dazu konzipiert die Forschung an großen Sprachmodellen zu beschleunigen" ("PaLM 2 is designed for accelerating research on language models", S.91).
Leider steht ihr Verhalten in komplettem Widerspruch zu dieser Aussage, denn, ähnlich wie schon bei OpenAIs GPT-4, erfährt man in ihrer Veröffentlichung absolut nichts über den Aufbau des Modells, wie es funktioniert oder auch nur mit wie vielen Daten es trainiert wurde.
Das Projekt von Meta heißt Massively Multilingual Speech und besteht aus mehreren Teilen.
Zum einen gibt es mehr als 7.000 Sprachen weltweit, aber die größten bisher existierenden Sprachdatensätze umfassten nur ungefähr 100 Sprachen. Um auch Modelle für andere Sprachen entwickeln zu können, haben die Forscher:innen deshalb Lesungen des Neuen Testaments in mehr als 1.100 Sprachen gesammelt, durchschnittlich waren das 32 Stunden pro Sprache.
Für das Neue Testament haben sie sich deshalb entschieden, weil es davon in besonders vielen verschiedenen Sprachen Aufzeichnungen gibt.
Auf den so erweiterten Daten haben sie mehrere Modelle trainiert, für das Umwandeln von Audioaufnahmen in Texte, die Generierung von gesprochener Sprache aus Texten und zur Erkennung, welche Sprache in einer Aufnahme gesprochen wird.
All diese Modelle wurden als Open Source veröffentlicht, so dass sie jeder benutzen kann.
MusicGen ist ein Transformer Modell von Meta, das Musik generieren kann. Als Eingabe braucht es nur eine Beschreibung der Musik oder eine Aufnahme einer Melodie.
Die grundsätzliche Idee ist dabei einfach: die Forscher:innen haben EnCodec benutzt, um die Trainingsdaten vorzuverarbeiten. Dann haben sie ein Sprachmodell darauf trainiert, statt Wörtern diese Art von verarbeiteten Daten vorherzusagen.
Das Ergebnis kann dann wieder mithilfe von EnCodec in Musik umgewandelt werden.
Als Trainingsdaten für das Modell haben 20.000 Stunden Musik gedient.
Das andere Modell, GETMusic, besteht aus zwei Teilen. Der erste Teil ist der GETScore, eine Methode Noten zweidimensional – als Rechtecke – darzustellen, die die Forscher:innen entwickelt haben, und die sie für GETMusic anstelle von normalen Noten verwenden. Ein Beispiel dafür kann man hier sehen.
Der zweite Teil ist ein Diffusion Modell, wie es z.B. bei Stable Diffusion zur Generierung von Bildern verwendet wird.
Bei GETMusic lernt dieses Modell statt Bildern Musik in Form eines GETScores zu generieren, der dann in Noten umgewandelt werden kann.
Nachdem die EU Kommission schon vor einiger Zeit einen Entwurf für die zukünftige Regulierung von KI in Europa vorgelegt hatte (KI News #4), hat das Europaparlament vor kurzem eine eigene Position entwickelt: 📖 europarl.europa.eu.
Die beiden Entwürfe werden jetzt im Rat der EU diskutiert, was bis Ende des Jahres zu einer Einigung führen soll.
Die Tagesschau beschreibt, welche Änderungen das EU Parlament im Vergleich zum Vorschlag der Kommission einführen will: 📖 tagesschau.de
In der öffentlichen Wahrnehmung sind OpenAI und CEO Sam Altman in den letzten Monaten dadurch aufgefallen, dass sie sich für mehr Regeln für KI eingesetzt haben.
So hat er zum Beispiel ein Statement (safe.ai) unterzeichnet, das fordert, den Umgang mit dem Risiko, dass KI die Menschheit auslöschen könnte, zu einer globalen Priorität zu machen; auf einer Stufe mit Pandemien und Atomkrieg. Und bei einer Anhörung vor dem amerikanischen Senat ausgesagt, dass er "nervös" sei, angesichts der Gefahr, dass KI genutzt werden könnte, um Wahlen zu beeinflussen, und dass zusätzliche Regeln nötig seien: 📖 reuters.com.
OpenAI hat außerdem zehn Mal $100.000 ausgesetzt, um Experimente zu demokratischer Beteiligung bei KI Regulierung zu finanzieren: 📖 openai.com.
Was weniger beachtet wurde, sind die Forderungen, dass diese Regeln nicht für aktuelle KI-Modelle von OpenAI gelten sollten.
So sagte Sam Altman laut der Nachrichtenagentur AP bei einem Vortrag in Tel Aviv: "Es wäre ein Fehler, jetzt eine starke Regulierung vorzunehmen oder zu versuchen, die unglaubliche Innovation zu bremsen." ("it would be a mistake to go put heavy regulation on the field right now or to try to slow down the incredible innovation", 📖 apnews.com).
Während Lobbyisten von OpenAI laut Time bereits seit letztem Jahr daran arbeiteten, dass das EU Parlament für ihre Modelle keine strengeren Regeln einführt: 📖 time.com.
Ein Artikel bei The Verge spricht sogar von einem "Kampf gegen die europäischen Regulierungsbehörden" ("fight against European regulators") und beschreibt die verschiedenen Konfliktfelder und Probleme, zum Beispiel beim nötigen Datenschutz nach der DSGVO: 📖 theverge.com.
Vor einigen Tagen haben außerdem europäische Wirtschaftsvertreter:innen einen offenen Brief an die EU geschickt, in dem sie vor zu viel Regulierung warnen, unter anderem unterzeichnet von Vertreter:innen Airbus, Siemens und Renault: 📖 techcrunch.com