KI News #37

Hallo und herzlich willkommen zur siebenunddreißigsten Ausgabe von KI News. Diesmal unter anderem mit einer Vision für zukünftige intelligente Maschinen, Problemen bei der Reproduzierbarkeit von Forschungsergebnissen, maschinellem Lernen um Compiler-Optimierung zu verbessern, KI für Autoren und einem neuen Chatbot von Meta.

Viel Spaß beim Lesen!

Eine Zukunftsvision für intelligente Maschinen

Yann LeCun, der leitende KI-Wissenschaftler bei Meta, hat seine Vision für intelligente Maschinen der Zukunft veröffentlicht.

Diese sollen mehr wie Tiere, beziehungsweise wie Menschen, lernen, sie sollen überlegen und planen können und ihr Verhalten soll von intrinsischen Motiven geleitet werden statt von Programmierung, externer Überwachung oder Belohnungen.

Wenn Maschinen mehr wie Menschen und Tiere lernen können sollen, stellt sich die Frage, was heute die Unterschiede sind.

Ein großer Unterschied ist, dass wir etwas lernen können, ohne Millionen von Trainingsbeispielen gesehen zu haben, wie es bei aktuellen ML-Algorithmen nötig ist.

Aber warum können wir das?

Möglicherweise deshalb, weil wir in unserem Kopf eine Vorstellung davon entwickelt haben, wie die Welt funktioniert. Auf dieses Modell der Welt können wir aufbauen, wenn wir etwas Neues lernen.

Auf dem Weg zu den oben genannten Zielen sieht Yann LeCun die größten Herausforderungen der KI-Forschung in diesen drei Bereichen:

1. Wie können Maschinen durch Beobachtung ein solches Modell der Welt lernen, Vorhersagen machen und Handlungen lernen?

2. Wie können Maschinen auf eine Art überlegen und planen, die mit den aktuellen Trainingsmethoden funktioniert?

3. Wie können Maschinen lernen Konzepte und Handlungspläne auf eine hierarchische Art darzustellen, auf verschiedenen Abstraktionsebenen und auf verschiedenen Zeitachsen?

Aktuell herrschen in vielen Bereichen Modelle vor, die auf der Transformer-Architektur basieren. Er vertritt die Meinung, dass diese nicht ausreicht, um die Ziele zu erreichen, auch wenn man die Modelle immer weiter vergrößert.

Stattdessen beschreibt er in seiner Veröffentlichung eine neue Architektur, die mögliche Lösungen für alle drei Probleme enthält.

Führt mehr Open Source zu mehr Reproduzierbarkeit?

Jinen Setpal arbeitet als Ingenieur für maschinelles Lernen bei der Data Science Plattform DagsHub, die auf Open Source Tools basiert und sich an die Open Source Community richtet.

Dabei ist ihm aufgefallen, dass sich viele Forschungsergebnisse zu maschinellem Lernen und künstlicher Intelligenz nicht reproduzieren lassen.

Einige mögliche Gründe dafür beschreibt er in einem Blogeintrag:

Seine Lösung ist wenig überraschend, wenn man bedenkt, dass er mit und für Open Source Software arbeitet: Den Code veröffentlichen. Falls es nicht anders geht, schlägt er ein System vor, das ähnlich funktioniert wie das Patentsystem, bei dem die Erfindungen nach einer gewissen Zeit zur Benutzung durch alle freigegeben werden.

Für die anderen drei Punkte nennt er in seinem Blogeintrag leider keine Lösungsvorschläge.

Zusammengefasst

Formale Algorithmen für Transformer

Zwei Forscher:innen von Deepmind haben festgestellt, dass es zwar viele Beschreibungen der Transformer-Architektur gibt, aber kaum mathematisch präzise formale Beschreibungen und Pseudocode dabei sind.

Deshalb haben sie genau diese erstellt: für die einzelnen Komponenten, aus denen ein Transformer besteht, für verschiedene Varianten der Architektur, für Training und Vorhersage, sowie für wichtige Modelle (z.B. GPT-2) und verwandte Aufgaben wie Tokenisierung und Embedding von Text.

 
MLGO verbessert die Compiler-Optimierung

Während der Umwandlung von Code in Maschinensprache führen Compiler oft Optimierungen durch, um Größe und Ausführungsgeschwindigkeit zu verbessern. Was dabei wie genau optimiert wird, wird anhand von Regeln (Heuristiken) entschieden.

Forscher:innen von Google haben jetzt ein Framework namens MLGO entwickelt, mit dem man Techniken basierend auf maschinellem Lernen in einen populären Compiler (LLVM) integrieren kann.

Als Anwendungsbeispiel haben sie eine bestimmte Heuristik durch ein neuronales Netz ersetzt, das mithilfe von Reinforcement Learning trainiert wurde.


Welchen Einfluss haben Sprachmodelle auf Autor:innen?
"Indie"-Autor:innen, die ihre Geschichten ohne Unterstützung durch einen großen Verlag veröffentlichen, konzentrieren sich manchmal auf ein bestimmtes Nischengenre, in dem sie eine treue Leserschaft gefunden haben. In diesem veröffentlichen sie dann sehr häufig neue Bücher.
Ein Artikel bei The Verge beschreibt das anhand einer Autorin, die alle neun Wochen einen neuen Roman fertigstellt. Als sie anfängt ein KI-Tool zu benutzen, das beim Schreiben helfen soll, ist sie überrascht, wie gut es funktioniert, und ihre Produktivität steigt deutlich. Aber sie spürt auch, wie sie die Verbindung zu ihren Geschichten verliert.
 
Metas neue Bild-KI kann aus einer Skizze ein Bild erzeugen
Aktuelle Modelle zur Bild-Generierung können anhand von Texteingaben schon erstaunliche Bilder erzeugen. Dabei hat man als Benutzer:in allerdings relativ wenig Kontrolle darüber, wie genau das Bild am Ende aussehen wird.
Deshalb haben Forscher:innen von Meta ein Modell entwickelt, das sie Make-a-Scene nennen. Make-a-Scene erhält zusätzlich zur Text-Beschreibung noch eine Skizze, mit der man grob festlegen kann, wie das Bild aussehen soll.
Als Beispiel haben sie eine kurze Kindergeschichte geschrieben und von Make-a-Scene illustrieren lassen.
 
BlenderBot: der neue Chatbot von Meta
Meta hat außerdem einen Chatbot namens BlenderBot 3 veröffentlicht. Dieser kann für seine Antworten auf einen Speicher zugreifen oder das Internet durchsuchen.
Das Sprachmodell, auf dem BlenderBot basiert, ist eine weiter-trainierte Version des OPT Modells, das Meta Anfang Mai veröffentlicht hat.
Die Gefahr bei solchen öffentlichen Chatbots ist immer, dass ein:e der vielen tausend Benutzer:innen eine Möglichkeit findet, den Bot zu unakzeptablen Äußerungen zu bringen. Das abschreckende Beispiel ist dabei der Tay Bot von Microsoft, der so schlimme Dinge von sich gegeben hat, dass er nach nur 16 Stunden wieder abgeschaltet wurde.
BlenderBot scheint dagegen besser gewappnet zu sein: In einer ersten Auswertung nach einigen Tagen und 260.000 Nachrichten, wurden nur 0,1% als unangemessen, 1,4% als unsinnig und 1% als nicht zum Thema passend eingestuft.
Wenn man den Bot nach Mark Zuckerberg fragt, hat er übrigens keine klare Meinung. Laut Business Insider reichen die Antworten von "Ich denke er ist ein großartiger Kerl" bis "Er ist zu unheimlich und manipulativ".

Außerdem

« VorherigeNächste »

Hier abonnieren und keine Ausgabe mehr verpassen: