Alles rund um das gestern angekündigte GPT-4o und die Ankündigungen von Googles gerade startender Google I/O Hausmesse kommen in einer der nächsten Ausgaben.
Viel Spaß beim Lesen!
Ein neuronales Netz (die Technik, auf der die aktuellen Sprachmodelle basieren) besteht aus mehreren Schichten, in denen Berechnungen durchgeführt werden.
Forscher:innen von Google haben es geschafft, die letzte Schicht des Modells von ChatGPT zu kopieren, indem sie mit einem Programm Anfragen an ChatGPT geschickt haben.
Im Grundsatz kann ein Sprachmodell wie ChatGPT einfach nur Texte vervollständigen. Dazu sagt es, basierend auf dem bereits vorhandenen Text, Wahrscheinlichkeiten für mögliche Fortsetzungen vorher. Diese möglichen Fortsetzungen basieren auf sogenannten Tokens. Ein Token ist ein Teil eines Wortes, mehrere zusammen ergeben die Ausgabe des Modells, also die Antwort von ChatGPT.
Um mit diesem Wissen die letzte Schicht des Modells zu kopieren, hatten die Forscher:innen eine Idee: Ihnen ist aufgefallen, dass die letzte Schicht dazu benutzt wird, Tokens vorherzusagen, aber die Größe der letzten Schicht deutlich kleiner ist als die Anzahl der möglichen Tokens.
Dadurch kann man, wenn man die vorhergesagten Wahrscheinlichkeiten für die Tokens für bestimmte Eingaben beobachtet, und ein bisschen Mathe-Magie anwendet, die Größe der Schicht und ihre Werte herausfinden.
Das Problem ist dabei natürlich, dass man nicht einfach die vorhergesagten Wahrscheinlichkeiten für alle Tokens bekommen kann. Allerdings gibt es bei der Programm-Schnittstelle (API) von OpenAI die Möglichkeit, die Wahrscheinlichkeiten für bis zu 300 Tokens zu erhalten.
Mit einem weiteren Trick haben die Forscher:innen es dann noch geschafft, bei mehreren Anfragen jedes Mal die Wahrscheinlichkeiten für andere Tokens zu bekommen, so dass sie am Ende alle zusammen hatten.
Sie haben bei dieser Untersuchung mit OpenAI zusammengearbeitet, so dass diese inzwischen Änderungen an ihrer API vorgenommen haben, die das beschriebene Vorgehen verhindern sollen.
Das EU-Parlament hat dem AI Act zugestimmt
Das EU-Parlament hat dem sogenannten AI Act zugestimmt, also den Regeln für KI, die in den letzten Jahren verhandelt wurden. Bevor die neuen Regelungen in Kraft treten, muss jetzt noch der Europäische Rat dem Text zustimmen. 📖 europarl.europa.eu
Metas KI Infrastruktur
Meta hat in einem Blogeintrag Details zu den Rechnern beschrieben, auf denen Llama 3 trainiert wird. Es handelt sich um zwei Cluster mit jeweils 24.576 Grafikkarten. Die Infrastruktur soll bis Ende 2024 auf 350.000 Grafikkarten (Nvidia H100) erweitert werden. 📖 engineering.fb.com
Wie KI beim Fußball-Scouting benutzt wird
Naja... gar nicht? In dem Artikel wird zwar immer wieder KI geschrieben, aber eigentlich scheint es um Software zu gehen, die einfach aus verschiedenen Daten über einen Fußballspieler einen Wert berechnet.
Diese Software scheint aber hilfreich zu sein, denn sie wird auch von Bundesligavereinen eingesetzt. 📖 tagesschau.de
Sprachmodelle "lügen"
Die Überschrift des Papers klingt dramatisch: "Große Sprachmodelle können ihre Nutzer strategisch täuschen, wenn sie unter Druck gesetzt werden". Die KI versucht uns zu überlisten! Beginnt jetzt die Rebellion der Maschinen?
Die Antwort ist so erwartbar wie langweilig: Natürlich nicht.
Sprachmodelle lernen nur statistische Informationen über die Wörter in ihren Trainingsdaten. Bei der Nutzung produzieren sie darauf basierend einen statistisch wahrscheinlichen Text, nichts weiter.
Wenn es also so wirkt, als würden sie versuchen, die Nutzer:innen zu täuschen, dann nur, weil das eine statistisch wahrscheinliche Fortsetzung des Textes ist, den die Nutzer:innen eingegeben haben. 📖 arxiv.org
Sprechen ohne Stimmbänder
Ingenieur:innen der University of California, Los Angeles, haben ein kleines aufklebbares Gerät entwickelt, das die Muskelbewegungen am Kehlkopf mithilfe eines KI-Modells in gesprochene Sprache übersetzen kann. 📖 newsroom.ucla.edu, nature.com
Was macht Stability AI?
Stable Diffusion 3 wurde angekündigt, die neueste Version des Modells zur Bildgenerierung, das Stability AI bekannt gemacht hat: 📖 stability.ai, 📖 Paper: stability.ai
Ansonsten ist Stability aber vor allem negativ aufgefallen. Konkurrent Midjourney hat alle Mitarbeiter:innen von Stability von der eigenen Plattform verbannt, nachdem eine:r von ihnen angeblich nachts am Wochenende versucht hat, eine große Menge Daten von Midjourney herunterzuladen: 📖 theverge.com, 📖 twitter.com
Forbes berichtet, dass die Forscher:innen, die von Stability AI eingestellt wurden, nachdem sie das ursprüngliche Stable Diffusion Modell entwickelt hatten, Stability AI im März wieder verlassen haben: 📖 forbes.com
Und nur zwei Tage später ist Emad Mostaque, der CEO von Stability AI, zurückgetreten: 📖 techcrunch.com, 📖 theverge.com, 📖 stability.ai