KI News #48

Hallo und herzlich willkommen zur achtundvierzigsten Ausgabe von KI News. In dieser Ausgabe geht es um Metas LLaMA Sprachmodell, OpenAIs Sicht auf die KI-Entwicklung der Zukunft, ein Update zum autonomen Fahren und ich habe versucht die vielen KI-Ankündigungen der letzten Wochen zusammenzufassen.

Viel Spaß beim Lesen!

Inhalt

Metas Sprachmodell LLaMA und was andere damit gemacht haben

LLaMA ist eine Familie von Sprachmodellen, die von Meta AI entwickelt wurde. Die LLaMA-Modelle haben zwischen 7 und 65 Milliarden Parameter.

Beim Training der LLaMA-Modelle haben die Forscher:innen noch mehr Daten verwendet als üblich und konnten dadurch die Leistung der Modelle verbessern.

So soll zum Beispiel das LLaMA-Modell mit 13 Milliarden Parametern in den meisten Tests besser sein als GPT-3, das 175 Milliarden Parameter hat, und das LLaMA-Modell mit 65 Milliarden Parametern soll ähnlich gut sein wie das PaLM-Modell von Google mit 540 Milliarden Parametern.

Als Trainingsdaten haben die Forscher:innen 4,7 TB an öffentlich verfügbaren Texten aus dem Internet und Büchern verwendet.

Das Training für das größte Modell hat auf 2048 Grafikkarten (Nvidia A100 80GB) 21 Tage gedauert, die gesamte Entwicklung ungefähr 5 Monate. Den CO₂ Ausstoß dafür schätzen die Forscher:innen auf ca. 1.000t. Das entspricht laut Umweltbundesamt dem Treibhausgasausstoß von knapp 100 Deutschen in einem Jahr.

Meta stellt die LLaMA Modelle interessierten Forscher:innen auf Antrag zur Verfügung. Dadurch haben sich einige Projekte entwickelt, die auf LLaMA basieren.

Dazu gehört zum Beispiel Alpaca von der Stanford Universität. Alpaca basiert auf LLaMA-7B, dem kleinsten der LLaMA Modelle, und wurde von den Stanford-Forscher:innen weitertrainiert, um Anweisungen folgen zu können, ähnlich wie ChatGPT.

Auf HuggingFace gibt es jetzt HuggingChat, ein ChatGPT-ähnlicher Chatbot, der auf dem LLaMA-30B Modell basiert.

Andere KI-Ankündigungen

Autonomes Fahren, Mai Update

Zusammengefasst

 
Neues zu Bildgenerierung und Deepfakes
  • Das US Special Operations Command will Deepfakes für Desinformationskampagnen benutzen: 📖 Dokument auf documentcloud.org, S.16
     
  • Ein Künstler, der Portraitfotos auf Instagram veröffentlicht hat, hat zugegeben, dass es sich nicht um Fotos handelt, sondern die Bilder KI-generiert sind: 📖 artnet.com
     
  • Ein KI-generiertes Bild hat einen Preis bei den Sony World Photography Awards gewonnen:  📖 artnet.com
     
  • Jemand hat Bilder von allen amerikanischen Präsidenten mit Vokuhila-Frisuren generieren lassen und auf Twitter gepostet: 📖 twitter.com
     
  • Ein anderer Twitter-Nutzer hat dem Papst eine coole Jacke verpasst: 📖 twitter.com
 
Die Sicht von OpenAI auf die zukünftige KI-Entwicklung
OpenAI hat zwei Blogposts veröffentlicht, die den Standpunkt des Unternehmens zur zukünftigen (Weiter-) Entwicklung von KI darstellen sollen.

Der erste hat den Titel "Wie sollten sich KI Systeme verhalten und wer sollte entscheiden?".
Darin beschreiben sie, dass ChatGPT in der "normalen" Variante möglichst neutral sein sollte, aber Nutzer:innen sollen es so anpassen können, dass es auch extreme Standpunkte vertreten kann.

Außerdem wollen sie sicherstellen, dass der Zugang zu und der Einfluss auf KI möglichst weit verbreitet sind und es keine unangemessene Machtkonzentration gibt. Deshalb wollen sie in Zukunft anfangen, auch andere Leute nach ihrer Meinung zu fragen.
Wie das helfen soll, Zugang und Einfluss zu sichern, oder die aktuelle Machtkonzentration verringern soll, bleibt dabei leider genauso ihr Geheimnis wie die Funktionsweise ihrer KI-Modelle.

Der zweite Blogpost steht unter der Überschrift "Planung für starke KI und darüber hinaus". "Starke KI" (im Englischen "Artificial General Intelligence", AGI) wird dabei definiert als "KI Systeme, die im Allgemeinen intelligenter sind als Menschen".

Die, meiner Meinung nach, wichtigsten Punkte des Blogeintrags sind:
  • mehr KI ist besser für die Menschen (zugegeben, das ist eine wenig überraschende Aussage von einer KI Firma)
  • wenn sich die Fähigkeiten von KI weiterentwickeln, müssen sich gleichzeitig auch die Sicherheitsmechanismen weiterentwickeln
  • externe Gremien oder Behörden sollten in Zukunft mitentscheiden dürfen, ob ein Modell trainiert oder veröffentlicht werden kann
  • die Chancen, aber auch die Risiken, von starker KI sind potentiell unbegrenzt
 
 

Außerdem

« VorherigeNächste »

Hier abonnieren und keine Ausgabe mehr verpassen: