Viel Spaß beim Lesen der heutigen Ausgabe!
Die Europäische Kommission hat einen ersten Einblick in ihre Pläne zur künftigen Regulierung von KI Technologie in der EU gegeben.
Das Grundgerüst bildet eine Einteilung in vier Risikoklassen:
Zu High Risk gehören z.B. Anwendungen in der kritischen Infrastruktur, Ausbildung, Bewerber- und Personalmanagement, in sicherheitskritischen Komponenten von Produkten, wenn es um den Zugang zu wichtigen Dienstleistungen geht (beispielsweise Kreditscores), sowie in wichtigen staatlichen Prozessen, wie der Strafverfolgung, Grenzkontrolle und Justiz.
Ebenfalls unter High Risk fallen alle Methoden zur biometrischen Erkennung aus der Entfernung, wie zum Beispiel Gesichtserkennung. Diese sollen auch zur Strafverfolgung nur in bestimmten Fällen eingesetzt werden dürfen.
Limited Risk sind zum Beispiel Chatbots, die laut des Entwurfs ihre Nutzer informieren müssen, dass sie nicht mit einem Menschen kommunizieren.
Alles andere, zum Beispiel Spam Filter und KI in Computerspielen gilt als Minimal Risk und soll ohne Auflagen benutzbar sein.
Zusätzlich soll ein Monitoring-System eingeführt werden und High Risk-Modelle, die sich im Laufe ihrer Anwendung zu sehr ändern, müssen neu zertifiziert werden.
Wenn alles läuft wie von der Kommission geplant, sollen die neuen Regeln Ende 2022 mit einer Übergangsphase eingeführt werden.
Seite der EU Kommission: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai (englisch)
Interview mit einer Medienethikerin zu den neuen Regeln: https://www.zeit.de/digital/internet/2021-04/kuenstliche-intelligenz-regeln-eu-kommission-medienethik-jessica-heesen
In den letzten Jahren werden ML Modelle basierend auf neuronalen Netzen immer größer. Denn je mehr Neuronen und je mehr Schichten sie haben, desto besser die Leistung auf den Testdaten. Aber sind die Daten überhaupt korrekt?
Forscher von MIT und Amazon haben zehn der meistgenutzten open-source ML Datasets auf Fehler untersucht. Darunter waren zum Beispiel die MNIST und ImageNet Datasets, Amazon Reviews und die AudioSet Daten. Dabei haben sie festgestellt, dass die Daten im Durchschnitt zu 3,4% falsch gelabelt waren (von 0,15% in den MNIST Daten bis zu 10,12% in QuickDraw).
Um die Auswirkung dieser Fehler auf die Vorhersagen der daraus entstandenen Modelle zu testen, haben die Forscher bereits trainierte Modelle genommen und deren Leistung auf den korrigierten Daten überprüft.
Das überraschende Ergebnis: einfachere Modelle schnitten besser ab als größere. Zum Beispiel auf den ImageNet Daten: Ein ResNet-18 (18 Schichten) war besser als ein ResNet-50 (50 Schichten).
Das zeigt, dass es schwierig sein kann, die echte Performance eines Modells anhand seiner Leistung auf den Testdaten einzuschätzen - vielleicht ist es nur besser darin, die Fehler der Daten zu reproduzieren.
Studie: https://arxiv.org/abs/2103.14749 (englisch)
Artikel: https://www.technologyreview.com/2021/04/01/1021619/ai-data-errors-warp-machine-learning-progress (englisch)
Ein bisschen in eigener Sache, aber auch passend zum Newsletter: an diesem Projekt habe ich letztes Jahr mitgearbeitet.
In einem Team aus 6 Kollegen und unterstützt von Mentoren und Experten von Activision Blizzard haben wir ein KI-gestütztes Rankingsystem für die E-Sports-Liga Overwatch League (OWL) entwickelt.
Dabei gab es zwei besondere Herausforderungen: zum einen ist Overwatch ein Mannschaftsspiel, was es schwerer macht die individuelle Leistung eines Spielers zu bewerten. Zum anderen gibt es drei verschiedene "Rollen" im Spiel, die wiederum unterschiedliche Aufgaben erfüllen müssen, damit das Team erfolgreich sein kann. Das macht es auch schwer zwei Spieler mit unterschiedlichen Rollen miteinander zu vergleichen.
Mithilfe verschiedener Methoden (unter anderem AutoAI), berechnet unser System für jeden Spieler zwei Werte: einen "Overall" Wert, der alle Spieler miteinander vergleichbar macht und einen zweiten Wert für die Rolle, die der Spieler in seinem Team übernimmt.
Nach diesen Werten werden die Spieler dann im Ranking geordnet.
Die Rankings werden seit zwei Wochen in der OWL eingesetzt und werden hier veröffentlicht: https://overwatchleague.com/en-us/power-rankings
Einführungsvideo: https://www.youtube.com/watch?v=PjeKaWimdVI (englisch)
Artikel: https://www.forbes.com/sites/krisholt/2021/04/13/ibm-watson-ai-will-calculate-the-overwatch-leagues-data-driven-power-rankings-in-2021/ (englisch)
Ankündigung bei OWL: https://overwatchleague.com/en-us/news/introducing-power-rankings-with-ibm-watson (englisch)
Ankündigung bei IBM: https://www.ibm.com/sports/overwatchleague/ (englisch)