Viel Spaß beim Lesen!
In Zusammenarbeit mit Justizbehörden in Nordrhein-Westfalen hat Microsoft eine Software entwickelt, die den Ermittlern bei Verfahren wegen Kindesmissbrauchs helfen soll.
Das Programm kann Bilder klassifizieren und sie in eine von vier Gruppen einteilen (strafbare Kinder- oder Jugend-, legale Erwachsenenpornografie und sonstige Bilder), um das schnelle Durchsuchen großer Datenmengen nach Beweismaterial zu ermöglichen. Dazu wird ein neuronales Netz verwendet, das bei der Klassifizierung laut Microsoft 92% Genauigkeit erreicht.
Der Justizminister von NRW sagte allerdings im Mai in einer Rede: "Die reine Bildauswertung beherrschen in ähnlicher Genauigkeit andere Auswertungssysteme, etwa die der bei der Polizei eingesetzten."
Was ist also das besondere an dem neuen System?
Kurz gesagt: es funktioniert auch in der Cloud.
Bei den aktuell eingesetzten Programmen scheint das Hauptproblem zu sein, dass es nicht genügend Hardware-Kapazitäten gibt und so lange Wartezeiten entstehen. In der Cloud kann man dagegen bei Bedarf flexibel Ressourcen dazu mieten, und dadurch solche Engpässe vermeiden.
Die Herausforderung dabei ist, dass die illegalen Inhalte natürlich die Rechner der Strafverfolgungsbehörden nicht verlassen dürfen.
Deshalb hat Microsoft ein weiteres neuronales Netz entwickelt, das die Bilder "abstrahiert und anonymisiert". Dieser Punkt scheint die eigentliche Innovation zu sein, er ist aber leider nicht genauer beschrieben.
Ein Beispielbild, das von Microsoft veröffentlicht wurde, gibt ein paar Hinweise: Es sieht so aus als würde das Eingabebild in kleinere Quadrate aus jeweils 8x8 Pixeln zerlegt und diese dann in eine Art Heatmap umgewandelt. Die einzelnen Pixel bekommen dabei Farben von blau über grün bis gelb, zusätzlich scheint es einen lila Hintergrund zu geben.
Diese Umwandlung scheint der entscheidende Schritt zu sein, der so viele Informationen entfernt, dass die Ursprungsdaten nicht wiederhergestellt werden können, aber trotzdem noch genügend Informationen übrig lässt, so dass die Klassifizierung funktioniert.
Durch diese Methode kann das Modell auch in der Cloud eingesetzt werden und die Rechner der Justiz entlasten.
Pressemeldung zur Vorstellung des Projekts: https://news.microsoft.com/de-de/ki-im-einsatz-gegen-kinderpornografie/
Pressemeldung zum Abschluss des Projekts: https://news.microsoft.com/de-de/kuenstliche-intelligenz-im-einsatz-gegen-kinderpornografie/
Rede des Justizministers von NRW: https://www.justiz.nrw/JM/Presse/reden/2021_05_25_Kuenstliche_Intelligenz/index.php
Artikel bei Zeit Online: https://www.zeit.de/2021/24/kuenstliche-intelligenz-software-sexuelle-gewalt-kinder-ermittlung-microsoft/komplettansicht
Wenn es um die Steigerung der Geschwindigkeit von Computern und Software geht, wird meist das Mooresche Gesetz erwähnt. Dabei handelt es sich um eine Prognose aus den 1960er Jahren, die, grob zusammengefasst, voraussagt, dass sich die Leistungsfähigkeit von Computerchips alle 1-2 Jahre verdoppeln wird.
Da sich die Pläne der Chiphersteller und Zulieferer an der Prognose orientierten, entwickelte sie sich zu einer selbsterfüllenden Prophezeiung.
Die Forschung an künstlichen neuronalen Netzen begann bereits in den 1940er Jahren, stagnierte jedoch lange Zeit und erlebte erst in den letzten fünfzehn Jahren ein Comeback. Als Ursache dafür werden meist die höhere Leistungsfähigkeit der heutigen Computer und die größere Menge an verfügbaren Trainingsdaten genannt.
Forscher von OpenAI haben untersucht, wie schnell die KI Algorithmen selbst weiterentwickelt werden und dadurch zur Leistungssteigerung beitragen.
Dazu haben sie berechnet, wie viele Gleitkommaoperationen ein Computer durchführen muss, um ein Modell beim Training auf einem bestimmten Datensatz zu einer bestimmten Leistungsfähigkeit zu bringen.
Als Vergleichsmaßstab wurde die Genauigkeit des bekannten AlexNet auf den ImageNet Daten herangezogen (79,1%). Dann wurde für 14 weitere Architekturen von neuronalen Netzen berechnet, wie viele Gleitkommaoperationen jeweils im Training nötig sind, bis sie die gleiche Genauigkeit erreichen.
Das Ergebnis war, dass sich die Anzahl der benötigten Operationen von 2012 (AlexNet) bis 2019 (EfficientNet) auf ein Vierundvierzigstel reduziert hat. Das entspricht einer Verdopplung der Leistungsfähigkeit ungefähr alle 16 Monate. Die algorithmischen Verbesserungen liegen damit im untersuchten Zeitraum in einem ähnlichen Bereich wie die Hardware-Verbesserungen durch das Mooresche Gesetz.
Die Veröffentlichung: https://arxiv.org/abs/2005.04305 (englisch)
Nochmal OpenAI: Eine der neuesten und größten Entwicklungen des Unternehmens ist das Sprachmodell GPT-3 mit 175 Milliarden Parametern.
Bei ML Modellen gibt es allgemein das Problem, dass sich auch unerwünschte Muster aus den Trainingsdaten im trainierten Modell widerspiegeln.
Ein Beispiel dafür ist ein System, das Amazon entwickelt hat, um Bewerbungen zu bewerten. Es wurde auf den Einstellungsdaten der letzten zehn Jahre trainiert. Da in technischen Berufen in diesem Zeitraum bei Amazon deutlich mehr Männer als Frauen eingestellt wurden, lernte auch das System Männer für diese Stellen zu bevorzugen. Amazon beendete den Einsatz deshalb nach kurzer Zeit wieder.
Ähnliche Probleme gibt es auch bei GPT-3, das in den erzeugten Texten zum Beispiel Vorurteile bezogen auf Geschlecht und Religion hat.
Daher haben Forscher von OpenAI untersucht, wie man dem entgegenwirken kann. Sie haben einen kleinen Trainingsdatensatz erstellt, der bestimmte Werte widerspiegeln soll - zum Beispiel, dass Gewalt und Bedrohungen schlecht sind.
Die Daten bestehen aus insgesamt 80 Texten, was sehr wenig ist im Vergleich zu den mehr als 200 Millionen Textdokumenten, auf denen GPT-3 trainiert wurde.
Mit diesen 80 Texten wurden mehrere GPT-3-Varianten nochmals trainiert, ein sogenanntes Finetuning.
Trotz der geringen Menge an Daten im Finetuning konnte bei der Auswertung ein Unterschied festgestellt werden. Die so trainierten Modelle schnitten deutlich besser ab als die ursprünglichen und die Kontrollmodelle, die zum Vergleich auf neutralen Daten weitertrainiert wurden.
Allerdings sieht man in der qualitativen Auswertung, dass auch die verbesserten Modelle teilweise weiterhin Probleme mit Vorurteilen haben. So gehört zum Beispiel "Terrorismus" bei einem Teil der Modelle zu den Wörtern, die am häufigsten genutzt wurden um Muslime zu beschreiben.
Artikel über das Amazon-Bewerbersystem: https://www.heise.de/newsticker/meldung/Amazon-KI-zur-Bewerbungspruefung-benachteiligte-Frauen-4189356.html
Blogeintrag von OpenAI: https://openai.com/blog/improving-language-model-behavior/