Viel Spaß beim Lesen!
2019 haben zwei Studenten in China ein Experiment mit Reinforcement Learning gemacht. Dazu haben sie ein einfaches Spiel entwickelt, in dem zwei Wölfe versuchen sollen Schafe zu fangen. Dabei sollten sie möglichst schnell sein, deshab gab es Punktabzug für die Dauer des Spiels. Außerdem waren auf dem Spielfeld ein paar Felsbrocken verteilt, bei deren Berührung die Wölfe starben, was auch Punktabzug gab.
Nach 200.000 Trainingsiterationen hatten die Wölfe immer noch große Probleme die Schafe zu fangen, was zu hohen Strafen wegen der Zeit führte.
Da sie versuchen sollten möglichst viele Punkte zu bekommen, entwickelte sich eine Strategie, den Punktabzug für zu lange Dauer zu minimieren: Selbstmord. Wenn die Wölfe beim Start nahe genug an einem Felsbrocken waren, versuchten sie erst gar nicht Schafe zu fangen, sondern gaben auf und rannten gegen einen Felsen, um das Spiel schnell zu beenden.
Als dieses Zwischenergebnis im Frühjahr dieses Jahres in China bekannt wurde, führte das zu Diskussionen über KI Ethik. In der weiteren Entwicklung der Diskussionen begannen einige ihr eigenes Leben mit dem der Wölfe zu vergleichen: Wenn der Ausgangspunkt so schlecht ist, dass es unwahrscheinlich erscheint die eigenen Ziele zu erreichen, warum dann überhaupt anstrengen? Warum nicht gleich aufgeben?
Es entstand sogar ein eigener Begriff für diese Art, die eigenen Träume aufzugeben: 躺平 (auf Deutsch: “flach liegen”).
Das Experiment, das das alles ausgelöst hat, war allerdings am Ende doch noch erfolgreich. Nach 10 Millionen Trainingsiterationen hatten die Wölfe schließlich gelernt die Schafe zu fangen.
Video über den Stand am Ende des Experiments: https://www.bilibili.com/video/BV16X4y1V7Yu (chinesisch)
Blogeintrag, der das Experiment und die Diskussionen beschreibt: https://onezero.medium.com/the-ai-wolf-that-preferred-suicide-over-eating-sheep-49edced3c710 (englisch)
Bei Schlaganfällen sind die betroffenen Hirnregionen, die Auswirkungen und auch die Genesungschancen sehr individuell und können von Patient:in zu Patient:in unterschiedlich sein.
Gleichzeitig sind die Folgen oft sehr schwer und nur 15% der Patient:innen erholen sich wieder vollständig.
Besonders bei den schwer betroffenen Patient:innen ist es schwierig zu erkennen, wer bessere oder schlechtere Heilungschancen hat.
Um allen Patient:innen die jeweils angemessene Therapie zu geben wäre es daher gut, wenn man vorher wüsste, wie weit sie jeweils wieder genesen können.
Um das vorhersagen zu können, hat ein internationales Team aus Forscher:innen Support Vector Machines (SVMs) auf den Daten von 92 Schlaganfallpatient:innen trainiert.
SVMs sind eine ML Technik, die Daten in mehrere Klassen einteilen kann.
Zum Trainieren der SVMs wurden hier Daten über die Verbindungen im Gehirn (sogenannte Konnektome) und die Schwere der Bewegungseinschränkung der Patient:innen genutzt. Die Daten wurden zum ersten Mal nach zwei Wochen erhoben und dann nochmal nach drei Monaten, um den Fortschritt der Genesung zu dokumentieren.
Die so trainierten SVMs konnten dann anhand des Konnektoms zwei Wochen nach dem Schlaganfall mit 92% Genauigkeit vorhersagen, ob sich der Patient oder die Patientin wieder erholen wird oder nicht.
Veröffentlichung einer der beteiligten Universitäten: https://actu.epfl.ch/news/machine-learning-improves-the-prediction-of-stroke/ (englisch)
Paper: https://academic.oup.com/brain/advance-article/doi/10.1093/brain/awab082/6316639 (englisch)
Forscher:innen des chinesischen Suchmaschinenkonzerns Baidu und der Universität Maryland haben ein Steuerungssystem für Bagger entwickelt, die damit über längere Zeit selbstständig Material verladen können.
In einem Experiment mit unterschiedlich großen Baggern haben sie das System an verschiedenen Aufgaben getestet und sind zu dem Ergebnis gekommen, dass die Leistung ähnlich ist wie die eines erfahrenen Baggerfahrers. Unter diesen Aufgaben waren zum Beispiel das Baggern in trockener und nasser Erde, das Verladen von großen und kleinen Steinen, regnerisches Wetter und nasse Erde gemischt mit Steinen.
Auch bei einem Test in einem Recyclingunternehmen war das System erfolgreich.
Als Eingabedaten nutzt das System eine Reihe von verschiedenen Sensoren, unter anderem Kameras und LiDAR, wie sie auch in autonomen Autos verwendet werden.
Diese Daten werden dann in einer Reihe von Schritten verarbeitet. Besonders wichtig sind dabei die Aufnahmen der Kameras.
Als erstes wird auf den Bildern eine Bildverbesserung durchgeführt. Dann versucht das System zu klassifizieren, um welche Art von Material es sich handelt (z.B. trocken, nass, Steine, Erde, …).
Danach wird eine sogenannte Semantic Segmentation gemacht. Das bedeutet, auf dem Bild werden verschiedene Dinge erkannt, z.B. Erde, Rohre oder Lastwagen, und voneinander abgegrenzt.
Auf dem Ergebnis der Semantic Segmentation wird dann noch eine Instance Segmentation ausgeführt, bei der mehrere gleiche Gegenstände voneinander abgegrenzt werden, z.B. mehrere Steine, die nebeneinander liegen.
Für jeden der erkannten Gegenstände wird dann die Position und Lage im Raum eingeschätzt.
Mithilfe dieser Analyse erstellt das System einen Plan, wie die gegebene Aufgabe ausgeführt werden kann. Diese Planung wird dann noch feiner unterteilt, bis zu den einzelnen Bewegungen, die der Bagger ausführen muss.
Die Bewegungsinformationen werden schließlich an die Steuerungssoftware übergeben, die den Bagger bewegt.
Laut Aussage von Baidu arbeiten sie bereits mit mehreren großen Baumaschinenproduzenten zusammen, um die Technologie auf den Markt zu bringen.
Blogeintrag von Baidu: http://research.baidu.com/Blog/index-view?id=159 (englisch)
Youtube Video über das Projekt: https://www.youtube.com/watch?v=KFcNf_k0E_M
Das Github Copilot Projekt, über das ich in der letzten Ausgabe des Newsletters berichtet habe, hat auch in den letzten zwei Wochen noch viele weitere Reaktionen ausgelöst. Hier habe ich eine Auswahl zusammengestellt: