<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html lang="de">


<head>
<title>Hyperkommunikation: François Chollet</title>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="language" content="de">
<meta name="keywords" content="François Chollet, Hyperkommunikation, Systemtheorie, Technologie, Technik, Kybernetik, Kybernologie, Marxismus, Dialektik, Dialog, diasynchron, Geld, Schuld, Kredit, Konstruktivismus, Kritische Psychologie, Rolf Todesco">
<meta name="description" content="François Chollet, Hyperkommunikation, Systemtheorie, Technologie, Technik, Kybernetik, Kybernologie, Marxismus, Dialektik, Dialog, diasynchron, Geld, Schuld, Kredit, Konstruktivismus, Kritische Psychologie, Rolf Todesco">
<meta name="author" content="Rolf Todesco">
</head>

<body bgcolor="#ffffff" text="#000000" link="#0000CC" vlink="#808080">
<a name="top"></a>

<small>
[&nbsp;<a href="javascript:history.back()">zurück</a>&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;
[&nbsp;<a href="../lexikon/lexikon_index.htm" target="_top">Stichworte</a>&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;
[&nbsp;<a href="../hyperbibliothek/index.htm" target="_top">Die Hyper-Bibliothek</a>&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;
[&nbsp;<a href="../crashkurse/crashkurs_systemtheorie/ck_systemtheorie_top.htm" target="_top">Systemtheorie</a>&nbsp;]
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
[&nbsp;<a href="../todesco/publikationen/publikationen.htm" target="_top"><b>Meine Bücher</b></a>&nbsp;]
</small>
<hr align="left">

<p><a href="../personen/chollet.htm">Chollet, François</a>: Deep Learning
with Python, Manning Publications, Shelter Island, NY, 2018</p>

<p>siehe <a href="../lexikon/deep_learning.htm">Deep Learning</a></p>

<p>[ Auszüge und Volltext ]    
<!--
<a href="../text_2/chollet_deeplearning.pdf">Volltext</a>

=== hier ein paar DeepL-Übersetzungen ===

<p>Zum Cover des Buches:</p>

<p>Die Figur auf der Titelseite von Deep Learning with Python ist mit "Habit of a Perser" überschrieben.
Dame im Jahre 1568." Die Illustration stammt aus Thomas Jefferys' A Collection of the Dresses
of Different Nations, Ancient and Modern (vier Bände), London, veröffentlicht zwischen
1757 und 1772. Auf dem Titelblatt steht, dass es sich um handkolorierte Kupferstiche handelt,
mit Gummiarabikum gehöht.
Thomas Jefferys (1719-1771) wurde "Geograph von König Georg III." genannt. Er war
einem englischen Kartographen, der der führende Kartenlieferant seiner Zeit war. Er gravierte
und druckte Karten für die Regierung und andere offizielle Stellen und produzierte eine
Sortiment an kommerziellen Karten und Atlanten, insbesondere von Nordamerika. Seine Arbeit als Landkarte
der Schöpfer ein Interesse an den lokalen Trachtenbräuchen der von ihm untersuchten Länder und
kartographiert, die in dieser Sammlung brillant dargestellt sind. Faszination mit der Ferne
Land und Vergnügungsreisen waren relativ neue Phänomene im späten achtzehnten
Jahrhundert, und Sammlungen wie diese waren populär und stellten sowohl den Touristen als
wie auch der Sesselreisende zu den Bewohnern anderer Länder.
Die Vielfalt der Zeichnungen in Jefferys' Bänden spricht anschaulich von der Einzigartigkeit
und die Individualität der Nationen der Welt vor etwa 200 Jahren. Die Kleiderordnung hat sich geändert.
Seither ist die damals so reiche Vielfalt nach Regionen und Ländern verblasst.
Heute ist es oft schwierig, die Bewohner eines Kontinents von einem anderen zu unterscheiden. Vielleicht, wenn man versucht um es optimistisch zu sehen, haben wir die kulturelle und visuelle Vielfalt gegen eine
persönlichen Leben - oder ein abwechslungsreiches und interessantes intellektuelles und technisches Leben.
In einer Zeit, in der es schwierig ist, ein Computerbuch von einem anderen zu unterscheiden, feiert Manning
den Erfindungsreichtum und die Initiative der Computerbranche mit Buchumschlägen
auf der Grundlage der reichen Vielfalt des regionalen Lebens vor zwei Jahrhunderten, wiederbelebt durch
Jefferys' Bilder.</p>

<p>Vorbemerkung</p>

<p>Die Kapitel 1-4 dieses Buches geben Ihnen ein grundlegendes Verständnis dafür, was tiefes Lernen ist, was es erreichen kann und wie es funktioniert. Es macht Sie auch mit dem kanonischen Arbeitsablauf zur Lösung von Datenproblemen durch tiefes Lernen vertraut. Wenn Sie nicht bereits über ein hohes Maß an Wissen über tiefes Lernen verfügen, sollten Sie auf jeden Fall damit beginnen, Teil 1 vollständig zu lesen, bevor Sie zu den praktischen Anwendungen in Teil 2 übergehen</p>

<p>Was ist tiefes Lernen?</p>

<p>Dieses Kapitel umfasst
Hochrangige Definitionen grundlegender Konzepte
Zeitleiste der Entwicklung des maschinellen Lernens
Schlüsselfaktoren für den Aufstieg des tiefen Lernens Popularität und Zukunftspotenzial</p>

<p>Die künstliche Intelligenz (KI) war in den letzten Jahren Gegenstand eines intensiven Medienrummels. Maschinelles Lernen, Deep Learning und KI kommen in unzähligen Artikeln zur Sprache, oft außerhalb von technologieorientierten Publikationen. Man verspricht uns eine Zukunft intelligenter Chatbots, selbstfahrender Autos und virtueller Assistenten - eine Zukunft, die manchmal in einem düsteren Licht und manchmal als utopisch dargestellt wird, in der menschliche Arbeitsplätze knapp werden und die meisten wirtschaftlichen Aktivitäten von Robotern oder KI-Agenten erledigt werden. Für einen zukünftigen oder gegenwärtigen Praktiker des maschinellen Lernens ist es wichtig, das Signal im Rauschen zu erkennen, damit man die weltverändernden Entwicklungen aus übertriebenen Pressemitteilungen erkennen kann. Unsere Zukunft steht auf dem Spiel und es ist eine Zukunft, in der Sie eine aktive Rolle spielen müssen: Nach der Lektüre dieses Buches werden Sie zu denjenigen gehören, die die KI-Agenten entwickeln. Also lassen Sie uns diese Fragen angehen: Was hat tiefes Lernen bisher erreicht?</p>

<p>Wie bedeutsam ist es? Wohin geht es als nächstes? Sollten Sie dem Hype glauben?</p>

<p>Dieses Kapitel liefert wesentliche Zusammenhänge rund um künstliche Intelligenz, maschinelles Lernen und tiefes Lernen.
[...]</p>

<p>1.1.1 Künstliche Intelligenz</p>

<p>Die künstliche Intelligenz wurde in den 1950er Jahren geboren, als eine Handvoll Pioniere aus dem aufkommenden Bereich der Informatik anfingen zu fragen, ob man Computer zum "Denken" bringen kann - eine Frage, deren Auswirkungen wir heute noch erforschen. Eine prägnante Definition des Feldes wäre: das Bemühen, intellektuelle Aufgaben zu automatisieren, die normalerweise vom Menschen ausgeführt werden. KI ist also ein allgemeiner Bereich, der maschinelles Lernen und tiefes Lernen umfasst, aber auch viele weitere Ansätze, die kein Lernen beinhalten. Frühe Schachprogramme, zum Beispiel, beinhalteten nur hartkodierte Regeln, die von Programmierern erstellt wurden, und qualifizierten sich nicht als maschinelles Lernen. Für eine ziemlich lange Zeit glaubten viele Experten, dass künstliche Intelligenz auf menschlicher Ebene dadurch erreicht werden könnte, dass Programmierer eine ausreichend große Menge an expliziten Regeln für die Manipulation von
Wissen. Dieser Ansatz wird als symbolische KI bezeichnet und war von den 1950er bis Ende der 1980er Jahre das dominierende Paradigma der KI. Seinen Höhepunkt erreichte er während des Booms der Expertensysteme in den 1980er Jahren. Obwohl sich die symbolische KI als geeignet erwies, gut definierte, logische Probleme zu lösen, wie z.B. das Schachspiel, erwies es sich als unlösbar, explizite Regeln für die Lösung komplexerer, unscharfer Probleme wie Bildklassifikation, Spracherkennung und Sprachübersetzung zu finden. Es entstand ein neuer Ansatz, um den Platz der symbolischen KI einzunehmen: maschinelles Lernen.</p>

<p>1.1.2 Maschinelles Lernen</p>

<p>Im viktorianischen England war Lady Ada Lovelace eine Freundin und Mitarbeiterin von Charles Babbage, dem Erfinder der Analytical Engine: dem ersten bekannten mechanischen Allzweck-Computer. Obwohl visionär und seiner Zeit weit voraus, war die Analytical Engine nicht als Allzweckrechner gedacht, als sie in den 1830er und 1840er Jahren entwickelt wurde, denn das Konzept der Allzweckberechnung war noch nicht erfunden. Sie war lediglich als eine Möglichkeit gedacht, mechanische Operationen zu verwenden, um bestimmte Berechnungen aus dem Bereich der mathematischen Analyse zu automatisieren - der Name Analytical Engine. 1843 bemerkte Ada Lovelace zu dieser Erfindung: "Die Analytical Engine erhebt keinerlei Anspruch auf die Entstehung von etwas. Sie kann alles tun, was wir ihr befehlen... Ihre Aufgabe ist es, uns zu helfen, das, was wir bereits kennen, verfügbar zu machen."
Diese Bemerkung wurde später vom KI-Pionier Alan Turing als "Lady Lovelace's objection" in seinem bahnbrechenden Papier "Computing Machinery and Intelligence "1 von 1950 zitiert, das den Turing-Test sowie Schlüsselkonzepte, die die KI prägen sollten, vorstellte. Turing zitierte Ada Lovelace, während er darüber nachdachte, ob Universalcomputer lernfähig und originell sein könnten, und er kam zu dem Schluss, dass sie es könnten. Maschinelle Lernprozesse ergeben sich aus dieser Frage: Könnte ein Computer über das hinausgehen, "was wir wissen, wie wir ihm Befehle erteilen", und selbstständig lernen, wie er eine bestimmte Aufgabe erfüllen kann?</p>

<p>Könnte ein Computer uns überraschen? Anstatt dass Programmierer Datenverarbeitungsregeln von Hand erstellen, könnte ein Computer diese Regeln automatisch lernen, indem er sich Daten ansieht? Diese Frage öffnet die Tür zu einem neuen Programmierparadigma. In der klassischen Programmierung, dem Paradigma der symbolischen KI, geben Menschen Regeln (ein Programm) und Daten ein, die nach diesen Regeln verarbeitet werden sollen, und erhalten Antworten (siehe Abbildung 1.2). Beim maschinellen Lernen gibt der Mensch sowohl Daten ein als auch die von den Daten erwarteten Antworten und es ergeben sich die Regeln. Diese Regeln können dann auf neue Daten angewendet werden, um originelle Antworten zu erhalten.</p>

<p>img deeplearning.png</p>

<p>Ein maschinell lernendes System wird nicht explizit programmiert, sondern trainiert. Es wird mit vielen Beispielen präsentiert, die für eine Aufgabe relevant sind, und es findet in diesen Beispielen eine statistische Struktur, die es dem System schließlich erlaubt, Regeln für die Automatisierung der Aufgabe aufzustellen. Wenn Sie z.B. die Aufgabe der Markierung Ihrer Urlaubsbilder automatisieren möchten, könnten Sie ein maschinell lernendes System mit vielen Beispielen von Bildern präsentieren, die bereits von Menschen getaggt, und das System würde statistische Regeln für die Zuordnung bestimmter Bilder zu bestimmten Tags lernen.</p>

<p>Obwohl das maschinelle Lernen erst in den 1990er Jahren zu florieren begann, hat es sich schnell zum beliebtesten und erfolgreichsten Teilbereich der KI entwickelt, ein Trend, der durch die Verfügbarkeit schnellerer Hardware und größerer Datensätze getrieben wird. Maschinelles Lernen ist eng mit der mathematischen Statistik verwandt, unterscheidet sich aber in einigen wichtigen Punkten von der Statistik.</p>

<p>Im Gegensatz zur Statistik neigt das maschinelle Lernen dazu, mit großen, komplexen Datensätzen (wie z.B. einem Datensatz mit Millionen von Bildern, die jeweils aus Zehntausenden von Pixeln bestehen) umzugehen, für die die klassische statistische Analyse wie die Bayes'sche Analyse unpraktisch wäre. Infolgedessen weist das maschinelle Lernen, und insbesondere das Tiefenlernen, vergleichsweise wenig mathematische Theorie auf - vielleicht zu wenig - und ist ingenieurwissenschaftlich orientiert. Es ist eine praxisnahe Disziplin, in der Ideen öfter empirisch als theoretisch bewiesen werden.</p>

<p>1.1.3 Darstellungen aus Daten lernen</p>

<p>Um tiefes Lernen zu definieren und den Unterschied zwischen tiefem Lernen und anderen maschinellen Lernansätzen zu verstehen, benötigen wir zunächst eine Vorstellung davon, was maschinelle Lernalgorithmen leisten. Ich habe gerade festgestellt, dass maschinelles Lernen Regeln entdeckt, um eine Datenverarbeitungsaufgabe auszuführen, und habe Beispiele dafür gegeben, was erwartet wird. Um maschinelles Lernen zu betreiben, brauchen wir also drei Dinge:

- Eingabedatenpunkte - wenn die Aufgabe z.B. Spracherkennung ist, könnten diese Datenpunkte Klangdateien von sprechenden Menschen sein. Wenn es sich bei der Aufgabe um Bildmarkierung handelt, könnten es Bilder sein.

- Beispiele für die erwartete Ausgabe - Bei einer Spracherkennungsaufgabe könnten dies vom Menschen erstellte Transkriptionen von Tondateien sein. Bei einer Bildaufgabe könnten die erwarteten Ausgaben Tags wie "Hund", "Katze" und so weiter sein.

- Eine Möglichkeit zu messen, ob der Algorithmus gute Arbeit leistet - Dies ist notwendig, um den Abstand zwischen der aktuellen Ausgabe des Algorithmus und der erwarteten Ausgabe zu bestimmen. Die Messung wird als Feedback-Signal verwendet, um die Funktionsweise des Algorithmus anzupassen. Diesen Anpassungsschritt nennen wir Lernen.

Ein maschinelles Lernmodell wandelt seine Eingangsdaten in aussagekräftige Ausgaben um, ein Prozess, der durch die Exposition gegenüber bekannten Beispielen von Ein- und Ausgaben "gelernt" wird. Daher ist das zentrale Problem beim maschinellen Lernen und beim Tiefenlernen die sinnvolle Transformation von Daten: mit anderen Worten, das Lernen von sinnvollen Repräsentationen der Eingabedaten bei Handrepräsentationen, die uns näher an den erwarteten Output bringen. 

Bevor wir weitergehen: Was ist eine Repräsentation? Im Kern geht es um eine andere Art, Daten zu betrachten - um Daten zu repräsentieren oder zu kodieren. So kann ein Farbbild beispielsweise im RGB-Format (Rot-Grün-Blau) oder im HSV-Format (Farbton-Sättigungswert) kodiert werden: Dies sind zwei verschiedene Darstellungen derselben Daten. Einige Aufgaben, die bei der einen Darstellung schwierig sein können, können bei der anderen einfach werden. Zum Beispiel ist die Aufgabe "alle roten Pixel im Bild auswählen" im RG-Format einfacher, während "das Bild weniger gesättigt machen" im HSV-Format einfacher ist. Bei maschinell lernenden Modellen geht es darum, geeignete Repräsentationen für ihre Eingangsdaten zu finden - Transformationen der Daten, die sie für die jeweilige Aufgabe, wie z.B. eine Klassifikationsaufgabe, besser geeignet machen.

Lass uns das konkretisieren. Betrachten wir eine x-Achse, eine y-Achse und einige Punkte, die durch ihre Koordinaten im (x, y)-System dargestellt werden, wie in Abbildung 1.3 gezeigt.

deeplearning2.png

Wie Sie sehen können, haben wir einige weiße und einige schwarze Punkte. Nehmen wir an, wir wollen einen Algorithmus entwickeln, der die Koordinaten (x, y) eines Punktes nehmen und ausgeben kann, ob dieser Punkt wahrscheinlich schwarz oder weiß ist. In diesem Fall,

- Die Eingaben sind die Koordinaten unserer Punkte.
- Die erwarteten Ausgaben sind die Farben unserer Punkte.
- Eine Möglichkeit zu messen, ob unser Algorithmus gute Arbeit leistet, könnte zum Beispiel der Prozentsatz der Punkte sein, die richtig klassifiziert werden.

Was wir hier brauchen, ist eine neue Darstellung unserer Daten, die die weißen Punkte sauber von den schwarzen Punkten trennt. Eine Transformation, die wir, neben vielen anderen Möglichkeiten, verwenden könnten, wäre eine Koordinatenänderung, wie in Abbildung 1.4 dargestellt.

deeplearning3.png

In diesem neuen Koordinatensystem kann man die Koordinaten unserer Punkte als eine neue Darstellung unserer Daten bezeichnen. Und es ist eine gute! Mit dieser Darstellung lässt sich das Problem der Schwarz/Weiß-Klassifikation in einer einfachen Regel ausdrücken: "Schwarze Punkte sind so, dass x > 0" oder "Weiße Punkte sind so, dass x < 0". Diese neue Darstellung löst im Wesentlichen das Klassifizierungsproblem.

In diesem Fall haben wir den Koordinatenwechsel von Hand definiert. Wenn wir aber stattdessen systematisch nach verschiedenen möglichen Koordinatenänderungen suchen würden und als Rückmeldung den Prozentsatz der richtig klassifizierten Punkte verwenden würden, dann würden wir maschinelles Lernen betreiben. Lernen beschreibt im Kontext des maschinellen Lernens einen automatischen Suchprozess für bessere Darstellungen.

Alle maschinell lernenden Algorithmen bestehen darin, automatisch solche Transformationen zu finden, die Daten in brauchbarere Darstellungen für eine gegebene Aufgabe verwandeln. Diese Operationen können Koordinatenänderungen sein, wie Sie sie gerade gesehen haben, oder lineare Projektionen (die Informationen zerstören können), Übersetzungen, nichtlineare Operationen (wie z.B. "alle Punkte so auswählen, dass x > 0"), und so weiter. Maschinenlernende Algorithmen sind normalerweise nicht kreativ beim Auffinden dieser Transformationen; sie durchsuchen lediglich einen vordefinierten Satz von Operationen, den sogenannten Hypothesenraum.

Das ist es also, was maschinelles Lernen technisch gesehen ist: die Suche nach nützlichen Darstellungen einiger Eingabedaten innerhalb eines vordefinierten Raums von Möglichkeiten, unter Verwendung der Führung eines Rückkopplungssignals. Diese einfache Idee erlaubt es, eine bemerkenswert breite Palette von intellektuellen Aufgaben zu lösen, von der Spracherkennung bis zum autonomen Autofahren.

Jetzt, wo Sie verstehen, was wir mit Lernen meinen, wollen wir einen Blick auf das werfen, was tiefes Lernen besonders macht.

1.1.4 Das "tiefe" in tiefem Lernen

Tiefes Lernen ist ein spezifisches Teilgebiet des maschinellen Lernens: eine neue Sichtweise auf das Lernen von Repräsentationen aus Daten, die den Schwerpunkt auf das Lernen aufeinanderfolgender Schichten von immer aussagekräftigeren Repräsentationen legt. Das "Deep in Deep Learning" ist kein Hinweis auf irgendeine Art von tieferem Verständnis, das durch den Ansatz erreicht wird; es steht vielmehr für diese Idee von aufeinanderfolgenden Schichten von Repräsentationen. Wie viele Schichten zu einem Modell der Daten beitragen, nennt man die Tiefe des Modells. Andere geeignete Bezeichnungen für das Feld könnten geschichtete Repräsentationen Lernen und hierarchische Repräsentationen Lernen gewesen sein. Modernes Tiefenlernen beinhaltet oft Dutzende oder sogar Hunderte von aufeinanderfolgenden Schichten von Repräsentationen - und sie werden alle automatisch durch die Exposition gegenüber Trainingsdaten gelernt. Andere Ansätze des maschinellen Lernens neigen dazu, sich auf das Lernen von nur einer oder zwei Schichten von Datenrepräsentationen zu konzentrieren; daher werden sie manchmal als oberflächliches Lernen bezeichnet.

Beim tiefen Lernen werden diese geschichteten Darstellungen (fast immer) über Modelle gelernt, die als neuronale Netze bezeichnet werden und in buchstäbliche, übereinander gestapelte Schichten strukturiert sind. Der Begriff Neuronale Netze ist eine Referenz auf die Neurobiologie, aber obwohl einige der zentralen Konzepte beim Tiefenlernen zum Teil durch die Inspiration unseres Verständnisses des Gehirns entwickelt wurden, sind die Modelle des Tiefenlernens keine Modelle des Gehirns. Es gibt keine Beweise dafür, dass das Gehirn so etwas wie die Lernmechanismen, die in modernen Tiefenlernmodellen verwendet werden, implementiert. Sie werden vielleicht auf popwissenschaftliche Artikel stoßen, in denen verkündet wird, dass Tiefenlernen wie das Gehirn funktioniert oder nach dem Gehirn modelliert wurde, aber das ist nicht der Fall. Es wäre verwirrend und kontraproduktiv für Neueinsteiger in diesem Bereich, das tiefe Lernen in irgendeiner Weise mit der Neurobiologie in Verbindung zu bringen; man braucht nicht das Leichentuch der Mystik und des Geheimnisses "genau wie unser Verstand", und man kann genauso gut alles vergessen, was man über hypothetische Verbindungen zwischen tiefem Lernen und Biologie gelesen hat. Für unsere Zwecke ist tiefes Lernen ein mathematischer Rahmen für das Lernen von Darstellungen aus Daten.

deeplearning4.png

Wie sehen die von einem tief lernenden Algorithmus gelernten Darstellungen aus? Untersuchen wir, wie ein Netzwerk mehrere Schichten tief (siehe Abbildung 1.5) ein Bild einer Ziffer transformiert, um zu erkennen, um welche Ziffer es sich handelt.

Wie Sie in Abbildung 1.6 sehen können, wandelt das Netzwerk das Bild einer Ziffer in Darstellungen um, die sich immer mehr vom Originalbild unterscheiden und immer aussagekräftiger über das Endergebnis sind. Man kann sich ein tiefes Netzwerk als eine mehrstufige Informationsdestillation vorstellen, bei der die Informationen nacheinander gefiltert werden und zunehmend aufbereitet (d.h. nützlich für eine bestimmte Aufgabe) herauskommen.

deeplearning5.png

Das ist es also, was tiefes Lernen technisch gesehen ist: eine mehrstufige Art und Weise, Datenrepräsentationen zu lernen. Es ist eine einfache Idee - aber wie sich herausstellt, können sehr einfache Mechanismen, ausreichend skaliert, am Ende wie Magie aussehen.

1.1.5 Verstehen, wie tiefes Lernen funktioniert, in drei Zahlen

An diesem Punkt wissen Sie, dass es beim maschinellen Lernen darum geht, Eingaben (wie z.B. Bilder) auf Ziele (wie z.B. die Bezeichnung "Katze") abzubilden, was durch die Beobachtung vieler Beispiele von Eingaben und Zielen geschieht. Sie wissen auch, dass tiefe neuronale Netze dieses Input-zu-Ziel-Mapping über eine tiefe Sequenz von einfachen Datentransformationen (Schichten) durchführen und dass diese Datentransformationen durch die Beobachtung von Beispielen gelernt werden. Schauen wir uns nun an, wie dieses Lernen konkret geschieht. Die Spezifikation, was eine Schicht mit ihren Eingabedaten macht, wird in den Gewichten der Schicht gespeichert, die im Wesentlichen ein Bündel von Zahlen sind. Technisch ausgedrückt würden wir sagen, dass die von einer Schicht implementierte Transformation durch ihre Gewichte parametrisiert wird (siehe Abbildung 1.7). (Gewichte werden manchmal auch als Parameter einer Schicht bezeichnet.) In diesem Zusammenhang bedeutet Lernen, einen Satz von Werten für die Gewichte aller Schichten in einem Netzwerk zu finden, so dass das Netzwerk die Beispieleingaben korrekt auf die zugehörigen Ziele abbildet. Aber die Sache ist die: Ein tiefes neuronales Netz kann mehrere zehn Millionen Parameter enthalten. Den richtigen Wert für alle zu finden, mag als eine gewaltige Aufgabe erscheinen, besonders wenn man bedenkt, dass die Änderung des Wertes eines Parameters das Verhalten aller anderen beeinflusst!

deeplearning6.png 1.7

Um etwas zu kontrollieren, muss man zunächst einmal in der Lage sein, es zu beobachten. Um die Ausgabe eines neuronalen Netzes zu kontrollieren, müssen Sie messen können, wie weit diese Ausgabe von dem abweicht, was Sie erwartet haben. Dies ist die Aufgabe der Verlustfunktion des Netzes, auch Zielfunktion genannt. Die Verlustfunktion nimmt die Vorhersagen des Netzes und des wahren Ziels (was Sie vom Netz ausgeben wollten) und berechnet einen Entfernungsscore, der erfasst, wie gut das Netz in diesem speziellen Beispiel abgeschnitten hat (siehe Abbildung 1.8).

deeplearning7.png 1.8

Der grundlegende Trick beim Tiefenlernen besteht darin, diesen Score als Rückkopplungssignal zu verwenden, um den Wert der Gewichte ein wenig in eine Richtung anzupassen, die den Distanzscore für das aktuelle Beispiel senkt (siehe Abbildung 1.9). Diese Anpassung ist die Aufgabe des Optimierers, der den so genannten Backpropagation-Algorithmus implementiert: den zentralen Algorithmus beim tiefen Lernen. Im nächsten Kapitel wird die Funktionsweise der Backpropagation näher erläutert.

deeplearning8.png 1.9

Die Gewichte des Netzes werden zunächst mit Zufallswerten belegt, so dass das Netz lediglich eine Reihe von zufälligen Transformationen durchführt. Natürlich ist sein Output weit von dem entfernt, was er idealerweise sein sollte, und die Verlustpunktzahl ist dementsprechend sehr hoch. Aber bei jedem Beispiel, das das Netz verarbeitet, werden die Gewichte ein wenig in die richtige Richtung angepasst, und die Verlustpunktzahl sinkt. Dies ist die Trainingsschleife, die, ausreichend oft wiederholt (typischerweise zehnmalige Iterationen über Tausende von Beispielen), Gewichtswerte liefert, die die Verlustfunktion minimieren. Ein Netzwerk mit einem minimalen Verlust ist ein Netzwerk, bei dem die Ausgänge so nah wie möglich an den Zielen liegen: ein trainiertes Netzwerk. Auch hier handelt es sich um einen einfachen Mechanismus, der, einmal skaliert, am Ende wie Magie aussieht.

1.1.6 Was tiefes Lernen bisher erreicht hat</p>

<p>Obwohl tiefes Lernen ein ziemlich altes Teilgebiet des maschinellen Lernens ist, ist es erst Anfang 2010 in den Vordergrund getreten. In den wenigen Jahren seither hat es eine Revolution in diesem Bereich erreicht, mit bemerkenswerten Ergebnissen bei Wahrnehmungsproblemen wie Seh- und Hörproblemen, bei denen es sich um Fähigkeiten handelt, die dem Menschen natürlich und intuitiv erscheinen, die aber für Maschinen lange Zeit schwer fassbar waren.</p>

<p>Insbesondere hat das Tiefenlernen die folgenden Durchbrüche erzielt, alle in historisch schwierigen Bereichen des maschinellen Lernens:</p>

<p>Klassifizierung von Bildern auf der Ebene der nahen Menschen
- Nah-menschliche Spracherkennung
- Nahezu menschenähnliche Handschrifttranskription
- Verbesserte maschinelle Übersetzung
- Verbesserte Text-zu-Sprache-Konvertierung
- Digitale Assistenten wie Google Now und Amazon Alexa
- Nahezu menschenwürdiges autonomes Fahren
- Verbessertes Ad-Targeting, wie es von Google, Baidu und Bing verwendet wird
- Verbesserte Suchergebnisse im Web
- Fähigkeit, natürlichsprachliche Fragen zu beantworten
- Übermenschliches Go-Spiel

Wir erforschen noch immer das volle Ausmaß dessen, was tiefes Lernen bewirken kann. Wir haben begonnen, es auf eine Vielzahl von Problemen außerhalb der maschinellen Wahrnehmung und des natürlichsprachlichen Verständnisses anzuwenden, wie z.B. formales Denken. Wenn es gelingt, könnte dies ein Zeitalter einläuten, in dem tiefes Lernen den Menschen in der Wissenschaft, der Softwareentwicklung und mehr unterstützt.

1.1.7 Glauben Sie nicht dem kurzfristigen Hype

Auch wenn das tiefe Lernen in den letzten Jahren zu bemerkenswerten Erfolgen geführt hat, sind die Erwartungen an das, was die Branche im nächsten Jahrzehnt erreichen kann, tendenziell viel höher als das, was wahrscheinlich möglich sein wird. Obwohl einige weltbewegende Anwendungen wie autonome Autos bereits in Reichweite sind, werden viele weitere wahrscheinlich für lange Zeit unerreichbar bleiben, wie z.B. glaubwürdige Dialogsysteme, maschinelle Übersetzung auf menschlicher Ebene in beliebige Sprachen und das Verstehen natürlicher Sprache auf menschlicher Ebene. Insbesondere die Rede von allgemeiner Intelligenz auf menschlicher Ebene sollte nicht zu ernst genommen werden. Das Risiko bei hohen kurzfristigen Erwartungen besteht darin, dass die Forschungsinvestitionen aufgrund der mangelnden technologischen Leistungsfähigkeit versiegen und der Fortschritt lange Zeit gebremst wird.

Das ist schon mal passiert. Zweimal in der Vergangenheit durchlief AI einen Zyklus von intensivem Optimismus, gefolgt von Enttäuschung und Skepsis, mit einem Mangel an Finanzierung als Folge. Es begann mit der symbolischen KI in den 1960er Jahren. In diesen frühen Tagen waren die Prognosen über die KI sehr hoch. Einer der bekanntesten Pioniere und Befürworter der symbolischen KI war Marvin Minsky, der 1967 behauptete: "Innerhalb einer Generation ... wird das Problem der Schaffung von 'künstlicher Intelligenz' im Wesentlichen gelöst sein". Drei Jahre später, 1970, machte er eine genauere quantitative Vorhersage: "In drei bis acht Jahren werden wir eine Maschine mit der allgemeinen Intelligenz eines Durchschnittsmenschen haben." Im Jahr 2016 scheint eine solche Errungenschaft noch weit in der Zukunft zu liegen - so weit, dass wir nicht vorhersagen können, wie lange es dauern wird -, aber in den 1960er und frühen 1970er Jahren glaubten mehrere Experten, dass sie (wie viele Menschen heute) kurz vor der Tür steht. Einige Jahre später, als sich diese hohen Erwartungen nicht erfüllten, wendeten sich Forscher und Regierungsgelder vom Feld ab, was den Beginn des ersten KI-Winters markierte (ein Hinweis auf einen nuklearen Winter, da dieser kurz nach dem Höhepunkt des Kalten Krieges stattfand).

Es würde nicht der letzte sein. In den 1980er Jahren begann eine neue Art der symbolischen KI, die Expertensysteme, bei den großen Unternehmen an Bedeutung zu gewinnen. Einige erste Erfolgsgeschichten lösten eine Investitionswelle aus, bei der Unternehmen weltweit eigene KI-Abteilungen zur Entwicklung von Expertensystemen gründeten. Um 1985 gaben die Unternehmen jährlich über 1 Milliarde für diese Technologie aus, aber Anfang der 90er Jahre erwiesen sich diese Systeme als teuer in der Wartung, schwierig zu skalieren und in ihrem Umfang begrenzt, und das Interesse ging zurück. So begann der zweite KI-Winter.

Vielleicht erleben wir gerade den dritten Zyklus des KI-Hypes und der Enttäuschung - und wir befinden uns noch immer in der Phase des intensiven Optimismus. Am besten ist es, unsere Erwartungen kurzfristig zu mäßigen und sicherzustellen, dass Menschen, die mit der technischen Seite des Feldes weniger vertraut sind, eine klare Vorstellung davon haben, was tiefes Lernen bringen kann und was nicht.

1.1.8 Das Versprechen der KI

Auch wenn wir kurzfristig unrealistische Erwartungen an die KI haben mögen, sieht das langfristige Bild positiv aus. Wir fangen gerade erst an, tiefes Lernen auf viele wichtige Probleme anzuwenden, für die es sich als transformativ erweisen könnte, von medizinischen Diagnosen bis hin zu digitalen Assistenten. Die KI-Forschung ist in den letzten fünf Jahren erstaunlich schnell vorangekommen, was zum großen Teil auf ein in der kurzen Geschichte der KI noch nie dagewesenes Finanzierungsniveau zurückzuführen ist, aber bisher hat relativ wenig von diesem Fortschritt Eingang in die Produkte und Prozesse gefunden, die unsere Welt prägen. Die meisten Forschungsergebnisse des tiefen Lernens werden noch nicht oder nicht in der ganzen Bandbreite der Probleme angewendet, die sie branchenübergreifend lösen können. Ihr Arzt verwendet noch keine KI, und Ihr Buchhalter auch nicht. Wahrscheinlich verwenden Sie KI-Technologien nicht in Ihrem täglichen Leben. Natürlich können Sie Ihrem Smartphone einfache Fragen stellen und vernünftige Antworten erhalten, Sie können ziemlich nützliche Produktempfehlungen auf Amazon.com erhalten, und Sie können nach "Geburtstag" auf Google Photos suchen und sofort die Bilder der Geburtstagsparty Ihrer Tochter vom letzten Monat finden. Das ist weit davon entfernt, wo solche Technologien früher standen. Aber solche Tools sind immer noch nur Zubehör für unser tägliches Leben. Die KI ist noch nicht dazu übergegangen, eine zentrale Rolle in der Art und Weise zu spielen, wie wir arbeiten, denken und leben.

Im Moment mag es schwer zu glauben scheinen, dass KI einen großen Einfluss auf unsere Welt haben könnte, da sie noch nicht weit verbreitet ist - so wie es 1995 schwierig gewesen wäre, an die zukünftigen Auswirkungen des Internets zu glauben. Damals sahen die meisten Menschen nicht, wie das Internet für sie relevant war und wie es ihr Leben verändern würde. Dasselbe gilt für das tiefe Lernen und die KI heute. Aber machen Sie keinen Fehler: Die KI kommt. In einer nicht allzu fernen Zukunft wird die KI Ihr Assistent, sogar Ihr Freund sein; sie wird Ihre Fragen beantworten, Ihre Kinder erziehen helfen und über Ihre Gesundheit wachen. Es liefert Ihnen Ihre Einkäufe bis vor die Tür und fährt Sie von Punkt A nach Punkt B. Es ist Ihre Schnittstelle zu einer immer komplexeren und informationsintensiven Welt. Und, was noch wichtiger ist, die KI wird der Menschheit als Ganzes helfen, sich vorwärts zu bewegen, indem sie die Humanwissenschaftler bei neuen bahnbrechenden Entdeckungen in allen wissenschaftlichen Bereichen, von der Genomik bis zur Mathematik, unterstützt.

Auf dem Weg dorthin werden wir vielleicht einige Rückschläge und vielleicht einen neuen KI-Winter erleben - ähnlich wie die Internetindustrie 1998-1999 übertrieben wurde und unter einem Crash litt, der die Investitionen in den frühen 2000er Jahren versiegen ließ. Aber wir werden es irgendwann schaffen. Die KI wird am Ende auf fast jeden Prozess angewendet werden, der unsere Gesellschaft und unser tägliches Leben ausmacht, ähnlich wie das Internet heute.

Glauben Sie nicht an den kurzfristigen Hype, aber glauben Sie an die langfristige Vision. Es kann eine Weile dauern, bis die KI ihr wahres Potenzial entfaltet - ein Potenzial, von dem bisher noch niemand zu träumen gewagt hat - aber KI kommt und wird unsere Welt auf fantastische Weise verändern.

1.2 Vor dem tiefen Lernen: eine kurze Geschichte des maschinellen Lernens

Tiefes Lernen hat ein Niveau an öffentlicher Aufmerksamkeit und Investitionen der Industrie erreicht, das in der Geschichte der KI noch nie zuvor gesehen wurde, aber es ist nicht die erste erfolgreiche Form des maschinellen Lernens. Man kann mit Sicherheit sagen, dass die meisten der heute in der Industrie verwendeten Algorithmen für maschinelles Lernen keine Deep-Learning-Algorithmen sind. Tiefes Lernen ist nicht immer das richtige Werkzeug für die Arbeit - manchmal gibt es nicht genug Daten, um tiefes Lernen anzuwenden, und manchmal wird das Problem besser durch einen anderen Algorithmus gelöst. Wenn das tiefe Lernen Ihr erster Kontakt mit dem maschinellen Lernen ist, dann können Sie sich in einer Situation wiederfinden, in der Sie nur noch den Hammer für das tiefe Lernen haben und jedes Problem des maschinellen Lernens beginnt wie ein Nagel auszusehen. Die einzige Möglichkeit, nicht in diese Falle zu tappen, ist, andere Ansätze zu kennen und sie gegebenenfalls zu üben.









-->

<br>&nbsp;
<br>&nbsp;

</body>
</html>