…erreicht nanoGPT durch Aufmerksamkeit, … Aufmerksamkeit (engl.: Attention) ist ein 2017 von einem Team um Google Brain vorgeschlagenes Konzept, um diese Verständnishierarchie von Wörtern und Sätzen gar nicht erst aufbauen zu müssen. Sie ist die Schlüsselinnovation der Transformer-Modelle und damit auch der GPT-Familie. Aufmerksamkeit ist ein sehr mächtiges Werkzeug, etwas, das—so mutmasst Karpathy im Video—den Autoren zum Zeitpunkt der Publikation wahrscheinlich gar nicht bewusst gewesen sei.

Als Aufmerksamkeit bezeichne ich eine in die Rezeption projizierte Focusierung, die ich als Beobachter leiste, wenn ich bestimmte Gegenstände oder Zustände im Vordergrund halte.
In der elementarsten Form ist Aufmerksamkeit das Realisieren von "Dasselbe". Ich verbinde dabei zwei Wahrnehmungen so, dass ich etwas als dasselbe wiedererkenne. Ein anschauliches Beispiel dafür ist die Objektpermanenz, bei welcher ich meine Aufmerksamkeit auf Objekte richte, die erst durch diese Aufmerksamkeit zu Objekten werden.

Erläuterung:
Mit einem Fotoapparat zeichne ich eine Lichtverteilung auf, in welcher jeder Vordergrund aufgehoben ist. Bildlich gesprochen (siehe dazu unten S. Ceccato) kann der Fotoapparat keine Gegenstände unterscheiden und soweit mein Auge als Kamera fungiert, habe ich auf der Retina eine Art Fotographie. Wenn ich ein Foto anschaue, sehe ich aber nicht die Farb- oder Lichtverteilung, die auch dann auf meine Retina fällt, sondern Objekte, die ich erkenne, weil ich die Objekthaftigkeit meiner Welt kenne, weil ich sie mir angeeignet habe.

Meine Aufmerksamkeit beziehe ich in diesem Sinne auf einzelne Objekte ODER eben gerade nicht.

Aufmerksamkeit wird in der Psychologie sehr vage umschrieben. Die Gestaltpsychologie negiert die Aufmerksamkeit als eigenständigen Prozess. P. Galperin betrachtete die Aufmerksamkeit als eine besondere Form der psychischen Tätigkeit, nämlich als Kontrolltätigkeit, die den Vollzug geistiger Handlungen steuert. "Aufmerksamkeit ist die Zuweisung von (beschränkten) Bewusstseins­ressourcen auf Bewusstseinsinhalte, beispielsweise auf Wahrnehmungen der Umwelt oder des eigenen Verhaltens und Handelns, sowie Gedanken und Gefühle. Als Mass für die Intensität und Dauer der Aufmerksamkeit gilt die Konzentration (Bleuler 1916/1983). Aufmerksamkeit, die auf das Eintreffen bestimmter Ereignisse gerichtet ist, bezeichnet man als Vigilanz. Apperzeption bedeutet die klare und bewusste Aufnahme des jeweiligen Inhaltes eines Erlebnisses, einer Wahrnehmung oder eines Denkens. Im Unterschied zur Perzeption hat Leibniz den Begriff Apperzeption für den seelischen Vorgang geprägt, durch den sinnlich Gegebenes mittels Aufmerksamkeit und Gedächtnis aufgefasst, angeeignet, ins Bewusstsein erhoben und in einen Bewusstseinszusammenhang eingeordnet wird.

S. Ceccato gibt ein - in vielen Hinsichten - interessantes Beispiel: Er analysiert die Operationen bei der Wahrnehmung einer (gedehnten Kreis-)Figur. Man kann eine Tischplatte von oben sehen, wenn man alles, was innerhalb der gezeichneten Linie als Vordergrund auffasst, oder eine Fenster, wenn man alles, was ausserhalb der Linie ist als Vordergrund auffasst, oder ein Kettenglied, wenn man die Linie selbst als Vordergrund auffasst. Normalerweise - also jenseits der Experimente der der Gestaltpsychologie - sehe ich keine Strichzeichnungen, sondern Tischplatten oder Fenster.

S. Ceccato bezeichnet als Aufmerksamkeit einen kybernetischen Mechanismus (Fragmente eines Vortrag über Ceccato), der eine bestimmte Operation repräsentiert. Er beschreibt dazu - quasi negativ - einen Mechanismus, der keine Aufmerksamkeit hat.
Sein Beispiel ist ein Fotoapparat, der (noch) keine Gegenstände unterscheidet, sondern wie ein Spiegel "funktioniert". Ein aufmerksamer Mechanismus nimmt einzelne Gegenstände - beispielsweise vor einem Hintergund - wahr. Dazu muss der Mechanismus über Kategorien (oder Gestalten) verfügen. Moderne Kameras unterscheiden Vorder- und Hintergrund durch Distanzmessungen, also gerade nicht anhand von Kategorien, aber S. Ceccato erkannte erst das Problem, noch nicht die Lösung. Er hat auch bezüglich Übersetzungsautomaten in eine "falsche", jetzt nicht verwendete Richtung gedacht.

Interessant finde ich - auf mich selbst bezogen - vor allem die Problembeschreibung, nicht die Lösung. In gewisserweise bin ich die Lösung zu einem mir noch nicht bewussten Problem, weil meine Aufmerksamkeit vor ich S. Ceccato gelesen habe noch nicht dort war.
Sein Beispiel dafür ist: dass ich normalerweise wenn ich auf einem Stuhl sitze, weder den Stuhl noch meinen Körper spüre.
Und dieses Beispiel finde ich sehr interessant, weil es auch einen Unterschied einführt, der kybernetisch relevant ist: der Stuhl und der Körper "drücken" sich gegenseitig an demseben Ort, aber ich erlebe zwei sehr verschiedene "Gegenstände".
Beim Wahrnehmen - beispielsweise eines Stuhles - nehme ich den Stuhl als äusseres Korrelat einer mentalen Vorstellung wahr. Zu beidem habe ich einen Gedächtnisinhalt, aber sehr verschiedener Art.

Ein 4-Felder-Modell (von Nideffer nach Eberspächer):

Wir könne zwei Formen der Aufmerksamkeit unterscheiden (Tiwald, 1981 , 45f):
- über das operationale, lineare sprachlogische Denken (linke Gehirnhälfte) gesteuerte Aufmerksamkeit
- über das ganzheitliche Wahrnehmen (rechte Gehirnhälfte) gesteuerte Aufmerksamkeit
 
"Wird die Aufmerksamkeit vorwiegend durch Prozesse der linken Gehirnhälfte geführt, so wandert sie linear von einem begrenzten Ort zum anderen. Die volle Aufmerksamkeit wird dann jeweils auf ein begrenztes, definiertes Objekt gebündelt (...). Diese Aufmerksamkeit ist eingrenzend, bzw. ausgrenzend, und ihre Beweglichkeit ist daher bloss ein schnelles, ruckartiges Wandern nach bestimmten in der Erfahrung erlernten Wegen, die gleichsam als Vorurteil festgelegt und die Richtung des Wanderns bestimmen. Das gesamte Wahrnehmungsfeld wird durch diese Form der Aufmerksamkeit wie durch eine Maschine auf einem logischen und ökonomischen Weg abgetastet" (ebd). In dieser Art der Aufmerksamkeit entsteht auch der Ich-Wahn. "Mit diesem 'Ich-Wahn' ist gemeint, dass man sich selbst auch nicht mehr konkret ganzheitlich wahrnimmt, sondern nurmehr als ein begrenztes und definiertes 'Etwas' betrachtet, als eine von allem anderen isolierte und überdauernde Substanz. Diesem Bewusstseinsgebilde der linken Gehirnhälfte, diesem Ich-Wahn, setzen wir dann die ebenfalls definierten (isolierten) Objekte der Welt gegenüber. Die konkreten Objekte werden so zu Gegen-Ständen, die der ebenfalls gegen-ständlichen Ich-Vorstellung im Bewusstsein gegenüberstehen. (...) Wird nun der Ich-Wahn, bzw. die Dominanz der Ich-Vorstellung der linken Gehirnhälfte, überwunden, so erscheint einem auch die Welt anders. Sie erscheint einem unmittelbar und nicht mehr über Ich-Vorurteile gebrochen. (...) In dieser Form der Aufmerksamkeit, die vorwiegend von der Arbeitsweise der rechten Gehirnhälfte geprägt ist, wird nichts aus oder eingegrenzt, es wird nirgendwo 'angehangen'. Die Beweglichkeit dieser Aufmerksamkeit ist auch keine ruckartig wandernde mehr, die jeweils bei Stationen 'einhält', sondern die Aufmerksamkeit ist dann ganzheitlich und akzentuiert. Sie ist nicht mehr ein operationales Abtasten, sondern eine Art Widerspiegelung. Es gibt in dieser Form der Aufmerksamkeit auch keine dominierende Ich-Vorstellung, die als eingegrenzter Bezirk ausgegrenzte Gegen-Stände auf sich bezieht, ständig hin und her springt, eitle oder ängstliche Vorurteile fasst" (ebd).