[ zurück ]      [ Stichworte ]      [ Die Hyper-Bibliothek ]      [ Systemtheorie ]         [ Meine Bücher ]         [ Meine Blogs ]

Der Ausdruck "Informationstheorie" wird oft quasi synonym zu "Kommunikationstheorie", insbesondere jener von C. Shannon verwendet (obwohl Information und Kommunikation sehr selten synonym aufgefasst wird).   "Informationstheorie" bezeichnet dann (keine Theorie i. e S., sondern) eine sozialwissenschaftliche Lehre, die mit der Lehre von C. Shannon nichts zu tun hat.

Informationstheorie C. Shannon G. Bateson

Die Theorie von C. Shannonen (die keine Theorie i. e S. ist) ist mathematische oder technische Lehre, die sich mit der Quantifizierung von Signalübertragung beschäftigt und von C. Shannon eben als "Kommunikationstheorie" bezeichnet wurde. In der "Kommunikationstheorie" von C. Shannon kommt der Begriff Information nicht vor, dort wird von einem Informationsgehalt gesprochen.

Viel Verwirrung beruht auf dem Vorwort von W. Weaver, der schreibt, man könne das Konzept von C. Shannon auch auf Sprache anwenden.
W. Weaver ignoriert, dass C. Shannon über Technik schreibt und Bedeutung explizit ausschliesst. Viele Jahre später kann seine damalige, naive Auffassung über statistische Verteilungen als Vorwegnahmen des LLMs gelesen werden. Er wird allerdings - so weit ich sehen kann - nie entsprechend zitiert.

C. Shannon behandelt Begrenzungen der Kanalkapazität. Menschen haben keine Kanalkapazität, sie haben andere Begrenzungen.

Literatur

Mahner: Warum Shannons "Informationstheorie" keine Informationstheorie ist.

"Auch dort, wo die Informationstheorie zugestehen muss, dass die formalisierte Sprache immer wieder auf die >>natürliche Sprache<< zurückverwiesen werde, um durch die nicht formalisierte Sprache die Sage des technischen Bestandes zur Sprache zu bringen, bezeichnet dieser Umstand für die gängige Selbstauslegung der Informationstheorie nur ein vorläufiges Stadium. Denn die >>natürliche Sprache<<, von der hier die Rede sein muss, wird im voraus als die noch nicht formalisierte, jedoch als in die Formalisierung bestellte Sprache angesetzt. Die Formalisierung, die rechnerische Bestellbarkeit des Sagens, ist das Ziel und die Massgabe. (...) Die Informationstheorie begreift das Natürliche als den Mangel an Formalisierung" (M. Heidegger, 2003:263).
[es wäre sehr interessant zu wissen, worauf sich M. Heideger mit Informationstheorie bezieht, am ehesten auf seine eigene Interpretation der Komuikationstheorie von C. Shannon].

Wikipedia - Common sense bunt aufgemischt:

Die Informationstheorie ist eine mathematische Theorie aus dem Bereich der Wahrscheinlichkeitstheorie und Statistik, die auf Claude Shannon zurückgeht. Sie beschäftigt sich mit Begriffen wie Information, Entropie, Informationsübertragung, Datenkompression, Kodierung, Kryptographie, Komplexitätstheorie und verwandten Themen. Neben der Mathematik, Informatik und Nachrichtentechnik wird die theoretische Betrachtung von Kommunikation durch die Informationstheorie auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen (Medien in der Publizistik, Nervensystem in der Neurologie, DNA und Proteinsequenzen in der Molekularbiologie, Wissen in der Informationswissenschaft und Dokumentation) etc. eingesetzt. Die Shannonsche Theorie verwendet den Begriff der Entropie, um die Informationsdichte von Nachrichten zu charakterisieren. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Geschichte Vor allem Claude Elwood Shannon lieferte in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der Datenübertragung und der Wahrscheinlichkeitstheorie. Er fragte sich, wie man eine verlustfreie Datenübertragung über elektronische (heute auch optische) Kanäle sicherstellen kann. Dabei geht es insbesondere darum, die Datensignale vom Hintergrundrauschen zu trennen. Außerdem versucht man, während der Übertragung aufgetretene Fehler zu erkennen und zu korrigieren. Dazu ist es notwendig, redundante (d.h. überflüssige) Daten mitzusenden, um dem Datenempfänger eine Datenverifikation oder Datenkorrektur zu ermöglichen. Shannon selbst bezeichnet sein Werk als eine „mathematische Theorie der Kommunikation“. Er schließt semantische Aspekte der Information, also Aussagen über den „Inhalt“ übertragener Nachrichten ausdrücklich aus. Dies bedeutet, dass eine „sinnvolle“ Botschaft ebenso gewissenhaft übertragen wird wie eine zufällige Folge von Buchstaben. Obwohl die Shannon-Theorie üblicherweise als „Informationstheorie“ bezeichnet wird, macht sie also keine direkte Aussage über den Informationsgehalt von übertragenen Botschaften.

C. Shannon macht nicht keine Aussagen über den Informationsgehalt, sondern NUR Aussagen über den Informationsgehalt. Im Wikiedia-Artikel verschwimmen die verschiedenen Auffassungen zu Information auf eine ganz typische Weise - eben mangels Theorie.