AA
|
BA
|
CA
|
AB
|
BB
|
CB
|
AC
|
BC
|
CC
|
Ha a jelkészlet jeleinek száma N és az üzenetek n jelből állnak, ebből Nn számú különböző üzenet állítható össze. A megkülönböztethető üzenetek száma tehát hosszukkal exponenciálisan nő.
Vajon az Nn szám alkalmas-e az információ mérésére?
Hartley szellemes megjegyzése szerint az életben előfordulhatnak olyan kommunikációs helyzetek, amelyekben egy közlés információtartalmát egy újabb jel hozzáadásával exponenciálisan növelni lehet - például egy heves vita végén hirtelen odavágott igen vagy nem - de ez csak az emberek között fordulhat elő. A hírközlő rendszerekben az információmennyiség lineárisan nő. Ezért az előbbi kifejezés közvetlenül nem használható az információ mérésére. Közvetve azonban igen.
Tételezzük fel, hogy az információmennyiség, amelyet az üzenet tartalmaz, arányos az üzenet hosszával (az üzenetet alkotó jelek n számával), s válasszunk egy olyan arányossági tényezőt, amely a különböző jelkészleteket felhasználó, azonos hosszúságú üzenetek információtartalmát összehasonlíthatóvá teszi, feltéve, hogy egy-egy készleten belül a jelek egyenrangúaknak tekinthetők:
H = információmennyiség
K = a jelkészlet jeleinek számától függő arányossági tényező
n = a jelek száma az üzenetben.
Vegyünk két jelkészletet, amelyekben a jelek száma N1 és N2 válasszuk meg a K1 és K2 állandót úgy, hogy amikor a lehetséges megkülönböztethető üzenetek száma a két rendszerben azonos, azaz
az üzenetben foglalt információmennyiség is azonos legyen:
Innen
a (2)-ből kapjuk, hogy
Ezt a (3)-ba helyettesítve:
Az arány csak akkor érvényes minden N-re, ha
Ahol K0 minden rendszerben azonos. S mivel K0-t tetszőlegesen választhatjuk meg, megfelelő alapú logaritmussal dolgozva el is hagyhatjuk, s a K-t az (1)-be behelyettesítve az információmennyiségre a következő értéket kapjuk:
Ha tízes alapú logaritmust használunk, mint ahogy Hartley tette, az információmennyiséget hartleyben kapjuk meg.
(Hartley az üzenetben foglalt információmennyiség jelölésére a H betűt alkalmazta, Shannon - mint látni fogjuk - a H-t más jelentéssel használta.)
Hartley nagyon helyesen fogalmazta meg az információmérés problémájának lényegét: ahhoz, hogy mérni lehessen az információt, figyelmen kívül kell hagyni a jelentését. Levezetése azonban a hírközlésnek csak egy speciális esetére érvényes. A problémát általános érvénnyel Shannon oldotta meg 20 évvel később. Ezért teljesen jogos a matematikai információelmélet megteremtését az ő nevéhez kapcsolni.
Claude E. Shannon 1916-ban született a Michigan állambeli Petoskeyben. A Michigan Egyetemen, majd a híres Massachusetts Institute of Technologyban végezte tanulmányait. Az információ mérésének kérdésével a 40-es évek elején kezdett foglalkozni, amikor mint kutató Princetonban, majd a Bell Telephon Laboratories keretében dolgozott. Később tevékenységét a MIT-en folytatta, mint meghívott előadó.
Shannon továbblépett az elvonatkoztatásnak, az absztrakciónak az útján, amelyen Hartley elindult. Megállapította, hogy minden kommunikációs folyamat leírható egy absztrakt modellel. Ez a modell később a kommunikáció jelképévé vált.
| 