| 1. ábra A hírközlési rendszerek információelméleti modellje
Amint az 1. ábráról leolvasható, a kommunikációs rendszer egyik oldalán található az információforrás, a kódoló és az adóberendezés, a másik oldalon található a vevőberendezés, a dekódoló és a felhasználó. A két oldalt a jeleket továbbító csatorna köti össze. A csatornában haladó jelekre sajnos mindig hatnak zajok, amelyek megnehezítik, vagy akár lehetetlenné tehetik az információátvitelt.
Az információ fogalmát Shannon egységes matematikai elmélet keretében összekapcsolta a valószínűség fogalmával. Megállapította, hogy minden hírközlés statisztikus jellegű, s az információ kérdései a valószínűségszámítás módszereivel tárgyalhatók. Valamilyen hír, üzenet közlését a szó valószínűségszámítási értelmében vett eseményként tárgyalhatjuk, s minden esemény üzenetet, információt hordoz. A forrás vagy adó a véletlen kísérlet eseményterével analóg fogalom, azaz a hírforrás - a vevő szempontjából - egy véletlen kimenetelű kísérlet eseményteréhez tartozó lehetséges események összessége. A kísérlet minden egyes kimenetele megfelel a forrás egy elemi kimenetelének, amit jelnek nevezünk.
Mi határozza meg egy esemény, egy hír információtartalmát?
Saját tapasztalatunkból tudjuk - s ebben az esetben a szubjektív tapasztalat tökéletesen megegyezik az objektív törvényekkel -, hogy minél váratlanabb egy esemény, annál több információt hordoz. A váratlanság pedig a valószínűséggel fordítottan arányos. Ha egy esemény bekövetkezése biztos, tehát valószínűsége p=1, semmiféle információt nem szolgáltat. Kisebb valószínűségű esemény bekövetkezése több információt nyújt. Matematikai formában felírva:
Az x jel által hordozott információ tehát x előfordulásának valószínűségétől függ:
Ahhoz, hogy ennek a függvénynek a konkrét alakját megkapjuk, figyelembe kell vennünk az információ néhány természetes tulajdonságát. Ha két, egymástól független esemény bekövetkezését figyeljük meg, az általuk nyújtott információk összeadódnak. Az információnak ezt a tulajdonságát additivitásnak nevezzük:
A valószínűségszámításból tudjuk azonban, hogy két független esemény bekövetkezésének valószínűsége egyenlő valószínűségeik szorzatával:
Az [p(x)] függvénynek ahhoz, hogy az additivitás követelményének eleget tegyen, logaritmusfüggvénynek kell lennie. A logaritmusfüggvény ugyanis két szám szorzatához logaritmusaik összegét rendeli:
Ha az információmennyiség egységét úgy választjuk meg, hogy akkor nyerjünk egységnyi információt, amikor mindössze két egyformán valószínű esemény valamelyikére számíthatunk, és ezek közül az egyik bekövetkezik, például a klasszikus fej vagy írás játékban egy dobáskor, azaz az egyszerű alternatíva esetén:
akkor a logaritmusfüggvényben kettesalapú logaritmust kell választanunk. Az információmennyiségnek ezt az egységét nevezzük Tukey javaslatára bitnek, a binary digit unit rövidítéséből.
A fentiekből következik, hogy a (8) függvény konkrét alakja az x jel megjelenésekor kapott információmennyiség kifejezése:
vagy
mivel pedig a matematikai információelméletben majdnem mindig a kettesalapú logaritmust használjuk, ezentúl log2 helyett csak log-ot fogunk írni.
Kiválasztásakor úgy tűnt, hogy a kettesalapú logaritmusnak elméleti szempontból nincs kitüntetett szerepe, s csupán gyakorlati megfontolások tették “kitüntetetté”. (Hartley, mint láttuk, a tízes alapú logaritmust választotta.) Később azonban kiderült - erre majd még többször fogunk a megfelelő helyeken utalni - hogy a természetben nagyon sok jelenségnek bináris jellege van, s így a kettes alap választása nagyon szerencsés volt.
Az esemény, amint láttuk, annál több információt szolgáltat, minél kisebb a valószínűsége. Ebből logikusan az következik, hogy amint a valószínűség közeledik a 0-hoz, az információmennyiség közeledik a végtelenhez, s a 0 valószínűségű eseménynek az információtartalma végtelen nagy. Ez természetesen értelmetlenség. Egy esemény, amely nem következik be, nem szolgáltathat információt. Ezért megegyezés szerint
A kommunikációs folyamatokban nem egyedi események zajlanak le. Olyan csatornán, amelynek csak egyetlen lehetséges állapota van, nem lehetne információt továbbítani. Minimálisan két állapot szükséges: az egyiket jelnek tekintjük, a másikat a jel hiányaként fogjuk fel. A hírközlés lényege ugyanis, hogy az adó a jelkészletből jeleket választ ki, s azokból állítja össze különböző hosszúságú üzeneteit. Úgy is fogalmazhatnánk, hogy a jeleket sorokba rendezi. A jelek egymásutánja, az elrendezés, a konfiguráció, a rendezettség reprezentálja az információt. Az elrendezés lehet időbeli, például a beszédhangok, de lehet térbeli is, például az írás betűi.
A készletben előforduló jeleket az előbbiekben egy teljes eseménytér “atomjaival” (elemi események) azonosítottuk, amelyekben az xk = {xk} elemi események halmazára meg a pk = p(Xk) valószínűségekre teljesül az alábbi két egyenlőség:
ahol a biztos esemény, vagyis az összes lehetséges kimenetel (jel) halmaza.
Mivel Shannon elméletét véges, diszkrét, teljes eloszlásra dolgozta ki, N csak jól meghatározott (1-nél nagyobb) természetes szám lehet.
Az információmennyiség, amelyet az üzenet (= elemi események sorozata) szolgáltat, az egyes jelek által hordozott információmennyiségek összegéből adódik. A hírközlésben nem úgy járnak el, hogy összeadják az egyes jelek információtartalmát, hanem kiszámítják az egész jelrendszerre a jelenként közepes információmennyiséget, s ezzel az átlaggal számolnak. Mivel a jelek általában különböző valószínűséggel fordulnak elő, az átlag kiszámításánál súlyozni kell:
Az üzenet soron következő jelének várható (átlagos) hozzájárulása az üzenet információtartalmához:
Ezt az értéket nevezte el Shannon formai analógia alapján - Neumann János javaslatára - a {p1,p2, ... pn} valószínűségeloszlás entrópiájának. Erről egyelőre csak annyit, hogy az entrópia tulajdonképpen úgy fogható fel, mint a bizonytalanság mértéke, amelyet azzal az információval mérünk, amely szükséges a megszüntetéséhez.
Vegyük szemügyre az entrópiafüggvény néhány tulajdonságát.
1. H az elemi függvények összege; ezek csak a pi változótól függenek és folytonosak.
2. Az értékének változását a pi függvényében a 2. ábra mutatja. Láthatjuk, hogy amikor a , akkor a függvény értéke 0-hoz tart. Ez azt jelenti, hogy a be nem következett események (valószínűségük 0) és a biztosan bekövetkező események (valószínűségük 1) nem szolgáltatnak információt.
3. Ha az egyes jelek valószínűsége egyenlő, akkor az entrópia képlete a következőképpen alakul:
Azonnal észrevesszük, hogy ez nem más, mint Hartley képlete, amely ilyenformán az általános shannoni egyenlet sajátos esete.
(11 és 12) összevetésével kimutatható, hogy az adott jelkészlet entrópiája (valamint a továbbítható rögzített hosszúságú üzenetek információtartalma) akkor maximális, ha a jelek mind egyenlő valószínűséggel fordulnak elő. Ha nem, az entrópia ennél az értéknél kisebb.
|
