| 2. ábra. Az f(p) értékének változása p függvényében
4. Ha két vagy több szimbólumot vagy elemi eseményt összevonunk és egy szimbólumnak vagy eseménynek tekintjük, a hozzájuk tartozó információfüggvény értéke egyenlő vagy kisebb lesz, mint a külön-külön vett függvények értékének összege:
ahol p1 és p2 az x1 és x2 esemény bekövetkezésének valószínűsége.
Ennek a tulajdonságnak a jelentősége majd az információelméleti és termodinamikai entrópia összefüggéseinek tárgyalásakor fog kiderülni.
Egy hírforrás jellemzésekor különbséget kell tenni a maximális és tényleges entrópia között. Az előbbi az az érték, amely a forrást jellemezné, ha a jelek egyenlő valószínűséggel fordulnak elő. A valóságos hírforrásokban azonban a jelek mindig eltérő valószínűséggel rendelkeznek, s emiatt a tényleges entrópia kisebb a maximálisnál. A kettő aránya a relatív entrópia. Különbségük pedig a rendszer belső entrópiája, az az információ, amellyel - az egyes jelek eltérő valószínűsége miatt - a priori rendelkezünk:
A belső entrópia hatása a rendszer teljesítőképességére olyan, mintha a jelek bizonyos hányada nem hordana információt. Ennek a hányadnak és a közvetített jelek teljes számának aránya, amely egyúttal a belső entrópia és az N jelt használó rendszer maximális entrópiájának (Hmax) aránya, az üzenet egyik fontos jellemzője: a redundancia (magyarul terjengősségnek is szokták nevezni):
Az információelmélet igen fontos fogalma ez. Az üzenet, ha redundáns, kevesebb információt tartalmaz, mint amennyit a jelek száma alapján tartalmazhatna. A jelenség egyik oka, amint fentebb láttuk, hogy a jelek előfordulási valószínűsége nem egyenlő. Akkor is csökken az üzenet információtartalma, ha közöttük valamilyen összefüggés van. Ha egy jel bekövetkezése függ az előző jeltől vagy jelektől, vagy ha a rendszernek valamely időpontban észlelt állapota függ a rendszernek a megelőző időszakokban észlelt állapotától, akkor a jel bekövetkezésére vonatkozólag már rendelkezünk bizonyos mennyiségű információval, megjelenése kevésbé váratlan, a rendszer redundanciája nagyobb lesz.
A magyar nyelvben például a szó eleji mássalhangzó után nagyobb a valószínűsége annak, hogy magánhangzó következik, és fordítva: a magánhangzó után nagyobb valószínűséggel következik mássalhangzó. A természetes nyelvek redundanciáját nagymértékben növelik a nyelvtani szabályok is.
A redundancia - majd látni fogjuk a csatornákról és a kódolásról szóló fejezetben - nagyon gyakran hasznos és szükséges.
A jelsorozatokkal kapcsolatban még két fogalommal találkozunk, a Markov-lánc és a stacionárius folyamat fogalmával.
Ha a rendszer állapotát bármely időpontban egy (vagy több) valószínűségi változó pillanatnyi értékével jellemezzük, és ha a rendszernek az előző állapotoktól való függése csak a közvetlenül megelőző észlelés eredményén keresztül érezteti hatását, azt mondjuk, hogy a valószínűségi változók sorozata Markov-láncot alkot.
Stacionáriusnak nevezzük azt a folyamatot, amelynek tulajdonságai nem függnek az időskála kezdőpontjának megválasztásától, azaz a folyamat szerkezete az időtől független.
Az előzőkben csak azzal az esetben foglalkoztunk, amelyben az információátvitel diszkrét jelekkel történik. Számos gyakorlati esetben azonban az információt folytonos jelekkel, pl. folytonos feszültséghullámokkal továbbítják, azaz a továbbított jel az idő folytonos függvénye egy véges intervallumban. Ebben az esetben a H függvény a következő alakot veszi fel:
ahol p(x) az x értékek valószínűségi eloszlásának a sűrűségfüggvénye (az eloszlás sűrűsége).
Egymástól különböző, de azonos szórású -jú eloszlási sűrűségek közül a Gauss-féle sűrűségfüggvény, vagyis a
biztosítja a maximális értéket.
A H függvény alaptulajdonságai ugyanolyan jellegűek, mint a diszkrét forrás entrópiafüggvényeinél említettek.
Shannon dolgozata nyomán nagyon sok matematikus érdeklődését felkeltette az információ, s a következő években, évtizedekben a matematikai információelmélet tovább bővült, fejlődött.
A. Ja. Hincsin, D. A. Fagyejev, A. N. Kolmogorov, B. Forte továbbfejlesztette, matematikailag kifogástalan alakra hozta Shannon levezetéseit. (Hincsin, 1953, 1956, Fagyejev, 1956, Kolmogorov, 1959, 1968, Forte, 1969).
Többen kidolgozták az információmennyiség más mértékeit. Rényi Alfréd például kidolgozta az -rendű információmértéket, amelynek sajátos esete Shannon elsőrendű információmértéke (Rényi, 1959, 1960). Ugyancsak Rényi számította ki a nem teljes eloszláshoz tartozó információmennyiséget. Ebben az esetben:
Az -rendű entrópia mértékét - Rényitől eltérő módon - M. Behara és P. Nath is meghatározta (Behara - Nath, 1973).
Shannon a valószínűség felől közelítette meg, s abból vezette le az információmennyiség mértékszámát. Több kutató azonban, abból a megfontolásból kiindulva, hogy a gyakorlatban sokszor jutunk különböző információkhoz valamely aleatorikus kísérletből, anélkül, hogy ismernénk valószínűségi eloszlását, megfordította a sorrendet: a valószínűség fogalmának kizárásával határozta meg az információt, s azután az információ felől közelítette meg a valószínűség fogalmát. R.S. Ingarden és K. Urbanik, majd J. Kampé de Fériet és B. Forte határozta meg valamely A esemény bekövetkezése által szolgáltatott információ mértékét Shannonnál általánosabban (Ingarden - Urbanik, 1962, Kampé de Fériet - Forte, 1967). Kolgomorov az információ algoritmikus elméletét, Rashewsky, Carreman és Picar a topologikus információelméletet dolgozta ki (Kolmogorov, 1968, Rashewsky, 1955).
A fentiekben csupán ízelítőt adtunk az információelmélet fejlődéséről. Az érdeklődő olvasó nagyon jó áttekintést talál Aczél J. és Daróczi Z. könyvében (Aczél - Daróczi, 1975).
Mindezek az eredmények természetesen fontosak, értékesek, de ahogy Rényi Alfréd megállapította: “A Shannon-féle információmérték az információ legtermészetesebb mértékszáma... a Shannon-féle információmennyiség nemcsak hogy nem önkényes, hanem az információmennyiségnek minden tekintetben adekvát mértéke” (Rényi, 1960).
Az információ és a bizonytalanság között - mint láttuk - összefüggés van. Ezt a mindennapi tapasztalatot az információelmélet matematikai eszközökkel bizonyítja. Hangsúlyoznunk kell azonban, hogy ez a bizonytalanság nem a mi tudatunkban jelentkező szubjektív bizonytalanság. Egy véletlen jelenség megfigyeléséből nyerhető információmennyiség objektív számadat, amely kizárólag a véletlen jelenség objektív körülményeitől függ, és független attól, hogy ezt az információt bárki, vagy bármi (ember, műszer) regisztrálja vagy felhasználja-e. A bizonytalanság tehát a jelenség véletlenszerűségéből következő objektív bizonytalanság. S ebben a tényben rejlik az információelméleti és termodinamikai entrópia közötti összefüggés alapja, lényege.
Kis lazítás céljából vegyük szemügyre az előbb tárgyalt fogalmak és tételek egy játékos alkalmazását.
Sokan ismerik és kedvelik a Bar Kochbáról elnevezett játékot. A játékosnak ki kell találnia a többiek által feltett fogalmat, oly módon, hogy játékostársai a kérdéseire csak igennel vagy nemmel válaszolnak. Minden kérdés-felelet pár - információelméleti ismereteink alapján tudjuk - egy bit információt szolgáltat. (Az egyszerű alternatíva esete.) Ezt tudva kidolgozhatunk egy optimális stratégiát a játék lefolytatására. Természetesen a stratégia csak akkor lesz valóban optimális - azaz csak akkor tudjuk a fogalmat a legkevesebb kérdéssel kitalálni -, ha előre maghatározzuk a kigondolható fogalmak körét. Az egyszerűség kedvéért tegyük fel, hogy a magyar kártya 32 lapjának valamelyikére lehet gondolni. Mivel egyik lap sem “kitüntetett”, játékostársaink egyforma valószínűséggel gondolhatnak bármelyikre. Hány kérdéssel találhatjuk ki a kártyát? Hány bit információra van szükségünk? Erre az esetre alkalmazhatjuk Shannon képletének redukált formáját:
H = log n = log 32 = 5 bit.
Ha tehát helyesen kérdezünk, minden kérdéssel egy bit információt nyerve, öt kérdésre lesz szükségünk hozzá. Ez úgy valósítható meg, ha a kérdésekre adott válaszok a lehetőségek számát megfelezik. Természetesen, ha rosszul kérdezünk, nem lesz elég öt kérdés. Vagy azért, mert kérdésünkre 1 bitnél kevesebb információt kapunk, vagy azért mert a válasz egy része már benne volt egy előző kérdésre adott válaszban. A válasz ebben az esetben redundáns, s végeredményben akkor is kevesebb, mint 1 bit információt tartalmaz. A kezdő játékosoknak azért van szükségük néha nagyon sok kérdésre, mert nem használják fel mindazt az információt, amit előzőleg kaptak, s kérdéseikben sok az átfedés. (Az is igaz, hogy rossz stratégiával, de szerencsével a szükségesnél jóval kevesebb kérdéssel is eljuthatunk a helyes válaszhoz).
|
