Eötvös Loránd Tudományegyetem Könyvtártudományi Informatikai Tanszék Fülöp Géza Az információ




Download 2.78 Mb.
bet5/47
Sana09.06.2021
Hajmi2.78 Mb.
1   2   3   4   5   6   7   8   9   ...   47
1. ábra A hírközlési rendszerek információelméleti modellje

Amint az 1. ábráról leolvasható, a kommunikációs rendszer egyik oldalán található az infor­má­ció­forrás, a kódoló és az adóberendezés, a másik oldalon található a vevőberendezés, a dekódoló és a felhasználó. A két oldalt a jeleket továbbító csatorna köti össze. A csatornában haladó jelekre sajnos mindig hatnak zajok, amelyek megnehezítik, vagy akár lehetetlenné tehetik az információátvitelt.

Az információ fogalmát Shannon egységes matematikai elmélet keretében összekapcsolta a valószínűség fogalmával. Megállapította, hogy minden hírközlés statisztikus jellegű, s az információ kérdései a valószínűségszámítás módszereivel tárgyalhatók. Valamilyen hír, üzenet közlését a szó valószínűségszámítási értelmében vett eseményként tárgyalhatjuk, s minden esemény üzenetet, információt hordoz. A forrás vagy adó a véletlen kísérlet eseményterével analóg fogalom, azaz a hírforrás - a vevő szempontjából - egy véletlen kimenetelű kísérlet eseményteréhez tartozó lehetséges események összessége. A kísérlet minden egyes kimenetele megfelel a forrás egy elemi kimenetelének, amit jelnek nevezünk.

Mi határozza meg egy esemény, egy hír információtartalmát?



Saját tapasztalatunkból tudjuk - s ebben az esetben a szubjektív tapasztalat tökéletesen meg­egyezik az objektív törvényekkel -, hogy minél váratlanabb egy esemény, annál több infor­mációt hordoz. A váratlanság pedig a valószínűséggel fordítottan arányos. Ha egy esemény bekövetkezése biztos, tehát valószínűsége p=1, semmiféle információt nem szolgáltat. Kisebb valószínűségű esemény bekövetkezése több információt nyújt. Matematikai formában felírva:

                                    

Az x jel által hordozott információ tehát x előfordulásának valószínűségétől függ:

                                    

Ahhoz, hogy ennek a függvénynek a konkrét alakját megkapjuk, figyelembe kell vennünk az információ néhány természetes tulajdonságát. Ha két, egymástól független esemény bekövetkezését figyeljük meg, az általuk nyújtott információk összeadódnak. Az információnak ezt a tulajdonságát additivitásnak nevezzük:

                                    

A valószínűségszámításból tudjuk azonban, hogy két független esemény bekövetkezésének valószínűsége egyenlő valószínűségeik szorzatával:

                                    

Az [p(x)] függvénynek ahhoz, hogy az additivitás követelményének eleget tegyen, logarit­mus­függvénynek kell lennie. A logaritmusfüggvény ugyanis két szám szorzatához logaritmu­saik összegét rendeli:

                                    

Ha az információmennyiség egységét úgy választjuk meg, hogy akkor nyerjünk egységnyi infor­mációt, amikor mindössze két egyformán valószínű esemény valamelyikére számít­hatunk, és ezek közül az egyik bekövetkezik, például a klasszikus fej vagy írás játékban egy dobáskor, azaz az egyszerű alternatíva esetén:

                                    

akkor a logaritmusfüggvényben kettesalapú logaritmust kell választanunk. Az információ­mennyiségnek ezt az egységét nevezzük Tukey javaslatára bitnek, a binary digit unit rövidítéséből.

A fentiekből következik, hogy a (8) függvény konkrét alakja az x jel megjelenésekor kapott információmennyiség kifejezése:

                                    

vagy

                                    



mivel pedig a matematikai információelméletben majdnem mindig a kettesalapú logaritmust használjuk, ezentúl log2 helyett csak log-ot fogunk írni.

Kiválasztásakor úgy tűnt, hogy a kettesalapú logaritmusnak elméleti szempontból nincs kitüntetett szerepe, s csupán gyakorlati megfontolások tették “kitüntetetté”. (Hartley, mint láttuk, a tízes alapú logaritmust választotta.) Később azonban kiderült - erre majd még több­ször fogunk a megfelelő helyeken utalni - hogy a természetben nagyon sok jelenségnek bináris jellege van, s így a kettes alap választása nagyon szerencsés volt.

Az esemény, amint láttuk, annál több információt szolgáltat, minél kisebb a valószínűsége. Ebből logikusan az következik, hogy amint a valószínűség közeledik a 0-hoz, az információ­mennyiség közeledik a végtelenhez, s a 0 valószínűségű eseménynek az információtartalma végtelen nagy. Ez természetesen értelmetlenség. Egy esemény, amely nem következik be, nem szolgáltathat információt. Ezért megegyezés szerint

                                    

A kommunikációs folyamatokban nem egyedi események zajlanak le. Olyan csatornán, amelynek csak egyetlen lehetséges állapota van, nem lehetne információt továbbítani. Mini­má­lisan két állapot szükséges: az egyiket jelnek tekintjük, a másikat a jel hiányaként fogjuk fel. A hírközlés lényege ugyanis, hogy az adó a jelkészletből jeleket választ ki, s azokból állítja össze különböző hosszúságú üzeneteit. Úgy is fogalmazhatnánk, hogy a jeleket sorokba rendezi. A jelek egymásutánja, az elrendezés, a konfiguráció, a rendezettség reprezentálja az információt. Az elrendezés lehet időbeli, például a beszédhangok, de lehet térbeli is, például az írás betűi.

A készletben előforduló jeleket az előbbiekben egy teljes eseménytér “atomjaival” (elemi események) azonosítottuk, amelyekben az xk = {xk} elemi események halmazára meg a pk = p(Xk) valószínűségekre teljesül az alábbi két egyenlőség:



                                    

ahol  a biztos esemény, vagyis az összes lehetséges kimenetel (jel) halmaza.

Mivel Shannon elméletét véges, diszkrét, teljes eloszlásra dolgozta ki, N csak jól meghatározott (1-nél nagyobb) természetes szám lehet.

Az információmennyiség, amelyet az üzenet (= elemi események sorozata) szolgáltat, az egyes jelek által hordozott információmennyiségek összegéből adódik. A hírközlésben nem úgy járnak el, hogy összeadják az egyes jelek információtartalmát, hanem kiszámítják az egész jelrendszerre a jelenként közepes információmennyiséget, s ezzel az átlaggal számol­nak. Mivel a jelek általában különböző valószínűséggel fordulnak elő, az átlag kiszámí­tásánál súlyozni kell:

                                    

Az üzenet soron következő jelének várható (átlagos) hozzájárulása az üzenet információ­tartalmához:



                                    

Ezt az értéket nevezte el Shannon formai analógia alapján - Neumann János javaslatára - a {p1,p2, ... pn} valószínűségeloszlás entrópiájának. Erről egyelőre csak annyit, hogy az entrópia tulajdonképpen úgy fogható fel, mint a bizonytalanság mértéke, amelyet azzal az információ­val mérünk, amely szükséges a megszüntetéséhez.

Vegyük szemügyre az entrópiafüggvény néhány tulajdonságát.

1. H az elemi függvények összege; ezek csak a pi változótól függenek és folytonosak.



2. Az értékének változását a pi függvényében a 2. ábra mutatja. Láthatjuk, hogy amikor a , akkor a függvény értéke 0-hoz tart. Ez azt jelenti, hogy a be nem következett események (valószínűségük 0) és a biztosan bekövetkező események (valószínűségük 1) nem szolgáltatnak információt.

3. Ha az egyes jelek valószínűsége egyenlő, akkor az entrópia képlete a következőképpen alakul:



                                    

Azonnal észrevesszük, hogy ez nem más, mint Hartley képlete, amely ilyenformán az általános shannoni egyenlet sajátos esete.



(11 és 12) összevetésével kimutatható, hogy az adott jelkészlet entrópiája (valamint a továbbítható rögzített hosszúságú üzenetek információtartalma) akkor maximális, ha a jelek mind egyenlő valószínűséggel fordulnak elő. Ha nem, az entrópia ennél az értéknél kisebb.





Download 2.78 Mb.
1   2   3   4   5   6   7   8   9   ...   47




Download 2.78 Mb.

Bosh sahifa
Aloqalar

    Bosh sahifa



Eötvös Loránd Tudományegyetem Könyvtártudományi Informatikai Tanszék Fülöp Géza Az információ

Download 2.78 Mb.