O„zaro ma‟lumotlar – bitta tasodifiy kattalikdan boshqasiga nisbatan mavjud bo‗ladigan ma‘lumotlar miqdorini tavsiflaydigan ikkita tasodifiy kattaliklarning statistik funksiyasi hisoblanadi.
O‗zaro ma‘lumotlar ikkita tasodifiy kattaliklarning entropiyasi va shartli entropiyasi orqali quyidagicha aniqlanadi:
L(X ,Y ) H (X ) H (X / Y ) H (X ) H (Y ) H (X ,Y )
O‗zaro ma‘lumotlar tasodifiy kattaliklarning simmetrik funksiyasi hisoblanadi:
L( X ,Y ) L(Y , X )
O‗zaro ma‘lumotlar manfiy bo‗lmagan va argumentlarning axborot entropiyasidan ortiq bo‗lmaydi:
0 L( X ,Y ) min H ( X ), H (Y )
O‗zaro ma‘lumotlar bog‗liq bo‗lmagan tasodifiy kattaliklar uchun nolga teng bo‗ladi:
L(X ,Y ) H (X ) H (X / Y ) H (X ) H (X ) 0
Bitta tasodifiy kattalik (masalan, X) boshqa tasodifiy kattalikning (masalan, Y) determinantlangan funksiyasi bo‗lganida o‗zaro ma‘lumotlar entropiyaga teng bo‗ladi:
L(X ,Y ) H (X ) H (X / Y ) H (X ) 0 H (X )
Shartli o„zaro ma‟lumotlar bu berilgan uchinchi tasodifiy kattalikning qiymat shartida bitta tasodifiy kattalikdan boshqasiga nisbatan mavjud bo‗ladigan ma‘lumotlar miqdorini tavsiflaydigan uchta tasodifiy kattaliklarning statistik funksiyasi hisoblanadi:
L( X ,Y / Z z) H (X / Z z) H ( X / Y , Z z)
Shartsiz o„zaro ma‟lumotlar bu berilgan uchinchi tasodifiy kattalikning qiymati shartida bitta tasodifiy kattalikdan boshqasiga
nisbatan mavjud bo‗ladigan ma‘lumotlar miqdorini tavsiflaydigan uchta tasodifiy kattaliklarning statistik funksiyasi hisoblanadi:
L(X ,Y / Z) H (X / Z) H (X / Y, Z)
O‗zaro ma‘lumotlar yordamida X tizimni bevosita kuzatishni o‗tkazilishi bilan X tizim haqidagi ma‘lumotlar miqdorini aniqlash mumkin. Amalda ko‗pincha X tizim kuzatish uchun mumkin bo‗lmaydi va bu holda X tizim bilan bog‗langan qandaydir Y tizimni kuzatish olib boriladi. Masalan, obyektni to‗g‗ridan-to‗g‗ri kuzatish o‗rniga uning apparaturasi orqali uzatiladigan signallar tizimini kuzatish olib boriladi.
X va Y tizimlari orasida ikki turda bo‗lishi mumkin bo‗lgan farqlar mavjud:
X tizimining ayrim holatlari Y tizimida o‗z aksini topmasligi hisobiga (X tizimga qaraganda kamroq mufassal);
X tizimining parametrlarini o‗lchashning noaniqliklari va xabarlarni uzatishdagi xatoliklar hisobiga.
Agar Y tizim X tizimdan farq qilsa, savol tug‗iladi: Y tizimni kuzatish X tizim haqidagi qancha ma‘lumotlar miqdorini beradi? Bu ma‘lumotni Y tizim haqidagi ma‘lumotlarni olinishi natijasida X tizim entropiyasini kamayishi sifatida aniqlanadi:
Ly x H ( X ) H ( X / Y )
bu yerda H(X) – kuzatishgacha tekshirilmagan entropiya;
H(X/Y) – ma‘lumotlar olinganidan keyin qoldiq entropiya.
LX→Y – Y tizimda bo‗lgan X tizim haqidagi to‗liq yoki o‗rtacha ma‘lumotlar.
Umumiy holda ikkita tizimlar bo‗lganida ulardan har biri boshqa tizimga nisbatan o‗sha bir to‗liq ma‘lumotlarga ega bo‗ladi. Buni ko‗rsatamiz:
bu yerdan
H ( X , Y ) H ( X ) H ( X / Y )
H ( X , Y ) H ( Y ) H ( X / Y )
H ( X ) H ( Y / X ) H ( Y ) H ( X / Y )
H ( X ) H ( Y / X ) H ( Y ) H ( Y / X )
Ly x
Lx y
Lx y
bu yerda LX↔Y – X va Y tizimlarda bo‗lgan to‗liq o‗zaro ma‘lumotlar deyiladi.
To‗liq bog‗liq bo‗lmaganda va tizimlarning to‗liq bog‗liq bo‗lgandagi chegaraviy hollardagi to‗liq o‗zaro ma‘lumotlarni qarashini ko‗rib chiqamiz. Agar X va Y tizimlar bog‗liq bo‗lmagan tizimlar bo‗lsa, u holda H(Y/X)=H(Y) bo‗ladi. Bu holda Y xabar ega bo‗ladigan butun ma‘lumotlar X xabar ega bo‗lgan ma‘lumotlarga nisbatan yangi hisoblanadi.
Bu tushunarli, chunki uning o‗rniga u bilan hech qanday bog‗lanmagan boshqa tizimni kuzatish bilan tizim haqida ma‘lumotlarni olish mumkin emas.
Boshqa chegaraviy hol X va Y tizimlar bir-birlarini to‗liq aniqlaydi, ya‘ni mos tushadi.
U holda:
H ( x) H ( Y ),
H ( X / Y ) H ( Y / X ) 0
Lx y
Lx
Ly
H ( X ) H (Y ) .
|
