O„zbekiston respublikasi oliy va o„rta maxsus ta‟lim vazirligi

• biriga teng bo‗lsa

  
  

P  ¹  ¹
N 32
bo‗ladi. U holda axborot hajmi:

1
I  log₂ ( _P )

 log₂ N
 log₂
32  5

Misol 3. Axborot faqat 0 va 1 belgilardan iborat bo‗lsin, ya‘ni N=2 ga teng. U holda 1 ning paydo bo‗lish ehtimoli P(1)=0,25 ga teng. Xabardagi hamma belgilar ehtimolligi teng emas. U holda axborot hajmini hisoblang.
Yechish: Axborotdagi belgilarning paydo bo‗lish ehtimolligi har xil bo‗lganligi uchun axborot hajmi quyidagiga teng:

_{I } ^{P(1) log} ₂ ⁽¹⁾ _ ^{P(0) log} ₂ ¹ _ 1
1 _{) } 3
³  0,8

P(1)
P(0)
( ₄ log _{2 4}
( ₄) log ₂ ( ₄)

H ( A)  _ p(x_i ) log ₂
i1


p(x_i )

Entropiya – bu xabarlar manbaining holatidagi noaniqligining o‗lchovi ham hisoblanadi. Agar manba tomonidan 1 ga teng ehtimoli bilan faqat bitta belgi uzatilayotgan bo‗lsa, u holda entropiya nolga tengdir. Agar xabar manbaidan uzatilayotgan belgilar bir xil ehtimollik bilan paydo bo‗lsa, entropiya maksimal bo‗ladi.
Xabar manbai entropiyasini aniqlaymiz. Agar N=2 va P(x₁)= P(x₂)=0,5 bo‗lsa, u holda:

2

H ( A)  _ P(a_i ) log ₂ P(a_i )  0,5 log ₂ 0,5  0,5 log ₂ 0,5  1

i1

Download 0,75 Mb.