|
1-mavzu Fanning asosiy tushunchalari, atamalar va diskret xabar manbalarini va axborot tavsiflari
|
| bet | 2/2 | | Sana | 18.05.2024 | | Hajmi | 70,34 Kb. | | #242595 |
Bog'liq 1-mustaqil ishHмакс= - log21/q=log2q
Bir necha statistik bog‘lanmagan informatsiya manbalarining birlashma entropiyasi dastlabki manbalar entropiyalarining yig‘indisiga teng.
Axborot nazariyasida ortiqchalik “ortiqcha” axborot miqdorini ko‘rsatadi. Bu axborot miqdori elementlar xolati to‘plamining strukturasi orqali aniqlanadi va odatda, statistik ma’lumotlardan oldindan ma’lum bo‘ladi.
Xabarlar manbaining entropiyasi sifat alomatlarining berilgan soniga ega bo‘lgan alfavit uchun maksimal entropiyaga teng bo‘lmasligi ushbu manba xabarlarining ko‘p sonli informatsiyani eltishi mumkinligini anglatadi.
Bunday manba xabarlarining simvoliga to‘g‘ri keluvchi absolyut yuklanmaganlik
2. Alfavit strukturasidagi “ortiqcha” informatsiya miqdorini aniqlash uchun “ortiqchalik” tushunchasi kiritilgan. Informatsion ortiqchalik o‘lchamsiz kattalik bo‘lib, alfavit simvoliga to‘g‘ri keladigan nisbiy ortiqchalikni ifodalaydi.
bu yerda zichlash koeffitsiyenti(nisbiy entropiya).
Xabardagi simvollar paydo bo‘lish ’extimolliklari teng bo‘lmagan xolda, ortiqchalik
Xabar simvollari orasidagi statistik bog‘lanish tug‘diruvchi ortiqchalik
To‘liq informatsion ortiqchalik
Berilgan kod tabiatidagi ortiqchalik, xabarlardagi ushbu kodning sifat alomatlarining notekis taqsimlanishi evaziga hosil bo‘ladi va statistik snash asosida bitta raqam orqali berilishi mumkin emas. Haqiqatan, o‘nli raqamlar ikkili kod yordamida uzatilganda ikkilamchi alfavitning faqat ikkining butun sonli darajasi hisoblanuvchi qiymatlarni uzatuvchi simvollari maksimal yuklangan bo‘ladi. Qolgan hollarda simvollarning shunday soni yordamida raqamlarning kattaroq soni uzatilishi mumkin. Masalan, o‘nta ikkili xona yordamida 5 raqamini va 8 raqamini uzatish mumkin, ya’ni beshta xabarlarni uzatishga sarflanadigan simvollar soni sakkizta xabarlarni uzatishga sarflanadigan simvollar soniga teng.
Ortiqchalik har doim ham nomaqbul xisoblanmaydi. Kodlarning xolatlarga bardoshligini oshirish uchun ortiqchalik zarur va u sun’iy ravishda qo‘shimcha simvollar ko‘rinishida kiritiladi.
Informatsion ortiqchalik – odatda tabiiy hodisa bo‘lib, birlamchi alfavitning aslida mavjud. Tuzatuvchi ortiqchalik suniiy hodisa bo‘lib, ikkilamchi alfavitdagi kodda mavjud. Ortiqchalikni kamaytirishning eng samarali usuli optimal kodlarni qurish.
|
| |
