|
Mavzu: Axborot xarakteristikalarini hisoblash (Axborot hajmi. Entropiya. Ortiqchalik. Unumdorliklar) Informatsion texnologiyaning vazifalari bo’yicha quyidagi turlarini ko’rsatish mumkin
|
| bet | 2/2 | | Sana | 18.05.2024 | | Hajmi | 67,06 Kb. | | #242419 |
Bog'liq 1-amaliy mashg`ulot.entropiya deb atadi.
Entropiya quyidagi xususiyatlarga ega:
Entropiya haqiqiy va manfiy bo‘lmagan kattalik. Chunki, har qanday i(1 ≤ i ≤ N) uchun pi 0 dan 1 gacha oraliqda o‘zgaradi, ya’ni log2 pi manfiy va demak, - pi log2 pi musbat.
pi lardan biri birga teng, qolganlari nolga teng bo‘lganida entropiya nolga teng. Bu vaziyat manbaning holati to‘la aniqlanganiga mos keladi.
Barcha ehtimolliklar bir-biriga teng bo‘lganida entropiya eng katta qiymatga ega bo‘ladi, ya’ni
Hмакс= - log21/q=log2q
Bir necha statistik bog‘lanmagan informatsiya manbalarining birlashma entropiyasi dastlabki manbalar entropiyalarining yig‘indisiga teng.
Axborot nazariyasida ortiqchalik “ortiqcha” axborot miqdorini ko‘rsatadi. Bu axborot miqdori elementlar xolati to‘plamining strukturasi orqali aniqlanadi va odatda, statistik ma’lumotlardan oldindan ma’lum bo‘ladi.
Xabarlar manbaining entropiyasi sifat alomatlarining berilgan soniga ega bo‘lgan alfavit uchun maksimal entropiyaga teng bo‘lmasligi ushbu manba xabarlarining ko‘p sonli informatsiyani eltishi mumkinligini anglatadi.
Bunday manba xabarlarining simvoliga to‘g‘ri keluvchi absolyut yuklanmaganlik
2. Alfavit strukturasidagi “ortiqcha” informatsiya miqdorini aniqlash uchun “ortiqchalik” tushunchasi kiritilgan. Informatsion ortiqchalik o‘lchamsiz kattalik bo‘lib, alfavit simvoliga to‘g‘ri keladigan nisbiy ortiqchalikni ifodalaydi.
bu yerda zichlash koeffitsiyenti(nisbiy entropiya).
Xabardagi simvollar paydo bo‘lish ’extimolliklari teng bo‘lmagan xolda, ortiqchalik
Xabar simvollari orasidagi statistik bog‘lanish tug‘diruvchi ortiqchalik
To‘liq informatsion ortiqchalik
Berilgan kod tabiatidagi ortiqchalik, xabarlardagi ushbu kodning sifat alomatlarining notekis taqsimlanishi evaziga hosil bo‘ladi va statistik snash asosida bitta raqam orqali berilishi mumkin emas. Haqiqatan, o‘nli raqamlar ikkili kod yordamida uzatilganda ikkilamchi alfavitning faqat ikkining butun sonli darajasi hisoblanuvchi qiymatlarni uzatuvchi simvollari maksimal yuklangan bo‘ladi. Qolgan hollarda simvollarning shunday soni yordamida raqamlarning kattaroq soni uzatilishi mumkin. Masalan, o‘nta ikkili xona yordamida 5 raqamini va 8 raqamini uzatish mumkin, ya’ni beshta xabarlarni uzatishga sarflanadigan simvollar soni sakkizta xabarlarni uzatishga sarflanadigan simvollar soniga teng.
Ortiqchalik har doim ham nomaqbul xisoblanmaydi. Kodlarning xolatlarga bardoshligini oshirish uchun ortiqchalik zarur va u sun’iy ravishda qo‘shimcha simvollar ko‘rinishida kiritiladi.
Informatsion ortiqchalik – odatda tabiiy hodisa bo‘lib, birlamchi alfavitning aslida mavjud. Tuzatuvchi ortiqchalik suniiy hodisa bo‘lib, ikkilamchi alfavitdagi kodda mavjud. Ortiqchalikni kamaytirishning eng samarali usuli optimal kodlarni qurish.
Xabarlar a,b,c,d axborot vositasida tuzilgan. Matnlarda alfavit xarflarining paydo bo‘lishi extimolliklari quyidagicha:
pa=0.2, hb=0.3, pc=0.4, pd=0.1. Ushbu alfavit asosida tuzilgan xabarlar ortiqchaligi aniqlansin.
Yechish.
Ortiqchalik to‘rtta xarfli alfavit uchun maksimal entropiya
Xabar simvoliga to‘g‘ri keladigan o‘rtacha entropiya
Ortiqchalik
|
|
Bosh sahifa
Aloqalar
Bosh sahifa
Mavzu: Axborot xarakteristikalarini hisoblash (Axborot hajmi. Entropiya. Ortiqchalik. Unumdorliklar) Informatsion texnologiyaning vazifalari bo’yicha quyidagi turlarini ko’rsatish mumkin
|
