Axborotni o‘lchash
tushunchasi asosida entropiya, ya'ni axborotning
o‘rtacha xabar hajmi aniqlanadi. Entropiya tushunchasi kodlash samaradorligini
o‘lchash uchun qo‘llaniladi va uzatilayotgan ma'lumotning noaniqlik darajasini
ifodalaydi. Entropiyaning yuqori bo‘lishi axborotni
siqish imkoniyatlarini
kamaytiradi.
2.2
Axborotni
kodlash usullari
Axborotni kodlash uchun bir nechta usullar mavjud bo'lib, ularning har biri
turli xil maqsad va ehtiyojlarga javob beradi. Kodlash usullari ma'lumotlarni
qayta ishlash, uzatish va saqlashda qo‘llaniladigan algoritmlar va texnikalarning
umumiy to'plamini ifodalaydi. Kodlashning asosiy turlari — raqamli va analog
kodlashdan iborat bo'lib, ularning har biri o'ziga xos afzallik va kamchiliklarga
ega.
2.2.1 Raqamli kodlash
Raqamli kodlashda axborotlar raqamlar, odatda 0 va 1 sonlaridan tashkil
topgan bitlar shaklida ifodalanadi. Bu kodlash
usuli hozirgi kunda keng
qo'llanilmoqda, chunki u kompyuterlar, aloqa
tizimlari va boshqa raqamli
qurilmalar tomonidan ishlatiladi. Eng keng tarqalgan raqamli kodlash tizimlari
quyidagilarni o'z ichiga oladi:
