17-mavzu: Tilshunoslikning matematika bilan munosabati. Tilni
o‗rganishda statistik metodlardan foydalanish
Reja:
1.Tilshunoslikning matematika bilan munosabati.
2.Tilni o‗rganishda statistik metodlardan foydalanish.
Tayanch so„z va iboralar: Tilshunoslik, matematika, matematik
mantiq, algoritm nazariyasi, matematik tavsif, matematik lingvistika,
kompyuter lingvistikasi, bevosita ishtirokchilarga ajratish metodi,
transformasion grammatika, formal grammatika, generativ lingvistika.
Mutafakkirlarning
aytishicha,
til
sistema
sifatida
aynan
matematikaning o‗zidir. Matematika aniq fan bo‗lib, formulalar
munosabati orqali reallashadi. Til ham matematika singari aniqlikni
talab qiladi va unda ikki yoki undan ortiq birliklarning o‗zaro
munosabati bir butunlikni tashkil etadi. Shunday ekan, matematika fani
va tilshunoslik o‗rtasida uzviy bog‗liqlik mavjud va bu bog‗liqlik
matematik lingvistika fanini shakllantirdi.
Matematik lingvistika fani XX asrning 50-yillarida (1952-yilda)
tilshunoslikning alohida yo‗nalishi sifatida yuzaga keldi. Bu fanning
shakllanishida
Kopengagen
struktural
tilshunoslik
maktabi
(glossematika)ning asoschisi Lui Yelmslevning g‗oyalari o‗ziga xos
„turtki― vazifasini o‗tagan. U hatto til hodisalarini matematik bayonda
tushuntiradigan fanning nomini ham taklif etgan. Olimning fikricha, bu
fan ―Til algebrasi― deb atalishi lozim edi. Mana shunday qarashlar
ta‘sirida matematik lingvistika fani shakllandi. A.Rahimov fikri bilan
aytganda, matematik lingvistika bu – tabiiy tillarning matematik
modellarini (bunday formallashgan til metatil deb ataladi) ishlab chiqish,
xususan, sun‘iy tillarni yaratish algoritmini tuzish bilan shug‗ullanuvchi
fandir.
87
Matematik lingvistika oldida turuvchi eng muhim masalalar
quyidagilardir:
- tilning aksiomatik nazariyasini ishlab chiqish;
- formal grammatika yaratish;
87
Rahimov A. Kompyuter lingvistikasi. –Andijon, 2012. –B.4-5.
125
- tillarning matematik modellarini ishlab chiqish.
Matematik lingvistika – insondan tashqarida mavhum sistema
sifatida, Yelmslev ta‘rifi bilan aytganda, ―sof munosabatlar tizimi‖
bo‗lgan til tavsifidir. Matematik lingvistika va klassik (mumtoz)
tilshunoslik orasidagi farq quyidagi nuqtalarda ko‗rinadi:
- Mumtoz tilshunoslikda til inson bilan birgalikda ko‗rib chiqiladi. Ya‘ni
mumtoz tilshunoslik insonga yo‗naltirilgan bo‗ladi va uning faol
ishtirokida qabul qilinadi. Matematik lingvistika esa insonni tavsifdan
istisno qiladi va u ko‗proq kompyuterga moslashtiriladi.
- Mumtoz tilshunoslik ko‗proq tavsifiy (deskriptiv) xarakterga ega
hisoblanadi.
Matematik
lingvistika
esa
masalani
miqdoriy
xarakteristikalar va aniq parametrlar asosida hal qiladi. Demak, mumtoz
tilshunoslik ko‗proq tavsifiy bayonga asoslansa, matematik lingvistika
miqdoriy (kvantitativ) tavsifga asoslanadi.
Har bir fanning o‗z maqsad va vazifalari bo‗ladi. Shunga ko‗ra
matematik lingvistika fanining maqsadi bu – tabiiy tillarning matematik
modellarini qurish, lingvistik muammolarni kompyuter yordamida hal
qilish, talabalarda ushbu fan haqida puxta bilim hosil qildirish. Ushbu
maqsadga erishish uchun fan o‗z oldiga quyidagi vazifalarni qo‗yadi:
- tabiiy va sun‘iy tillarning formal modellari algoritmini ishlab chiqish;
- lingvistik muammolarni optimal hal qiluvchi kompyuter dasturlarini
yaratish;
- lisoniy hodisalarni matematik parametrlarda baholash;
- til hodisalarini matematik tahlil qilish.
Fanlar hamisha o‗zaro uzviy bog‗liqlik va hamkorlikda ish ko‗radi,
ular bir-birisiz yashay olmaydi. Jumladan, matematik lingvistika fani
ham bundan mustasno emas. Matematik lingvistika mantiq, geometriya,
informatika, statistika, ehtimollar nazariyasi kabi turli fan sohalari bilan
o‗zaro aloqadorlikda ish ko‗radi.
2.
Tilni
o‗rganishda
statistik
metodlardan
foydalanish.
Tilshunoslikda keng qo‗llanilayotgan statistik metodlar ham matematika
fanining ta‘siri orqali maydonga kelgan. Statistik metodning markaziy
126
muammosi jonli (funksional) tilning statistik qonuniyatlarini va
matnning statistik strukturasini aniqlashdir. Matnning statistik
strukturasi deyilganda, shartli ravishda, ma‘lum matndagi turli so‗zlar
miqdori bilan shu matnda uning qaytarilish-qaytalanish chastotasi
orasidagi munosabat tushuniladi. Shunga ko‗ra statistik ma‘lumotlarni
to‗plash, qayta ishlash kabi murakkab jarayondagi barcha ishlarni
EHMga
yuklash
zaruriyati
kelib
chiqqan
holda
kompyuter
lingvistikasida statistik yo‗nalish yuzaga keldi.
Filologik izlanishlarda statistik metodni ilk bor qo‗llagan olim
V.Ya. Bunyakovskiy edi. Matematik olim Yu.I.Levin fikriga ko‗ra, til
hodisalarini o‗rganishda ehtimollik nazariyasi va statistikani qo‗llash
XX asrning boshlariga to‗g‗ri keladi. Bu soha bilan dastlab
shug‗ullangan shoir Andrey Belin va taniqli matematik A.A.Markovlar
bo‗lgan. Keyinchalik A.A.Chuprov, A.M.Peshkovskiy, V.F.Chistyakov,
B.K.Kramorenko, A.A. Lyapidovskiy, E.A.Shteynfeldt, Yu.Markov,
I.I.Revzin,
V.A.Artyomov,
R.G.Piotrovskiy,
Ye.V.Paducheva,
I.A.Malchuk, R.M.Frumkina kabi o‗nlab shu sohaning mutaxassislari
yetishib chiqdi. O‗zbek tilshunosligida esa statistik metodlardan
foydalanish 1930-yillardan I.Kissen lug‗atlari bilan boshlangan.
Masalan, 1941-yilda bir necha oy ichida I.A.Kissen rahbarligi va
ishtiroki bilan 17000 so‗zdan iborat katta o‗zbekcha-ruscha lug‗at
tuzilgan. I.A.Kissen ―Hozirgi o‗zbek adabiy tilida faol qo‗llanuvchi
so‗zlar lug‗ati‖ni yaratish uchun qirqta o‗zbek roman va qissalardan
101,044 ta so‗z shaklini tanlab, shundan 5,4 foizini atoqli otlar (5494 ta
so‗z), qolgan 95,550 ta so‗z mustaqil va yordamchi so‗zlar bo‗lib, 94,6
foizni tashkil etishini aniqlagan. O‗zbek tili matbuotining lug‗aviy
tarkibini birinchi bo‗lib tekshirgan olim V.V.Reshetov edi. U o‗z
nomzodlik dissertatsiyasida va shu asosda e‘lon qilingan maqolalarida
o‗zbek tili matbuotidagi so‗zlarning kelib chiqishi (o‗zbekcha, arabcha,
forscha, ruscha va boshqalar) va so‗z turkumlari bo‗yicha chastotasini
aniqladi. Xuddi shuningdek, 1940-yilda A.K. Borovkov ham gazeta
materiallari bo‗yicha statistik tekshirish olib borgan edi.
88
Keyinchalik
88
Ризаев С. Тестни автоматик қайта ишлаш ҳақида //Ўзбек тили ва адабиѐти, 1972. №1. –Б.101-102.
127
―Minsk22‖ elektron-hisoblash mashinasida S.Rizayev ―O‗zbek bolalar
adabiyoti tilining chastotali lug‗ati‖ni yaratgan. R.Qo‗ng‗urov va
S.Karimovlarning
―Zulfiya
poeziyasi
tilining
lug‗ati‖,
S.Muhamedovning gazeta matnlari asosida ―O‗zbek tilining alfavitli-
chastotali lug‗ati‖, Rizayev, N.Bo‗ronovlarning ―Abdulla Qahhor
―Sinchalak‖ povesti tilining chastotali lug‗ati‖ kabi lug‗atlari statistik
metod asosida yaratilgan.
89
D.O‗rinboyeva, U.Umrzoqov ―O‗zbek
xalq dostonlari tilining alfavitli chastotali lug‗ati‖, S.Karimov,
A.Qarshiyev, G.Isroilovalarning ―A.Qahhor asarlari tilining lug‗ati‖,
N.Xadjimusayevaning ―Orzigul‖dostoni tilining alfavitli, chastotali,
chappa lug‗ati‖, D.O‗rinboyevaning ―O‗zbek xalq og‗zaki ijodi
asarlarining qiyosiy chastotali lug‗ati‖, S.Umirovaning ―Usmon Azim
asarlari tilining lug‗ati‖ kabi qator lug‗atlar ham statistik metod asosida
yaratilgan lug‗atlardir.
90
Xullas, leksik birliklarni statistik metod bilan tahlil qilish
leksikologiya va leksikografiyaning ko‗plab masalalarini hal etishga
ko‗maklashadi.
Mustahkamlash uchun savol va topshiriqlar:
1. Matematik lingvistika fani nechanchi asrda shakllangan?
2. Lingvistikaning tarmoqlarini sanab bering?
3. Matematik lingvistika fanining asosiy maqsadi nima?
4. Kompyuter lingvistikasi oldida turgan asosiy masalalar qaysilar?
5. Kompyuter lingvistikasi fanining asosiy maqsadi nima?
6. Aksiomatik nazariya deb nimaga aytiladi?
7. Kompyuter lingvistikasi bo‗yicha tadqiqot olib borgan olimlar?
8. Tarjimani modellashtirish metodlari va uni avtomatlashtirish
yo‗llarini ishlab chiqqan olim?
9. Kompyuter lingvistikasini qaysi fanlar bilan aloqador?
89
Қўнғуров Р., Каримов С. Зулфия поэзияси тилининг луғати (конкорданс). – T., 1981; Муҳаммедов С. Ўзбек
тилининг алфавитли-частотали луғати (газета матнлари асосида). – Тошкент: Фан, 1982.
90
Каримов C. ва бошқ. А.Қаҳҳор асарлари тилининг луғати. – Тошкент: ЎзМЭ, 2007; O‗rinboyeva D.,
Umurzoqov U. O‗zbek xalq dostonlari tilining alfavitli chastotali lug‗ati. –Toshkent: O‗zME, 2006; Умирова С.
Усмон Азим асарлари тилининг частотали луғати. – Самарқанд, 2019.
128
10.
Lingvostatistika va almashtirish bilan shug‗ullangan
olimlarni ayting?
10.Chastotali lug‗atlar haqida ma‘lumot bering.
11. Bugungi kunga qadar yaratilgan chastotali lug‗atlar haqida
ma‘lumot bering.
12. Dastlab yaratilgan chastotali lug‗atlardan zamonaviy, bugungi
kunda yaratilgan lug‗atlarning farqini ayting.
| 