15-DARS
PYTHONDA TABIIY TILNI QAYTA ISHLASH TEXNOLOGIYASI
PYTHONDA TABIIY TILNI QAYTA ISHLASH TEXNOLOGIYASI
101
Dastlabki TTQI dasturi 1950-yillarda yaratilgan bo‘lib, dastur 60 ga yaqin so‘zlardan
iborat jumlalarni rus tilidan ingliz tiliga avtomatik tarzda tarjima qilish imkoniyatiga ega
bo‘lgan. Shundan so‘ng ko‘plab nazariyalar yaratildi va sun’iy intellekt bilan birgalikda TTQI
texnologiyasi rivojlanib bordi. Ammo TTQI dasturlarini yaratish talay
qiyinchiliklarni keltirib
chiqardi. Masalan, bir so‘zning turli holatlarda turlicha talqin qilinishi (ot–jonivor, ot–
fe’
l)
yoki gap ma’
nosining vaziyatga qarab o‘zgarishi (gulxanning yonishi, lampaning yonishi)
yaratilayotgan dastur natijalarida xatoliklar kelib chiqishiga sababchi bo‘lgan. Bugungi kunda
TTQI
texnologiyasi Google tarjimon, Yandex tarjimon,
Amozon Assistant, Internet qidiruv
tizimlari (Google, Yandex),
humanoid robotlari, harbiy texnika va boshqalarda samarali
qo‘llanilmoqda.
Tabiiy tilni qayta ishlash komponentlari (tarkibiy qismlari)
Leksik tahlil.
Leksik tahlil matnning
butun qismini paragraf, jumla va so‘zlarga ajratadi.
O‘rganilayotgan matnning kichik qismlarga ajratilishi uning tuzilishini aniqlash va tahlil
qilish imkoniyatini beradi. Bu orqali dastur so‘zlarni shakl va ma‘no jihatidan o‘rganadi.
Tahlil qilingan matn qayta ishlanishi natijasida inson tushunishi mumkin bo‘lgan
holda
foydalanuvchiga taqdim etiladi. Masalan, TTQI dasturi o‘rnatilgan robotga biror buyruq
berilsa, u buyruqni matn holatiga o‘tkazadi, leksik jihatdan tahlil qiladi va unga ma‘lum bir
javobni beradi. Dastlabki tahlilning to‘g‘riligi esa robot tomonidan
qaytariladigan javobning
tushunarli bo‘lishini ta’minlaydi.
