Ishlab chiqilgan algoritm tavsifi

Ishlab chiqilgan algoritm tavsifi

1. 
   Standart foydalanuvchi avtorizatsiyasi va autentifikatsiya qilish tartibi. Agar siz login va/yoki parolni noto'g'ri kiritgan bo'lsangiz, tizim sizga xato haqida xabar beradi.
   
2. 
   O'rganilayotgan tarkibni yuklash - matn ma'lumotlarini kiritish (manbani kiritish).
   
3. 
   Kirish ma'lumotlarini bosqichma-bosqich normallashtirish (algoritm natijasi uchun muhim bosqichlardan biri).
   
4. 
   Tahlil bloki:
   
   1. 
      Tekshirilayotgan matndagi barcha so'zlar tahlil qilinmaguncha,Tahlil qilinayotgan so‘zning lug‘at so‘zi bilan mos keladigan belgilar yig‘indisining tekshirilayotgan so‘zdagi belgilar soniga nisbati hisoblanadi.
      
   2. 
      Barcha munosabatlar qiymatlari hisoblab chiqilgandan so'ng, so'zni uyat deb tasniflash ehtimoli hisoblab chiqiladi, agar chegara qiymati oshib ketgan bo'lsa, tizim so'zni uyatsiz deb tasniflaydi.
      

3. 
   Bitta halokatli so'zning mavjudligi uni o'z ichiga olgan matnni halokatli deb tasniflash uchun etarli.
   
1. 
   Tizimning o'zini o'zi o'rganish birligi: tizim uchun yangi haqoratli so'zlashuv elementi aniqlanganda, lug'at avtomatik ravishda yangilanadi.
   

• 
  qidiruv algoritmlari (ro'yxat bo'yicha so'z ildizini to'liq qidirish);
  
• 
  tugatishlarni kesish (so'zning o'zagi topiladigan qoidalarning kichik ro'yxati mavjud);
  
• 
  lemmatizatsiya (so'zni kanonik yoki asl holga keltirish).lug'at shakli - lemma);
  
• 
  stokastik algoritmlar (so'zning ildiz shaklini ehtimollik bilan aniqlash);
  
• 
  statik algoritmlar (N-gramm tahlili, mos keladigan algoritmlar). Stemming algoritmlarini amaliy amalga oshirish - stemmer.
  

Guruch. 2. Stemming - buzg'unchi ma'lumotlarning mazmunini tahlil qilish uchun kirish ma'lumotlarini tayyorlash

1. 
   Matndagi barcha harfsiz belgilarni chiqarib tashlaydi. Bularga raqamlar, tinish belgilari va maxsus belgilar kiradi.
   
2. 
   Case konvertatsiya. Ushbu uslub barcha belgilarni bitta katta harfga (yuqori yoki pastki) aylantirishga asoslangan. Masalan, har xil imlodagi turli xil so'zlar kabi
   

3. 
   To'xtash so'zlarini olib tashlash. To'xtash so'zlari - bu tahlil kontekstida semantik yukni ko'tarmaydigan yordamchi so'zlar, bularga nutqning yordamchi qismlari: zarrachalar, yuklamalar, bog'lanishlar, shaxs olmoshlari va kesimlar kiradi. Yordamchi so'zlarning qo'shimcha ro'yxati ularni keyinchalik matnlardan olib tashlash uchun tuziladi.
   

4. 
   Belgilarni qidiring va almashtiring. Bu bosqichda so‘zlardagi “e” harfi, birinchidan, vaqtni qisqartirish maqsadida, ikkinchidan, “e” harfi bo‘lgan so‘zlarning lug‘atda uchramasligi uchun “e” harfiga almashtiriladi.
   
5. 
   Matn ma'lumotlarini N-grammlarga bo'lish va N-grammlarni tahlil qilish. Muayyan stemmerda unigramlarni tanlash amalga oshiriladi. Ushbu qadam odobsiz tilni aniqlash va qidirish uchun zarurdir, chunki unigramlar yordamida o'zgartirilgan lug'at qidiruvi amalga oshiriladi.
   
6. 
   So'zlarning bir qismini kesish - bu mavjud prefikslar ro'yxati bilan so'zlarni har bir belgi bilan taqqoslash orqali matn so'zlaridagi prefikslarni olib tashlash.
   
7. 
   Natijalarni talqin qilish. Oxirgi bosqich - natijalarni tabiiy tilda taqdim etish yoki ularni grafik tarzda tasvirlash [10, 11].
   

• 
  lug'at, uning elementlari nostandart so'zlar;
  
• 
  tahlil qilinadigan normallashtirilgan matn.