Ehtimollarni hisoblash mexanizmi

matn so'zlari
Xi, unda chekli sonli belgilar mavjud:

X {Xⁱ, …, Xⁱ, …, Xⁱ},
q 1, …, m,

9. 
   1 q m
   

bu erda m - so'zdagi harflar soni.
Keyin lug'at so'zlari to'plamining vektor ko'rinishi sifatida tavsiflanadi

C {C₁, …, C_j, …, C_k},
bu erda k - lug'atdagi so'zlar soni.
j 1, …, k,

Cj lug'atidagi har bir so'z uchun belgilar vektori quyidagi shaklga ega bo'ladi:
C {C^j, …, C^j, …, C^j}, w  1, …, t,

9. 
   1 w t
   

bu erda t - lug'at so'zidagi harflar soni.
So'zni uyatsiz deb tasniflashning aniqligini oshirish uchun ikkita so'zni har bir belgi bilan taqqoslashda tahlil qilinayotgan so'zning uzunligi lug'at so'zining uzunligidan oshib ketishiga yo'l qo'ymaslik kerak. Bunday holda, qo'shimcha belgilarni kesib tashlash kerak. Keyin kerakli ehtimollik

ity - tahlil qilinayotgan so'zning Cj lug'atidagi so'z belgilariga mos keladigan belgilar sonining so'zdagi harflar soniga nisbati:
X_i, mos ravishda

Pⁱ
^X_i^{ C}_j j  1, …, m, agar m  t bo‘lsa,


i 1,..., n,
(1)


^v m ^j 1,..., t boshqa hollarda,
bu erda v - har ikki so'zning hisoblangan yig'indisining indeksi; m - so'zdagi belgilar soni;
t– lug‘atdagi so‘zdagi belgilar soni; n - matndagi so'zlar soni.
Algoritm doirasida biz chegara nuqtasi sifatida ma'lum bir Pp - chegara qiymatini qabul qilamiz,

v
tizim o'rnatadigan hisoblangan Pi ehtimolini taqqoslash asosida
matnda buzg'unchi ma'lumotlarning mavjudligi yoki yo'qligi fakti.Ushbu ko'rsatkichning empirik tarzda o'rnatilgan kritik qiymatini [0,5; 1]. Keyin
X matnini vayron qiluvchi (D) yoki buzilmaydigan (nD) sinfiga belgilash ehtimoli
_→

_{P maksimal Pi  }X D agar P  P bo‘lsa_P,
(2)

v ^→
i _ ^{X nD}
boshqa hollarda.

Shunday qilib, topilgan ehtimollik P va chegara qiymati Pp o'rtasida taqqoslash amalga oshirilgandan so'ng, tizim matnni buzg'unchi yoki buzilmaydigan deb aniqlaydi.
Intellektual algoritmning ajralmas bosqichi lug'atni to'ldirish jarayonidir.Normativ bo'lmagan so'zlar sinfiga kiruvchi matnda topilgan so'z, agar uning ushbu sinfga tasniflanish ehtimoli qiymati Pc chegara qiymatini qondirsa, yangi bo'ladi. Empirik tarzda aniqlangan bu ma'no mavjud lug'at so'zlaridan faqat hol yoki ko'plik shaklida farq qiladigan so'zlarni kesish uchun zarurdir. Keling, diapazonni olaylik [0,5; 0.75] Shunday qilib, lug'at faqat quyidagi shartlarda yangi so'zlar bilan yangilanadi:
→ → _i
X_i C, agar P_v P_Bilan,
_→ →

_ X_i  C VboshqaXholatlar.
Qachon so'zlarni qabihlik deb tasniflash ehtimolini hisoblash asosida


Pⁱ P

v Bilan
tizim odobsiz so'zlar lug'atini avtomatik ravishda to'ldiradi. Ushbu jarayonni optimallashtirish uchun faqat yangi qo'shilgan so'zlarni hisobga olgan holda mutaxassis tomonidan lug'atning to'g'riligini vaqti-vaqti bilan tekshirib turish tavsiya etiladi.