NATIJALAR
Logistik regressiyadagi optimallashtirish mezoni maksimal ehtimollilik deb ataladi. Chiziqli regressiyada bo‘lgani kabi o‘rtacha yo‘qotishni minimallashtirish o‘rniga, modelga muvofiq o‘quv ma’lumotlarining ehtimolini maksimal darajada oshiramiz:
𝐿𝑤,𝑏 ≝ ∏𝑖=1…..𝑁 𝑓𝑤,𝑏 (𝑥𝑖)𝑦𝑖(1 − 𝑓𝑤,𝑏 (𝑥𝑖))1−𝑦𝑖 (3)
Bu erdagi 𝑓𝑤,𝑏(𝑥𝑖 )𝑦𝑖(1 − 𝑓𝑤,𝑏(𝑥𝑖 ))1−𝑦𝑖 ifoda qo‘rqinchli tuyulishi mumkin, lekin bu shunchaki matematikadan "𝑦𝑖=1 bo‘lganda 𝑓𝑤,𝑏(𝑥𝑖) va aks holda (1 −
𝑓𝑤,𝑏(𝑥𝑖))" deb o‘zgartirsa bo‘ladi. Darhaqiqat, agar 𝑦𝑖 = 1 bo‘lsa, 1 − 𝑓𝑤,𝑏(𝑥𝑖)) 1 ga teng, chunki (1 - 𝑦𝑖) = 0 va bizga ma’lumki, 0 ning darajasiga teng bo‘lgan har qanday son 1 ga teng. Boshqa tomondan, 𝑦𝑖= 0 bo‘lsa, u holda xuddi shu sababga ko‘ra 𝑓𝑤,𝑏(𝑥𝑖)𝑦𝑖 1 ga teng bo‘ladi.
Maqsad funksiyasida chiziqli regressiyada qo‘llanilgan yig‘indi operatori o‘rniga ko‘paytma operatoridan foydalanilgan. Buning sababi, N ta namunadagi N yorliqlarni kuzatish ehtimoli har bir kuzatuvning ehtimolliklarining mahsulotidir
(barcha kuzatuvlar bir-biridan mustaqil bo‘lsa, bizning holatimizda haqiqatan ham shunday). Ehtimollar nazariyasi bo‘yicha bir qator mustaqil eksperimentlarda natija ehtimolini ko‘paytirish bilan parallellik o‘tkazish mumkin.
Model exp funksiyasidan foydalanganligi sababli, amalda ehtimollikdan ko‘ra log-ehtimollikni maksimallashtirish qulayroqdir. Logarifm ehtimoli quyidagicha aniqlanadi:
𝑖=1
𝐿𝑜𝑔𝐿𝑤,𝑏 ≝ ln (𝐿𝑤,𝑏(𝑥)) = ∑𝑁
[𝑦𝑖𝑙𝑛𝑓𝑤,𝑏(𝑥) + (1 − 𝑦𝑖)ln(1 − 𝑓𝑤,𝑏(𝑥))]
(4)
ln qat’iy ortib boruvchi funksiya bo‘lgani uchun uni maksimallashtirish uning argumentini maksimallashtirishga teng va bu yangi optimallashtirish masalasini hal qilish dastlabki masalani yechish bilan tengdir.
Chiziqli regressiyadan farqli o‘laroq, yuqoridagi optimallashtirish muammosi analitik yechimga ega emas. Shuning uchun bunday hollarda odatda sonli optimallashtirish masalasini echish uchun gradient tushish usulidan foydalaniladi.
Logistik regressiya asosida klassifikatsiyalash algoritmi. Logistik regressiya (LR) modeli:
𝑓𝑤,𝑏
(𝑥) = 1
1+𝑒(𝑤𝑥−𝑏)
(1)
𝑤,𝑏
uchun optimizatsiyalash, yani maxsimallashtirish kriteriyasini quyidagi ko‘rinishda yozib olamiz:
𝑖=1
𝑞(𝑤, 𝑏) = ∑𝑁
[𝑦𝑖 ln 𝑓𝑤𝑏(𝑥𝑖) + (1 − 𝑦𝑖) ln(1 − 𝑓𝑤𝑏(𝑥𝑖))] → 𝑚𝑎𝑥=> (𝑤 ∗, 𝑏 ∗) (2)
Bu yerda
𝑦𝑖
= { 1, 𝑖 = 1,2, … , 𝑁1 0, 𝑖 = 𝑁1 + 1, … , 𝑁
(3)
(1),(3) shartlardan foydalanib, (2) optimallashtirish kriteriysini quyidagi ko‘rinishda yozib olish mumkin:
𝑞(𝑤) = ∑𝑁
ln (1 + 𝑒∑𝑛
𝑤𝑗𝑥𝑗) − ∑𝑁
∑𝑛
𝑤 𝑥𝑗
(4)
Bu yerda
𝑖=1
𝑗=0 𝑖
𝑖=𝑁 1+1
𝑗=0
𝑗 𝑖
∑ 𝑛 𝑤𝑗 𝑥𝑗 = w𝑥𝑖 + 𝑏, 𝑖 = 1,2, … . , 𝑁; 𝑥0 = 1, 𝑤0 = b.
𝑗=0 𝑖 𝑖
Optimallashtirish masalasi
𝑤
𝑞(𝑤) →𝑚𝑎𝑥=> 𝑤∗, (5)
𝑓𝑤
(𝑥) = 1
− ∑𝑛
1
𝑖
𝑗 ≥ 2 , 𝑖 = 1,2, … , 𝑁1
(6)
1+𝑒
𝑓 (𝑥 ) = 1
𝑗=0 𝑤𝑗𝑥
< 1/2, 𝑖 = 𝑁
+ 1, … , 𝑁 (7)
− ∑
𝑤
1+𝑒
𝑛
𝑗=0
𝑗 1
𝑗
𝑤 𝑥
𝑖
Bu yerda 𝑤 = (𝑤0, 𝑤1, 𝑤2, … . , 𝑤𝑛).
Hosil bо‘lgan (5)-(7) optimallashtirish masalasini stoxastik tasodifiy qidiruv usullarining asoschisi L.A.Rastrigin tomonidan taklif etilgan moslashuvchan(adaptiv) tasodifiy qidiruv usulidan foydalanib yechamiz [1].
Moslashuvchan tasodifiy qidiruv usuli. Umumiy holda quyidagi optimallashtirish masalasi qо‘yilgan bо‘lsin
𝑞(ω) → 𝑚𝑖𝑛 => ω∗ (8)
ω ∈ 𝐷
bu yerda q(ω) – umumiy holda nochiziqli kо‘p о‘zgaruvchili funksiya
ω = (ω1, ω2, … . , ω𝑛),
ω∗ = (ω∗, ω∗ , … . . , ω∗ ) – (8) masalaning yechimi.
1 2 𝑛
D – optimallashtirish masalasining aniqlanish sohasi, odatda tenglik va tengsizliklar kо‘rinishida berilishi mumkin.
Moslashuvchan tasodifiy qidiruv usulida quyidagi rekkurent formuladan foydalaniladi:
ω𝑘+1 = ω𝑘 + ∆ω𝑘+1, (9)
𝑘+1
𝑎𝑘+1∆ω𝑘, 𝑎𝑔𝑎𝑟𝑑𝑎 𝑞(ω𝑘) < 𝑞(ω𝑘−1)
∆ω = {
𝑎
𝑘+1
, 𝑎𝑔𝑎𝑟𝑑𝑎 𝑞
(ω 𝑘)
≥ 𝑞
(ω𝑘−1) (10)
𝑎𝑘+1 – (k+1) qadamning uzunligini xarakterlovchi parametr. U optimallashtirish jarayonining qay darajada ketishiga qarab hozirgi holatga moslashtiriladi – agarda bundan oldingi qadam muvofaqqiyatli bо‘lsa, u holda bu parametr kattalashtiriladi, aks holda kichiklashtiriladi:
𝑘+1
𝛿1𝑎𝑘 , 𝑎𝑔𝑎𝑟𝑑𝑎 𝑞(ω𝑘) < 𝑞(ω𝑘−1)
𝑎 = {
𝛿2
𝑎𝑘 , 𝑎𝑔𝑎𝑟𝑑𝑎 𝑞(ω𝑘) ≥ 𝑞(ω𝑥𝑘−1) (11)
Bu yerda 𝛿1 > 1, 𝛿2 < 1 koeffisentlar hisoblash jarayonining ijobiy natijadorligini taminlash maqsadidan kelib chiqib tanlanadi.
Bu parametrlarni tо‘g‘ri tanlash masalaning ijobiy yechimini tanlashda alohida о‘rin tutadi.
ξ𝑘+1 – (k+1) qadamdagi n-о‘lchovli birlik sferada barcha yо‘nalishlar bо‘yicha tekis taqsimlangan birlik tasodifiy vektordir.
U quyidagi algoritm yordamida hosil qilinadi:
ξ = (ξ1, ξ2, … . , ξ𝑛)
ξ = 𝛾𝑖 ; i=1,2,…..,n (12)
√∑
𝛾
𝑖 𝑛 2
𝑗=1 𝑗
Bu yerda 𝛾𝑖 (i=1,2,….,n) 𝛾𝑖 ∈ [−1,1] intervalda tekis taqsimlangan tasodifiy sonlar ketma-ketligi.
U quyidagi
𝜃: √2; √2 ; √3; √3 ; (13)
2 2
irratsional sonlar qatnashgan ifodalardan ixtiyoriy birortasidan foydalangan xolda quyidagi hisoblash formulasi asosida hosil qilinadi.
𝜂𝑗 = ]𝑗 × 𝜃[, 𝑗 = 1,2, … … . , …. (14)
Bu yerda ]∙[ - 𝑗 × 𝜃 ifoda hisoblangandan sо‘ng, uning kasr qismi olinishi funksiyasini bildiradi. Bu 𝜂𝑗 sonlar [0,1] intervalda tekis taqsimlangan tasodifiy sonlar ketma-ketligi hisoblanadi.
𝛾𝑗 = (с − 𝑑)𝜂𝑗 + 𝑑, j=1,2,…….. (15)
bu yerda d=-1, с=1.
Hosil bо‘lgan 𝛾𝑗 sonlar [-1,1] intervalda tekis taqsimlangan tasodifiy sonlar ketma-ketligi hisoblanadi.
|
