Namangan Institute of Engineering and Technology
nammti.uz
10.25.2023
Pg.396
qildimi? Keling, qog'ozni o'rganib chiqamiz va bu haqiqatan ham yangi kashfiyot ekanligini
tushunishga harakat qilamiz. Shu bilan bir qatorda, har qanday ma'lumot olimi DNNni izohlash
muammosini hal qilishda bilishi va eslashi kerak bo'lgan muhim diqqat markazida ekanligini ko'rib
chiqamiz. Aytekin, bo'lak-bo'lak chiziqli faollashtirish funktsiyalari (masalan, ReLU) bo'lgan har
qanday klassik oldinga
yo'naltirilgan
DNN
qaror
daraxti
modeli
bilan
ifodalanishi
mumkinligini ko'rsatdi. Keling, ikkalasi o'rtasidagi asosiy farqni ko'rib chiqaylik:
DNN kirishni
o'zgartirish va ularning neyronlarining faollashuvini bilvosita yo'naltirish uchun
parametrlarga mos keladi.
Qaror daraxtlari ma'lumotlar oqimini boshqarish uchun aniq parametrlarga mos keladi .
Maqolaning motivatsiyasi
DNN modellarining qora qutisi tabiatini hal qilish va DNN xatti-
harakatlarini
tushuntirishning
boshqa
usuliga
ega
bo'lishdir. Ish
to'liq bog'langan va
konvolyutsion tarmoqlarni boshqaradi va to'g'ridan-to'g'ri ekvivalent qarorlar daraxti tasvirini taqdim
etadi. Demak, mohiyatan, ular o'rtasida chiziqli bo'lmagan og'irliklar ketma-ketligini olish va uni
yangi og'irliklar tuzilishiga aylantirishda DNN dan qarorlar daraxti modeliga o'tishni o'rganadi.
Aytekin muhokama qiladigan qo'shimcha natijalardan biri
tegishli
DNN
ning
hisoblash
murakkabligi (kamroq xotira xotirasi) bo'yicha afzalliklaridir. Frosst va Xinton o'zlarining [4]
"Neyron tarmoqni yumshoq qarorlar daraxtiga distillash" ishlarida qarorlar daraxtlari yordamida
DNN larni tushuntirishga ajoyib yondashuvni taqdim etdilar. Biroq, ularning ishi Aytekinning
qog'ozidan farq qiladi, chunki ular DNN va qarorlar daraxtlarining afzalliklarini birlashtirgan. Yangi
og'irliklarni hisoblash orqali kengayuvchi daraxtni qurish: tavsiya etilgan algoritm tarmoqqa kelgan
signallarni oladi va ReLU'lar faollashtirilgan va ular faollashtirilmagan signallarni qidiradi. Oxir-oqibat,
algoritm (transformatsiya) birliklar (yoki qiymatlar) va nollarning vektorini almashtiradiva qo'yadi.
Algoritm barcha qatlamlar bo'ylab ishlaydi. Har bir qatlam uchun u avvalgi qatlamdagi kirishlar
nima ekanligini ko'radi va har bir kirish uchun bog'liqlikni hisoblab chiqadi. Aslida, har bir qatlamda
yangi
samarali filtr tanlanadi, shuning uchun u tarmoq kiritishiga qo'llaniladi (oldingi qaror
asosida). Shunday qilib, to'liq bog'langan DNN yagona qaror daraxti sifatida taqdim etilishi
mumkin, bunda transformatsiyalar natijasida topilgan samarali matritsa toifalash qoidalari sifatida
ishlaydi.
Siz uni konvolyutsion qatlam uchun ham amalga oshirishingiz mumkin. Asosiy farq shundaki,
ko'p qarorlar qatlamga to'liq kirish emas, balki qisman kirish hududlari bo'yicha qabul qilinadi.
O'lchovlilik va hisoblash murakkabligi haqida : Olingan qarorlar daraxtidagi toifalar soni juda katta
ko'rinadi. To'liq muvozanatli daraxtda biz daraxtning chuqurligining kuchiga 2
ga
muhtojmiz (chiqib bo'lmaydigan). Biroq, biz yo'qotishsiz kesishni ta'minlaydigan buzuvchi
va ortiqcha qoidalarni ham esga olishimiz kerak.
