2.3 Matnni abstraktsiya qilish
Machine Translated by Google
hech qanday oldindan ma'lumotsiz. Masalan, elektron pochta spamida
odatda raqamlar formatida kiritish; chiqish qatlamida “javob beradigan birliklar mavjud
5
keyingi so'zni qayta ishlaganda oldingi so'zlarni eslab qoling. Bunga erishish uchun bizda bor
tizimlar misollarni ko'rib chiqish orqali vazifalarni o'rganadi va odatda
tarmoq modeli. U uchta qatlamni o'z ichiga oladi: kirish qatlami qabul qiluvchi birliklarni o'z ichiga oladi
sun'iy neyron tarmoqlari o'zining tegishli to'plamini rivojlantiradi
"spam" yoki "spam emas". Ushbu ma'lumotlar to'plamini qayta ishlash orqali
kirish qatlami va chiqish qatlami va uning vazifasi kirishlarni chiqadigan qatlamga aylantirishdir
har qanday vazifani qanday o'rganganligi haqida ma'lumot kiritish"; yashirin qatlam orasidagi birliklarni o'z ichiga oladi
detektor, ma'lumotlar to'plamidagi har bir elektron pochta qo'lda shunday etiketlanadi
spamdir.
2.3.1 Sun'iy neyron tarmog'i
An'anaviy neyron tarmoqlari qurishda oldingi ishlarni eslamaydi
elektron pochta o'rtasidagi xususiyatlar va yangi elektron pochta xabari
2.3.2 RNN va LSTM
foydalanishi mumkin
(Schalkoff, 1997).
odatda bir qator qatlamlarda joylashgan. 1-rasm neyronning eng keng tarqalgan arxitekturasidir
biologik neyron tarmoqlardan ilhomlangan tizimlar. Bunday
kirish hujjatlaridagi so'zlarning ketma-ketligi muhim ahamiyatga ega. Bunday holda, biz modelni xohlaymiz
berilgan misollardan vazifani tushunish. Biroq, matnni umumlashtirish kabi vazifalar uchun,
Ko'proq kengaytirish uchun sun'iy neyron tarmoqlari birliklar deb ataladigan sun'iy neyronlardan iborat
Sun'iy neyron tarmoqlari hisoblash
Machine Translated by Google
o'ralganga o'xshaydi. Uchun
an'anaviy RNN ko'pincha yod olmaydi
ma'lumotlar.
olish uchun yuzlab yoki minglab operatsiyalar
oldingi vaqt tamg'asi. Biroq, amalda,
Takroriy neyron tarmoq (RNN)
har bir vaqt tamg'asidan keyin (agar kiritilgan bo'lsa
Uzoq muddat. An'anaviy RNNdan farqli o'laroq, har bir LSTM hujayra ichida bir nechta oddiy mavjud
chiqish birliklari qiymatini ifodalaydi
masofa
ortib borishi bilan ma'lumotlar samarali bo'ladi
rasmdagi belgilar, “ht”
har bir vaqt tamg'asi uchun birliklar va A neyron tarmog'ining bir qismini bildiradi. 2-rasmda ko'rsatilgan
takroriy neyron tarmoqlardan foydalanish, chunki ular qayerda halqalari bo'lgan tarmoqlardir
ulangan
Yaxshiyamki, Uzoq qisqa muddatli xotira (LSTM) tarmoqlari ma'lumotlarni uzatishi mumkin
satrlar ro'yxati, har bir vaqt tamg'asi bir so'zni qayta ishlash bo'lishi mumkin), "x" kirishni anglatadi
the
6
orasida
murakkab hisob-kitoblarsiz ma'lumotlarni uzatish imkonini beruvchi chiziqli operatsiyalar. Sifatida
neyron tarmog'ining bir bo'lagida sodir bo'ladi. Shunday qilib, ma'lumotlar undan olinadi
2-rasmda qanday qilib a
chiziqli bo'lmagan, uni orqaga qaytarish qiyin
ma `lumot. Har bir faollashtirish funktsiyasidan boshlab
ma'lumotlar modelda saqlanib qolishi mumkin (Kristofer, 2015).
oldingi vaqt tamg'asidan olingan natija hisoblashning bir qismi uchun keyingi bosqichga o'tkaziladi
Machine Translated by Google
ochiladigan uchta eshik orqali ma'lumot va
Qanday ma'lumotlar bo'lishi kerakligini hal qilish uchun
chiqish nima bo'lishi kerakligini hal qiladi. 6-rasmda chiqish qatlamida hujayra holati ko'rsatilgan
Oxirgi eshik "chiqish eshigi qatlami",
o'qish, yozish va o'chirishga ruxsat bering
o'tish.
ni oladi “unutish darvozasi qatlami” deb ataladi
4-rasmda ko'rsatilganidek, birinchi eshik
Bundan tashqari, oldingi chiqish birliklari qiymatini oladi
yangilangan, LSTM "kirish darvozasi qatlamini" o'z ichiga oladi.
yaqin.
joriy kirish xt va raqamni chiqaradi
3-rasmda ko'rsatilgandek, hozirgacha barcha ma'lumotlarni o'z ichiga olgan oldingi hujayra holati muammosiz ketadi
ma'lumotlar yangilanishi kerak. Keyin,
7
oldingi chiqish birliklari qiymati ht-1 va the
qaysi hujayralar ichida ekanligini ko'rsatadigan raqam
ht-1 va joriy kirish xt va chiqishlari a
ma'lumotlarni uzatish. 0 hech qanday ma'lumot o'tishiga yo'l qo'ymaslikni anglatadi, 1 esa barcha ma'lumotlarga ruxsat berishni anglatadi
Ichkarida har bir LTSM xujayrasi qanday ma'lumotlarni saqlash va qachon saqlash haqida qaror qabul qiladi
davlat Ct.
oldingi hujayra holati Ct-1 yangisiga yangilanadi
nisbatini ko'rsatish uchun 0 va 1 oralig'ida
LSTM xujayrasi orqali ba'zi chiziqli operatsiyalarni bajarish orqali.
Machine Translated by Google
tarmoq ko'plab LSTM hujayralaridan iborat va barchasi
Chen, Korrado va Din, 2013). Oddiy misol, so'zlarni vektorlarga ifodalagandan so'ng,
8
ma'lumotnomalar xulosalari. Qayta chaqirish bir-biriga o'xshash so'zlar sonini bo'lish yo'li bilan hisoblanadi
so'zlar o'rtasida aloqa o'rnatadi va ular o'rtasida hisob-kitoblarga imkon beradi (Mikolov, Sutskeve,
uchta eshik qatlami. Keng LSTM neyroni
tarmoq qancha hujayradan iborat bo'lishidan qat'i nazar.
muhim ma'lumotlar oxirigacha saqlanadi, yo'q
"malika". So'zni joylashtirishdan foydalanishning afzalligi shundaki, u so'zning ko'proq ma'nosini qamrab oladi va
"qirol - erkaklar + ayollar" funktsiyasi so'zning vektor ko'rinishini ideal tarzda beradi
ma'lumotlar barcha hujayralar orqali uzatiladi
So'zni joylashtirish - bu xususiyatlar to'plami
tanh funksiyasidan o'tadi, keyin esa sigmasimonning og'irlikdagi chiqishi bilan ko'paytiriladi
ROUGE qisqartmasi Gisting Evaluation uchun Recall-Oriented Understudy degan ma'noni anglatadi. Bu to'plam
| 