27
Model uchta ma'lumotlar to'plamida to'g'ri o'qitilgandan so'ng, model baholanadi
saqlangan chiqish lug'at ro'yxatidagi so'z. Keyin taxmin qilingan qiymat kutilgan qiymat bilan taqqoslanadi
tekshirish uchun ajratilgan ma'lumotlar to'plamining qismi. Xulosa
haqida bashorat qilish uchun
xulosadagi keyingi so'z bo'lgan qiymat. Model tomonidan hisoblangan zararga qarab,
LSTM hujayralarining og'irliklari klassik orqaga tarqalish algoritmi orqali yangilanadi.
kiritilgan ma'lumotlar, modelning haqiqiy xulosasi ko'rsatilmaydi. Dekoderga birinchi kirish "boshlash" dir
token' bu modelga o'rgatilgan. Model so'zni bashorat qilgandan so'ng, bu so'z bo'ladi
9-rasm: Trening modeli arxitekturasi
Machine Translated by Google
10-rasm: bashorat
qilish modeli arxitekturasi
Konstantin Lopyrevning takroriy neyron tarmoqlari bilan yangiliklar sarlavhalari (2015). Softmax qatlami
Endi 10-rasmda ko'rsatilganidek, keyingi so'z uchun dekoderga kirish sifatida ishlatiladi. Shu sababli,
"Generating" da taklif qilingan vaqtning o'ndan bir qismidagi haqiqiy xulosa so'zining o'rniga kiritish
28
va keyin xulosa chiqarish uchun qolgan mahsulot bilan birlashtiriladi.
Har qanday nomuvofiqlikni bartaraf etish uchun trening bosqichida biz tasodifiy so'zni
tanladik
dekoderda har bir so'zning bir martalik kodlanishi chiqadi. Xaritadan foydalanib, so'z topiladi
o'qitish va modelning bashorat qilish bosqichi o'rtasida bir oz farq bor.
Machine Translated by Google
Juniper ma'lumotlar to'plami bilan chambarchas bog'liq emas va har bir modelni bir marta o'qitish 2 kungacha davom etishi mumkin.
Kodlovchining har bir LSTM qatlamiga haddan tashqari mos kelmaslik uchun tushirilishi mumkin) qo'shilgan.
Turli qiymatlar
mavhum xulosalash modeli Yangiliklar ma'lumotlar to'plamida o'rganilmagan, chunki Yangiliklar ma'lumotlar to'plami
davrlar soni o'zgartirildi va tark etish parametri (kiritilgan so'zlarning ulushi
ma'lumotlar to'plamining samarali umumlashtirish imkoniyatlarini o'lchash mumkin. Natijalar ko'rsatadi
yaratilgan xulosalar ROGUE-1 va BLEU ballari yordamida baholandi. Ushbu ballardan foydalanib,
modelni sinab ko'ring. Modellar ma'lumotlar to'plamida qayta ishlandi va natijalar bilan taqqoslandi
Keyin to'rtta model ma'lumotlar to'plamining tasdiqlash uchun ajratilgan qismida sinovdan o'tkazildi. The
cheklangan resurslarni hisobga olgan holda har bir parametr uchun sinovdan o'tkazildi
29
agar model har qanday ma'lumot to'plamida yaxshiroq ishlasa.
oldingi yugurish. Xulosalar ham inson ko'zlari bilan baholandi
va ular bilan solishtirildi
ilgari ishlab chiqarilgan. Tizimimizning orqa qismini tashkil etuvchi eng yaxshi modellar tanlab olindi.
sozlangan - xususan, yashirin birliklar soni ko'paytirildi, o'rganish tezligi oshirildi,
tozalangan ma'lumotlar to'plami: Stack Dataset,
KB Dataset, JIRA Dataset va JTAC Dataset. The
Modelning to'rt xil versiyasi yaratilgan bo'lib, ularning har biri to'rttadan birida o'qitilgan
Modelni turli ma'lumotlar to'plamlarida ishga tushirish va sinovdan o'tkazgandan so'ng, modelning parametrlari
