Tabiiy tilni qayta ishlash yordamida matnni umumlashtirish Ankit Kumar Homiylar

1.0 Kirish
butun to'plamdan ma'lumot oling va uni inson o'qiy oladigan formatda taqdim eting. Onlayn matnli ma'lumotlar sifatida
savollar. Chatbot KBda foydalanuvchilar tomonidan so'ralgan so'rovlarni qidirishi va havolalarni olishi mumkin
• Matnni umumlashtirish bilan bog'liq joriy texnologiyalar va taraqqiyotni o'rganing.
ushbu maqsadlarga erishish uchun biz quyidagi maqsadlarni ishlab chiqdik:
Avtomatik matnni umumlashtirish ortida eng muhimlarning qisqacha to'plamini topish mumkin
Kompaniya hozirda mijozga 24x7 tezkor yordam ko'rsatish uchun chatbotni ishlab chiqmoqda
Juniper Networks - bu korxonalarni ishlab chiqaradigan va qo'llab-quvvatlaydigan tarmoq kompaniyasi.
foydali ma'lumotlarni qisqa vaqt ichida o'qish mumkin.
chatbot mijozlarga xulosalarni taqdim etishi uchun ushbu maqolalar. Keyin mijozlar mumkin
tegishli maqolalar. Juniper Networks avtomatik ravishda umumlashtirish yo'llarini qidirmoqda
o'sadi, matnni avtomatik umumlashtirish usullari juda foydali bo'lishi mumkin, chunki ko'proq
Mijozlar bazasini qondirish uchun Juniper muammolarni tez va samarali hal qilishga harakat qiladi.
Ushbu asosiy malakaviy loyihaning maqsadlari matn uchun tadqiqot usullarini o'rganishdir
1
marshrutlash, kommutatsiya va xavfsizlik mahsulotlari, shuningdek xizmat ko'rsatish shartnomalari (Juniper.net, 2018).
Juniper xodimlari tomonidan yaratilgan chiptalar va masalalarni umumlashtirish uchun ichki.
ular butun maqolani o'qishni xohlaydilarmi yoki yo'qligini hal qiling. Xulosa qilish vositasidan keyingi foydalanish mumkin
insoniy yozma echimlar bilan mijozlardan. KB yigirma mingdan ortiq maqolalarni o'z ichiga oladi.
mos ravishda uzunroq matnli hujjatning aniq xulosasi (Brownlee, 2017a). Asosiy fikr
Juniper Networks ma'lumotlar to'plamini samarali va samarali tarzda umumlashtirish mumkin. erishish uchun
umumlashtirish, hujjatlarni umumlashtirish uchun oxirigacha prototip vositasini yarating va aniqlang
Matnni umumlashtirish - bu qisqa, ravon va eng muhimi yaratish jarayonidir
Juniper Networks savollardan iborat ma'lumotlar to'plami bo'lgan bilimlar bazasini (KB) saqlaydi
Machine Translated by Google

Yuqoridagi maqsadlardan so'ng biz ekstraktiv xulosani o'rganib chiqdik va
ma'lumotlar to'plami, Juniper's KB ma'lumotlar to'plami, Juniper's JIRA ma'lumotlar to'plami va Juniper's JTAC ma'lumotlar to'plami.
• Matnlarni kiritish sifatida qabul qiladigan va xulosa chiqaradigan uchdan-end vositani yarating va joylashtiring
beshta ma'lumotlar to'plamining har biridan kiritilgan matnni umumlashtirish: Yangiliklar ma'lumotlar to'plami, StackOverflow
algoritmlar (Ramos va Xuan, 2003). Biz chuqur yordamida mavhum xulosalashni amalga oshirdik
Textrank (Mihalcea, Rada va Paul Tarau, 2004) va TF-IDF yordamida ekstraktiv xulosalar
matnni umumlashtirish bilan bog'liq. Keyinchalik, 3-bo'lim matn bo'yicha ba'zi tegishli ishlar bilan tanishtiradi
Ushbu hisobotning qolgan qismi quyidagicha tashkil etilgan. 2-bo'limda texnik shartlar muhokama qilinadi
mavhum xulosalash, matnni umumlashtirishda keng tarqalgan usullar. Amalga oshirdik
Juniper ma'lumotlar to'plami va ikkita umumiy ma'lumotlar to'plami). Tozalangan ma'lumotlar to'plamidan foydalanib, biz o'qidik va baholadik
• Xulosa qilish uchun foydalaniladigan maÿlumotlar toÿplamini filtrlang va tozalang.
2
o'rganish modellari. Ilovalarimizni ishga tushirish va sinab ko'rish uchun biz beshta ma'lumotlar to'plamini tanladik va filtrladik (uchta
natijalar.
umumlashtirish. Nihoyat, 4 va 5-bo'limlarda loyiha maqsadiga erishish uchun foydalaniladigan usullar va
har qanday kiritilgan matnni jamlay oladigan dastur. Veb-ilova tanlovlarni taklif qiladi
• Modellarni baholang va agar kerak bo'lsa, ularni sozlang.
• Matnni umumlashtirishning turli usullari uchun algoritm va modellarni amalga oshirish.
modelimizning turli versiyalari. Modelni yakunlaganimizdan so'ng, biz uchdan-end asboblar tarmog'ini qurdik
Machine Translated by Google

2.0 Fon
ushbu loyiha (2.5-bo'lim).
mavhum xulosa (Dalal va Malik, 2013).
3
ularni atrof-muhit (2.4-bo'lim) va yakunlash uchun foydalanilgan kutubxonalar bilan birga baholash uchun
matnni umumlashtirish uchun odatda ikkita yondashuvga tayanadi: ekstraktiv xulosa va
inson tillari va kompyuterlar o'rtasidagi o'zaro ta'sirni o'rganish (Chowdhury, 2003). Matn
Ekstraktiv xulosalash asl nusxadan kalit so'zlarni yoki asosiy jumlalarni ajratib olishni anglatadi
Tabiiy tilni qayta ishlash (NLP) - bu kompyuter fanining sohasi bo'lib, unga e'tibor qaratiladi
yozish va inson o'qishi mumkin bo'lgan natijalarni ishlab chiqarish. NLPni sun'iy tadqiqot sifatida ham ko'rish mumkin

Download 2,7 Mb.