2-rasm. NOIR (Neural Signal Operated Intelligent Robots) ishlash mexanizmi.
Obyektni tanlash uchun NOIR foydalanuvchisi turli chastotalarda miltillovchi ob'ektlarni aks ettiruvchi ekranga qaraydi. Foydalanuvchi obyektga e'tibor qaratganda, SSVEP hosil bo‘ladi. EEGda qaysi chastota kuchliroq ekanligini aniqlash mumkin va keyin miltillovchi vizual stimulning chastotasi aniqlagandan keyin foydalanuvchi diqqatini qaratayotgan ob'ekt haqida xulosa chiqarish mumkin. Ilgari, miltillovchi LEDlar shunga o‘xshash vazifalar uchun ishlatilgan, bu BMI misolida esa OWL-ViT modeli (transformator) ishlatiladi, bu obyektni segmentatsiyalash maskalarini aniqlaydi va ko‘rsatadi. Keyinchalik, har bir niqobga turli xil miltillash chastotalari qo‘llaniladi (6 GHz, 7,5 GHz, 8,57 GHz va 10 GHz). Foydalanuvchi 10 soniya davomida kerakli obyektga diqqatini qaratib turishi kerak, bu esa kerakli obyektni aniqlash imkonini beradi.
3-rasm. EEG signalini olish, qayta ishlash, chiqarish va robot boshqaruvida qo’llash jarayonlarii algoritmi.
Harakatlarni tanlash uchun NOIR foydalanuvchisi 4 ta harakatdan birini aqliy ravishda tasavvur qilishi kerak: chap qo‘l, o‘ng qo‘l, oyoqlar, dam olish (klassifikatorni ushbu harakatlarga o‘rgatish uchun 10 daqiqalik tizimni kalibrlashning dastlabki protsedurasi amalga oshiriladi).
Kerakli chastotalarni aniqlash uchun EEG signali 8 GHz dan 30 GHz gacha bo‘lgan diapazonda filtrlanadi (bu diapazon MI faolligi bilan bog‘liq bo‘lgan m-band va b-band chastotalarni o‘z ichiga oladi), 5 soniyali segmentlarga bo‘linadi va CSP yordamida qayta ishlanadi.
Tanib olish tizimining xavfsizligini kuzatish uchun yuz mushaklari kuchlanishining elektr signallari qo‘shimcha ravishda o‘qiladi (elektromiografiya (EMG)). Bu signal foydalanuvchilar qoshlarini chimirganda yoki jag‘larini qisganda paydo bo‘ladi. EMG signali EEGga qaraganda ancha kuchli va uni aniqlashning aniqligi nihoyatda yuqori, bu esa undan foydalanishga obyekt, mahorat yoki parametr tanlashni tasdiqlash yoki rad etish imkonini beradi.
Insonning niyatlarini dekodlash juda ko‘p vaqtni talab qilganligi sababli, taqdim etilgan NOIR tizimi mavjud kontekstga qarab obyektlar, ko‘nikmalar va parametrlarni tanlashni optimallashtiradi. Buning uchun tizim xotirada eng mos tajribani topadi va tegishli malaka va obyektni tanlaydi. Shu maqsadda R3M modeli qo‘llaniladi, ob'ektlarni moslashtirish va mos keladigan ko‘nikmalarga o‘rgatiladi.
Mavjud yechimlarni tahlil qilish va robotlarni boshqarish uchun qo‘llanilishi.
Neural Signal Operated Intelligent Robots (NOIR) - bu umumiy maqsadli, aqlli miya-robot interfeysi tizimi bo‘lib, u odamlardan robotlarga miya signallari orqali ma’lumot yuborish, kundalik ishlarni bajarishga buyruq berish imkonini beradi. Ushbu interfeys orqali odamlar elektroensefalograf yordamida robotlarga mo‘ljallangan qiziqishlar va harakatlar haqida xabar beriladi. Yangi tizim 20 ta qiyin, kundalik uy ishlari, jumladan, pishirish, tozalash, shaxsiy parvarish va turli o‘yinlarni o‘z ichiga olgan keng doiradagi harakatlarni namoyish etadi. Tizimning samaradorligi robotlarni o‘rganish algoritmlarining sinergik integratsiyasi orqali yaxshilanadi, bu NOIRga individual foydalanuvchilarga moslashish va ularning niyatlarini bashorat qilish imkonini beradi. Bu ish odamlarning robotlar bilan o‘zaro munosabatini yaxshilashi mimkin, an'anaviy o‘zaro ta’sir kanallarini to‘g‘ridan-to‘g‘ri, neyron aloqa bilan almashtirishi mumkin.
4-rasm. EEG signallaridan doydalanib Sukiyaki nomli robotni boshqarish jarayoni.
NOIRning asosiy texnik vazifasi inson niyatlari uchun modulli neyron signalni dekodlash jarayonini o‘z ichiga oladi. Neyron signallardan insonning mo‘ljallangan maqsadlarini (masalan, "stoldan krujkani olish") dekodlash juda qiyin. Inson niyatini uchta komponentga bo‘lish mumkin: qaysi obyektni manipulyatsiya qilish kerak, obyekt bilan qanday munosabatda bo‘lish kerak va qayerda o‘zaro ta’sir qilish kerak. Bunday signallarni turli xil neyron ma’lumotlaridan dekodlash mumkinligini ko‘rsatish mumkin. Bu signallar, tabiiy ravishda, parametrlangan robot ko‘nikmalariga mos keladi va robotlarga samarali tarzda yetkazilishi mumkin. Stol usti yoki mobil manipulyatsiyani o‘z ichiga olgan 20 ta uy xo‘jaligi faoliyatida uchta odam o‘zlarining miya signallari bilan ushbu vazifalarni bajarish uchun tizimdan muvaffaqiyatli foydalangan. Odamlarda bir necha marta robotlarni o‘rganish tizimini samaradorligini sezilarli darajada oshirishi mumkinligini ko‘satib o‘tilgan. Hamkorlik uchun inson miyasi signallaridan foydalanadigan aqlli robot tizimlarini yaratishga bunday yondashuv nogironlar uchun muhim yordamchi texnologiyalarni ishlab chiqish va ularning hayot sifatini yaxshilash uchun ulkan salohiyatga ega.
NOIR ikkita komponentdan iborat: inson miyasi signallaridan maqsadlarni dekodlash uchun modulli liniyasi va fikrlarni modulyatsiya qilishshga imkon beruvchi kutubxonalarga ega robot tizimi. Robotlar insonning maqsadlarini bashorat qilishni o‘rganish qobiliyatiga ega, shuning uchun dekodlash uchun zarur bo‘lgan inson kuchini kamaytiradi.
5-rasm. Robotlar insonning maqsadlarini bashorat qilishni o‘rganishi tartibi.
6-rasm. “Nima, Qanday qilib, Qayerda” degan savollardan foydalanib, robotga bajariladigan ishni tushintirish algotitmi.
Inson niyatini dekodlash ko‘p vaqt talab etadi va qimmatga tushadi. Robot inson ob'ektini, mahoratini va parametrlarini tanlashni bir necha marta o‘rganadi, shuning uchun insonning mehnati va vaqtini kamaytirish mumkin, chunki ular o‘xshash kontekstlarda bir xil vazifani bajaradilar.
Qidirishga asoslangan bir necha obyekt va mahorat tanlash modeli kuzatishlar uchun yashirin tasvirni o‘rganadi. Yangi kuzatuvni hisobga olgan holda, u xotirada eng mos tajribani topadi va mos keladigan mahorat va ob'ektni tanlaydi.
Bir martalik mahorat parametrlarini o‘rganish algoritmi tasviridagi mos yozuvlar nuqtasi berilgan test tasvirida semantik jihatdan mos keladigan nuqtani topadi. Funksiya vizualizatsiyasi ishlatilgan 768 ta DINOv2 tokenlaridan 3 tasini ko‘rsatadi.
7-rasm. Robot elementni aniqlashi.
NOIR yordamida 3 nafar inson ishtirokchi 20 ta masofadan turib vazifani kundalik faoliyatida bajargan. 16 ta faoliyat (2-17-faoliyatlar) 1-ishtirokchi bilan stol usti manipulyatsiyasi vazifalari va 4 (18-21-faoliyatlar) 2-ishtirokchi bilan mobil manipulyatsiya vazifalari bajarilgan. Vazifalar 8 ta ovqat tayyorlash, 6 ta tozalash, 3 ta shaxsiy parvarish va 3 ta ko‘ngilochar vazifalarni o‘z ichiga oladi.
8-rasm. NIOR yordamida vazifalarni bajarish jarayoni.
9-rasm. Vazifa jarayonlari (dekodlash davri o‘tkazib yuborilgan).
EEG qurilmalari, ayniqsa, implantlar kabi invaziv qurilmalar bilan solishtirganda, hech qanday nojo‘ya ta’sirlari bo‘lmaydi. Elektr impedansini pasaytirish va o‘tkazuvchanlikni yaxshilash uchun tuz eritmasidan foydalanish mumkin. To‘r uzoq vaqt davomida ishlatilsa, eritma terining ozgina tirnash xususiyati keltirib chiqarishi mumkin, shuning uchun buni yumshatish uchun eritmani bolalar shampuniga aralashtirish tafsiya qilinadi.
100% dekodlash aniqligidan tashqari, robotning mushaklar kuchlanishi bilan harakatlarini tasdiqlash yoki to‘xtatish uchun EEG tomonidan boshqariladigan xavfsizlik mexanizmini qo‘llash tavsiya qilinadi. Shunga qaramay, joriy tadqiqot robot harakatlarini to‘xtatganda 500 ms kechikishni talab qiladi, bu esa yanada dinamik vazifalarda potentsial xavfga olib kelishi mumkin. Qisqaroq dekodlash oynasidan foydalangan holda ko‘proq o‘quv ma’lumotlari bilan muammoni potentsial ravishda tuzatish mumkin.
Tadqiqotlarda qo‘llaniladigan EEG qurilmasi ko‘p qirrali bo‘lib, kattalar va besh yoshgacha bo‘lgan bolalar uchun mo‘ljallangan. Turli o‘lchamdagi sensorlar bilan jihozlangan qurilma turli bosh o‘lchamlari bilan mosligini ta’minlaydi. Dekodlash usullari turli xillik va inklyuziyani hisobga olgan holda puxta ishlab chiqilgan bo‘lib, ikkita EEG signaliga asoslanadi: barqaror holatdagi vizual uyg‘otuvchi potentsial va vosita tasvirlari. Ushbu signallar odamlarning keng doirasi uchun samaradorlikni ko‘rsatdi.
Bitiruv malakaviy ishida EEG signallarini qayta ishlash asosida robotni boshqarish tizimini ishlab chiqish masalasi qo‘yilgan. Bu loyihani ko‘pgina texnologik boshqaruv sohalarida qo‘llashimiz mumkin. EEG signallaridan foydalanib robotni boshqarishda Arduino qurilmasidan foydalanish o‘ziga xos afzalliklarga ega. Bunda Arduino va MindFlex qurilmasi yordamida buyruqlarni robotga fikrlash orqali tushuntirish va unga kerakli vazifalarni bajartirish mumkin bo‘ladi.
Loyiha asosida EEG signalining qayta ishlash usullarini o‘rganish, joriy qilish, va ularni amaliyotga o‘tkazish uchun qurilmaning tanlanishi, soha bo‘yicha yuqori texnologiyalar va vositalarni tanlash, shuningdek EEG signalining qayta ishlash va tasniflash algoritmini amalga oshirishning metodologiyasini tuzish talab qilinadi.
Birinchi bosqichlarda, mavzu boyicha to‘g‘ri tashqi manbalar va ma’lumotlar bazasidan foydalanish lozim. Bu esa, loyihaning ilmiy tadqiqotlar, tanlangan usullar, va jarayonning metodologiyasini aniqlashda yordam beradi.
|
