|
Uslubni uzatish usuli tasvirni birinchisidan ko'rinish va ikkinchisidan hissiyotni sintez qilish uchun kirish sifatida kontent tasvirini va uslub tasvirini oladi
|
| bet | 1/2 | | Sana | 15.05.2024 | | Hajmi | 0,64 Mb. | | #234173 |
Bog'liq Mashinali oqitishga kirish Mustaqil ishi 4 Baxromov Ozod
O`ZBEKISTON RESPUBLIKASI AXBOROT TEXNOLOGIYALARI VA KOMMUNIKATSIYALARINI RIVOJLANTIRISH VAZIRLIGI
MUHAMMAD AL-XORAZMIY NOMIDAGI
TOSHKENT AXBOROT TEXNOLOGIYALARI
UNIVERSITETI SAMARQAND FILIALI
“ Kompyuter injiniringi “ fakulteti
“ Kompyuter tizimlari ” kafedrasi
“ Mashinali o’qitishga kirish ” fanidan
Bajardi: Baxromov.O
KIF 21-02 guruh
Tekshirdi: Kubayev.S.T
SAMARQAND – 2024
Mavzu: Tasvirlarni chiziqli oʻzgartirish
REJA:
Uslubni uzatish usuli tasvirni birinchisidan ko'rinish va ikkinchisidan hissiyotni sintez qilish uchun kirish sifatida kontent tasvirini va uslub tasvirini oladi. So'nggi yillarda ko'plab uslublarni uzatish usullari ishlab chiqildi. Gatys va boshqalarning usuli maqsadli tasvir va kirish tasvirlari o'rtasidagi tarkib va uslubni qayta qurish yo'qotishlarini takroriy ravishda kamaytiradi. Hisoblash narxini pasaytirish uchun oldinga uzatiladigan tarmoqlarga asoslangan bir nechta yondashuvlar ishlab chiqildi. Biroq, bu yondashuvlar bitta tarmoq bilan universal uslubdagi tasvirlarni umumlashtirmaydi.
Umumjahon uslublarni uzatish uchun bir qator usullar ikkinchi darajali statistik o'zgarishlarni mos yozuvlar tasviridan kontent tasviriga kontent tasvirining xususiyatlari va transformatsiya matritsasi o'rtasidagi chiziqli ko'paytirish orqali o'rganadi. AdaIn usuliga mos keladi va teng hissaga mos keladi.
1-rasm.(a) badiiy (b) fotorealistik (c) video
Shakl 1. Taklif etilayotgan algoritmning qo'llanilishi. (a) Badiiy uslubni uzatish. (b) Fotorealistik uslubni uzatish. (c) Video uslubini uzatish (Adobe Reader yordamida animatsiyalarni ko'rish uchun rasmga bosing). Uslubning eskizlari pastki o'ng burchaklarda ko'rsatilgan.
mazmun va uslub tasvirlari orasidagi chuqur xususiyatlarning vositalari va farqlari. WCT algoritmi oqartirish va rang berish jarayonlarini oldindan oʻrgatilgan kodlovchi-dekoder moduliga kiritish orqali dispersiya oʻrniga xususiyat kovariatsiyasi matritsasidan qoʻshimcha foydalanadi. Biroq, bu yondashuvlar ushbu matritsalarni chuqur xususiyat vektorlaridan bevosita hisoblaydi. Shunday qilib, bu usullar ushbu muammoning umumiy echimlarini taqdim etmaydi. Bundan tashqari, bunday matritsali hisoblash usullari chuqur xususiyat vektorlarining yuqori o'lchamliligi tufayli hisoblash qimmat bo'lishi mumkin.
Ushbu ishda biz o'rganish mumkin bo'lgan chiziqli o'zgartirish matritsasini taklif qilamiz, u ixtiyoriy juftlik va uslub tasvirlariga asoslangan. Biz chiziqli konvertatsiya qilamiz va uslublarni uzatishda keng qo'llaniladigan rekonstruksiya maqsadiga (gramm matritsalari orasidagi farqning kvadrat Frobenius normasi) bog'lanishlarni olamiz. Biz ikkita engil vaznli CNN bilan transformatsiya matritsasini o'rganamiz va bu yondashuv xususiyatlardan transformatsiyalarni hisoblashdan sezilarli darajada tezroq ekanligini ko'rsatamiz. Xususan, o'rganishga asoslangan transformatsiya matritsasi uslub yo'qotishlarining turli darajalari bilan boshqarilishi mumkin va hisoblash jihatidan samarali. Bundan tashqari, biz chiziqli tarqalish modulini taqdim etamiz, u konturlar va teksturalardagi buzilishlar va artefaktlarni to'g'irlashi mumkin, ular odatda uzatish natijalari uslubida kuzatiladi. Keyinchalik fotorealistik uslubni uzatish uchun buzilmagan natijalarni yaratish uchun biz ushbu modulni uslubni uzatish tarmog'imizga birlashtiramiz.
Ushbu ishning hissalari quyidagicha umumlashtiriladi. Birinchidan, biz uslubni uzatish jarayonida kontentga yaqinlikni saqlaydigan samarali (taxminan 140 kadr/s) va moslashuvchan uslub uzatish modelini taklif qilamiz. Ikkinchidan, taklif qilingan usul turli vazifalarga, jumladan, badiiy uslub va video uslubini uzatish bilan cheklanmasdan, tarmoq arxitekturasini biroz o'zgartirish orqali moslashuvchan tarzda qo'llanilishi mumkinligini ko'rsatamiz (1-rasm (a) va (c) ga qarang). Uchinchidan, biz fotorealistik uslubni uzatish uchun yuqori sifatli buzilmagan natijalarni yaratish uchun oldinga yo'naltirilgan neyron tarmog'i bilan jihozlanishi mumkin bo'lgan chiziqli tarqalish modulini ishlab chiqamiz (1(b)-rasmga qarang).
2. Tegishli ish
Chuqur o'rganishga asoslangan uslublarni uzatish intensiv ravishda o'rganilgan oldindan o'rgatilgan konvolyutsion neyron tarmoqlardan olingan xususiyatlar asosida tarkib va uslub tasvirlari o'rtasidagi statistik ma'lumotlarni moslashtirish uchun. Gatys va boshqalar usulining asosiy kamchiliklari iterativ optimallashtirish jarayoni tufayli katta hisoblash xarajatlari. Oldinga uzatishning tezkor yondashuvlari bu muammoni kabi bir xil xususiyatlarni qayta qurish va uslubni qayta qurish yo'qotilishini minimallashtiradigan oldinga yo'naltirilgan neyron tarmoqlarini o'rgatish orqali hal qiladi. Biroq, har bir oldinga uzatish tarmog'i bitta sobit uslubni uzatishga o'rgatilgan. Dumoulin va boshqalar. 32 ta uslubni bitta model bilan ifodalash imkonini beruvchi namunani normallashtirish qatlamini joriy etish va Li va boshqalar. Tasvir sintezi uchun ikkilik tanlash birligidan foydalanib, 1000 ta uslubni kodlash. Shunga qaramay, ushbu modellar o'zboshimchalik bilan uslubni kontent tasviriga o'tkaza olmaydi.
Universal uslubni uzatish. Tarkib tasviriga ixtiyoriy uslubni o'tkazish uchun tarkib va uslub xususiyati vektorlarining o'rtacha va dispersiyalarini moslashtirish uchun bir nechta usullar taklif qilingan. Biroq, bu usullar xususiyatlarning kovariatsiyasini modellamaydi va tasvirlarni yaxshi sintez qilmasligi mumkin. Li va boshqalar. bu muammoni oqartirish va rang berishni oldindan tayyorlangan tasvirni qayta tiklash avtokoderlari yordamida hal qilish. Biroq, bu yondashuv bir necha darajalarda katta matritsalarni parchalash zarurati tufayli hisoblash qimmat. Shen va boshqalar. Har bir kontent va uslubdagi tasvirlar juftligi uchun 14 qatlamli tarmoqni yaratadigan meta tarmoqni o'qitishni taklif qiling. Biroq, u har bir tarkib/uslub juftligi uchun qo'shimcha xotira talab qiladi va ikkinchi darajali tasvir statistikasini aniq modellamaydi.
Fotorealistik uslubni uzatish. Fotorealistik uslubni uzatish usullari geometrik tuzilmalarni buzmasdan tasvirlarni sintez qilishga qaratilgan. Luan va boshqalar. Gatys va boshqalar tomonidan modelning qo'shimcha yo'qotish funktsiyasi sifatida mahalliy yaqinlikka asoslangan energiya atamasini kiriting, bu erda stilize qilingan natijalar mavjud.
2-rasm
Rasm 2. Taklif etilayotgan usulning umumiy ko'rinishi. Bizning modelimiz oldindan o'rgatilgan kodlovchi va dekoder, yo'qotish moduli, siqish/siqish bloklari bilan transformatsiya modulini o'z ichiga oladi. Faqat transformatsiya moduli, shuningdek, siqish va ochish bloklari juftligini o'rganish mumkin, qolganlari esa qattiq (qora). Biz yo'qotishlarni belgilash uchun to'q sariq o'qlardan foydalanamiz va uslub o'zgartirilgan nuqtani ko'rsatish uchun "T" dan foydalanamiz.
vaqt talab qiluvchi optimallashtirish orqali erishiladi. Li va boshqalar hisoblash qimmat oʻzgarishlarni a bilan almashtiring
oldinga uzatish tarmog'i va optimallashtirish muammosini tasvirlarni sintez qilish uchun yopiq shakldagi yechim bilan hal qiling. Ushbu ishda biz fotorealistik uslubni uzatish uchun samarali chiziqli tarqalish modulini taqdim etamiz. Butun quvur liniyasi mavjud usullar bilan solishtirganda tezroq va GPU uchun qulay bo'lgan yagona oldinga uzatish tarmog'i tomonidan amalga oshirilishi mumkin. 3. Chiziqli transformatsiya orqali uslubni uzatish
Taklif etilayotgan model 2-rasmda ko'rsatilganidek, simmetrik kodlovchi-dekoder tasvirni qayta tiklash moduli va transformatsiyani o'rganish modulini o'z ichiga oladi. Keyin u o'rnatiladi va qolgan o'quv protseduralarida rekonstruksiya tarmog'i sifatida xizmat qiladi. Oldingi ko'plab ishlarda bajarilganidek, avtomatik kodlovchining oraliq qatlamlarida 2-moment statistikasining transformatsiyasini hisoblash o'rniga, biz transformatsiya matritsasini engil vaznli CNN orqali chiqarish orqali o'rganishga imkon beramiz. blok. Oldinga uzatish tarmog'i orqali transformatsiyani o'rganish uchun bizga ba'zi nazorat signallari kerak. Biz ko'p darajadagi uslub yo'qotishlarini va oldingi ishlarga o'xshash tarzda bitta kontent yo'qotilishini hisoblash uchun oldindan o'rgatilgan VGG-19 tarmog'idan foydalanamiz. Taklif etilayotgan oldinga uzatiladigan konvolyutsion neyron tarmog'i o'zboshimchalik bilan uslublarni 140 kadr tezlikda samarali uzatishga qodir, hisoblashga asoslangan usullardan ancha tezroq.
3.1. Universal uslubni uzatishni o'rganish
Biz eng yuqori kodlovchi qatlamining xususiyat xaritasini F(I) 2 RN⇥C deb belgilaymiz, bu erda I kirish tasviri, N - piksellar soni va C - kanallar soni.
Taqdimot ravshanligi uchun kontent va uslub tasvir juftligining xususiyat xaritalari Fc va Fs qator vektorlari sifatida belgilanadi. Tasvir uslubini uzatish muammosini Fc kontent xususiyati va oʻrganilgan T matritsasi oʻrtasida oʻzgartirilgan xususiyat vektori Fd bilan chiziqli transformatsiya sifatida shakllantiramiz. a ni belgilash uchun ph dan foydalanamiz.
Istalgan uslubni ta'minlovchi "virtual" xususiyat xaritasi.
|
|
Bosh sahifa
Aloqalar
Bosh sahifa
Uslubni uzatish usuli tasvirni birinchisidan ko'rinish va ikkinchisidan hissiyotni sintez qilish uchun kirish sifatida kontent tasvirini va uslub tasvirini oladi
|
