• "Harakatni" optimal tomonga ornatadigan optimallashtirish algoritmi
  • Organish tezligi.
  • Organish davrlari.
    		•

    Faollashtirish funktsiyasi




    Download 94,65 Kb.
    bet3/11
    Sana19.12.2023
    Hajmi94,65 Kb.
    #124237
    1   2   3   4   5   6   7   8   9   10   11
    Bog'liq
    1-Amaliy ish

    Faollashtirish funktsiyasi. Bu neyronning chiqish qiymatini hisoblaydigan funksiya kirish parametrlarining chiziqli birikmasiga asoslangan. Ko'pincha ishlatiladi funktsiyalari Sigmoid, Tanh va RELU (2-rasmga qarang). Masalan, ulardan RELU mavjud eng kam hisoblash murakkabligi. Shuning uchun u ko'pincha hammada qo'llaniladi ichki qatlamlar, chiqish qatlami esa murakkabroq foydalanadi Sigmasimon funktsiya.


    2-rasm. Neyron tarmoqlarda qo'llaniladigan ba'zi faollashtirish funktsiyalari.

    • "Harakatni" optimal tomonga o'rnatadigan optimallashtirish algoritmi. Klassik variant - Stokastik Gradient Descent (SGD), bu minimallashtiradi gradientga asoslangan yo'qotish, har bir iteratsiyada o'quv ma'lumotlarini namuna olish tasodifiy. Hozirgi vaqtda yanada progressiv deb hisoblanadi RMSProp algoritmlari (SGD dan har bir parametr bilan farq qiladi moslashuvchan o'rganish tezligi) va Adam Optimizer (sizga sozlash imkonini beradi NN giperparametrlari).

    • O'rganish tezligi. Algoritmning har bir iteratsiyasida "qadam" ning o'lchami moyil bo'ladi yo'qotish funktsiyasini minimallashtirish uchun. Juda katta qadam tashlash xavfni oshiradi algoritm optimalni "o'tkazib yuboradi" va bu juda kichik bo'lishiga olib keladi neyron tarmoqni o'qitish vaqtini oshirish. Hozirgi vaqtda algoritmlar mavjud qodir, ba'zi muvaffaqiyat bilan, qarab, bu bosqichni o'zgartirish Joriy nuqtada yo'qotish funktsiyasining "egriligi".

    • O'rganish davrlari. NN ta'limning belgilangan muddatini aks ettiradi. Balki modelning hisoblash murakkabligi asosida muhandis tomonidan o'rnatiladi, lekin u ham mumkin algoritm bilan aniqlanadi. Masalan, o'rganish avtomatik ravishda mumkin xatolik (funktsiyani yo'qotish qiymati) to'xtaganda to'xtating har qanday davrlar soni bo'yicha pasayish.

    • Arxitektura - bu neyron tarmog'idagi qatlamlar qanday tashkil etilganligi va neyronlar o'rtasidagi aloqalar. A ilovasida keltirilgan diagramma murakkablik haqida bir oz fikr beradi va zamonaviy NN arxitekturalarining xilma-xilligi. Hozirgi vaqtda real hal qilish uchun Ikkita eng mashhur arxitektura:


    Download 94,65 Kb.
    1   2   3   4   5   6   7   8   9   10   11




    Download 94,65 Kb.