|
Xususiyat tahlili (Feature Importance)
|
| bet | 14/32 | | Sana | 20.12.2023 | | Hajmi | 46,87 Kb. | | #125194 |
Bog'liq mashinaliXususiyat tahlili (Feature Importance): Modelni o‘rgatishdan so‘ng, qanday o‘zgaruvchilar (xususiyatlar) modelning natijalariga ko‘rsatilgan ta’sirini aniqlash uchun xususiyat tahlili usullaridan foydalaniladi. Misol uchun, shuningdek, desicion trees yoki random forests modellarida xususiyatlarining miqdori yoki ta’siri aniqlanadi.
Korrelatsiya tahlili: Xususiyatlar o‘rtasidagi moslik va aloqalar (korrelatsiyalar) tekshiriladi. Agar bir nechta o‘zgaruvchilar o‘rtasida kuchli moslik bo‘lsa, ularning biri-turi boshqasini o‘rnatish uchun ma’noli emas.
Regularizatsiya modellarini qo‘llash: L1 va L2 regulyarizatsiyalarni qo‘llash orqali modellarni o‘zgaruvchilarni limitlab qo‘yish va faqat kerakli bo‘lgan xususiyatlar bilan ishlashga majbur qilish mumkin.
RFE (Recursive Feature Elimination): Ushbu usulda modellar o‘zgaruvchilarni darajalariga qarab, eng kam ta’sir qiladigan o‘zgaruvchilarni tanlaydi va ularni o‘chiradi.
Xususiyatlarni ajratib olish modelni optimallashtirishda yordam beradi, chunki juda ko‘p yoki noaniqlikka olib kelgan xususiyatlar modellarni o‘zini yengillatish uchun yo‘qotish yoki ko‘tarish mumkin. Bu esa modelning aniqligini oshirib, ma’lumotlarni saqlashda va o‘qitishda qulaylik yaratadi.
20. Ma’lumotlarga dastlabki ishlov berish. O‘rgatuvchi tanlamada normallashtirish tushunchasi. Datasetni normallashtirish (min-max normalization).
ChatGPT
Ma'lumotlarga dastlabki ishlov berish maqsadiyetsiz va to'liq ma'lumotlar ustida operatsiyalar bajarishdir. Bunday ma'lumotlarga asosiy statistik ko'rsatkichlar (o'rtacha, dispersiya, korelyatsiya) qo‘llanib, ma'lumotlar ustida birinchi tahlil va tanishish jarayonlarini amalga oshirishga yordam beradi.
Normallashtirish (normalization) esa ma'lumotlarni o‘zgaruvchilar bo‘yicha bir qator norma hisobidagi mos miqdorda bo‘ladi. Bu normallashtirish jarayoni esa ma'lumotlar ustida bir xil miqdorda o'zgaruvchilar mavjud bo‘lishini ta'minlash uchun foydalaniladi.
Min-max normallashtirish bir normallashtirish usuli hisoblanadi, bu usulda ma'lumotlar mazmuna mos qilib, 0 dan 1 gacha bo'lgan qatorda normallashtiriladi.
Min-max normallashtirish formulasi quyidagicha ifodalaydi:
Xnorm=Xmax−XminX−Xmin
Bu formulada:
X - normallashtirilayotgan o‘zgaruvchi qiymati.
Xmin - o‘zgaruvchining minimal qiymati.
Xmax - o‘zgaruvchining maksimal qiymati.
Xnorm - normallashtirilgan o‘zgaruvchi qiymati.
Ushbu normallashtirish modelning o‘zgaruvchilarni bir xil miqdorda, ya'ni 0 va 1 orasida bo‘lgan qatorda qabul qilishiga yordam beradi.
Bu formulani ma'lumotlarga dastlabki ishlov berish jarayonida qo‘llash uchun quyidagi amallar bajariladi:
Har bir o‘zgaruvchi (ustun) bo‘yicha minimal va maksimal qiymatlar aniqlanadi.
Formuladan foydalanib, har bir o‘zgaruvchi uchun normallashtirilgan qiymatlar hisoblanadi.
Natijaviy ma'lumotlar seti yangi normallashtirilgan qiymatlar bilan ajratiladi.
Bu usul ma'lumotlarni mos miqdorda bo‘lishda yordam beradi, shuningdek, algoritmalar o‘rtasidagi ta’sir-nexatni kamaytirish uchun ham foydalaniladi. Normallashtirish, modelning o‘qitishida va sinovlashida ma‘lumotlarni to‘g‘ri ishlashini ta’minlash uchun muhimdir.
21. Aktivlashtirish funksiyalari. Qo‘llashdan maqsad. Sigmoid faollashtirish funksiyasi.
ChatGPT
Aktivlashuv funksiyalari, neyron tarmoqlarida kirish ma’lumotlarini o‘zlarining o‘zgaruvchilari bo‘yicha aloqasini belgilash uchun foydalaniladi. Bu funksiyalar modellarning har bir neyronida kirish ma'lumotlarini qabul qilish va ularni moslashtirish uchun ishlatiladi.
Aktivlashuv funksiyalari modellarning non-linearity (qatorsizlik) ni ta’minlashda va muammolarni yechishda yordam beradi. Ular o‘qitish va sinovlash jarayonlarida neyronlarning kirishlaridan chiqishlariga qadar o‘zgarishlarni yaratish uchun qo‘llaniladi.
Sigmoid funksiyasi (logistic funksiyasi) shaklida ifodalangan funksiya hisoblanadi. Bu funksiya quyidagi formuladan iborat:
σ(x)=1+e−x1
Bu formulada e — bu eksponenta, x esa funksiya uchun kirish qiymati.
Sigmoid funksiyasining x va y o‘qlarida bo‘lgan qiymatlari 0 dan 1 gacha bo‘lgani sababli, uni o‘zgaruvchilarni normalizatsiya qilishda va klassifikatsiya masalalarida ishlatishda ommalashtiriladi.
Sigmoid funksiyasining maqsadi o‘qitish jarayonlarida aktivlashuv funksiyasi sifatida ishlatilishi va non-linearity (qatorsizlik) ni keltirib chiqarishdir. U, qatori funksiyalarni linearniylarga aylantirib, muammolarni yechish va neyron tarmoqlari orasidagi aloqani osonlik bilan ifodalash uchun yordam beradi. Bu esa modelning o‘zgaruvchilarni yaxshi o‘rganishda yordam beradi.
Bunday aktivlashuv funksiyalari, masalan, sigmoid, ReLU (Rectified Linear Unit), tanh va boshqalar mashinali o‘qitish algoritmlarida foydalaniladi. Har bir funksiya o‘zining afzalliklari va mahsulot ishlab chiqarishda foydalash uchun yaxshi va moslashtirilgan bo‘lishi kerak.
22. Klasterlash tushunchasi. Klasterlash usullari (kamida 2 ta usulni keltiring)
ChatGPT
Klasterlash, ma'lumotlar to'plamini o'zida o'xshashlik yoki taqqoslash bo'yicha guruhga ajratish jarayonidir. Bu guruhlar yuqori o'xshashlik bo'lgan obyektlarni bir-biriga yaqinlashtiradi, lekin farq olishgan guruhlarni ajratib turadi.
Klasterlash usullari quyidagi ikkita ko'rinishda bo'lishi mumkin:
|
| |
