|
Ma’lumot to’plamlari (data set) turlari
|
bet | 2/8 | Sana | 05.01.2024 | Hajmi | 24,89 Kb. | | #130539 |
Bog'liq Reja O’qitiluvchi va testlanuvhi ma’lumotlar to’plami. DataSet,-fayllar.orgMa’lumot to’plamlari (data set) turlari. Mashinan io’qitish jarayonida va
modelning to’liq ishlashini ta’minlash maqsadida quyidagi ma’lumotlar to’plami
turlaridan foydalaniladi:
- o'quv tanlanmasi - to'plami (training set);
- qvalifikatsiya tanlanmasi - to’plami (qvalidation set);
- test tanlanma - to'plami (qtesting set).
1. O’qitiluvchi va testlanuvchi ma’lumotlar to’plami
O’qitiluvchi va testlanuvchi ma’lumotlar to’plami.
Ma'lumotlarni yig'ish - bu neyron tarmoqlar kabi tushunchalarni qanday qo'llashni o'rganish,
natijalarni o'rganish uchun algoritmni tayyorlash uchun ishlatiladigan to'plamdir. Bunga
ma'lumotlar va kutiladigan natijalar kiradi. O’quv tanlanma umumiy ma'lumotlarning ko'p
qismini tashkil etadi, ya’ni taxminan 60-80%. Sinov tanlanma modellarning parametrlariga mos
keladigan og'irliklarni sozlash deb nomlanadigan jarayon hisoblanadi.
Sinov ma'lumotlari to'plami algoritmning o'quv ma'lumotlari bilan qanchalik yaxshi
o'qitilganligini baholash uchun ishlatiladi.
AI-loyihalar(AIprojects)da biz sinov bosqichida o'quv ma'lumotlari to'plamidan foydalana
olmaymiz, chunki algoritm oldindan kutilgan natijani oldindan bilib oladi, bu bizning maqsadimiz
emas.
Sinov to'plamlari ma'lumotlarning 20% ni tashkil etadi, testlar to'plami ma'lumotlar kiritilishi
bilan tasdiqlangan to'g'ri natijalar bilan birgalikda guruhlangan ma'lumotlarni kiritish, odatda inson
tomonidan tekshirilishi bilan ta'minlanadi.
Ma’lumotlarga dastlabki ishlov berish. 1. Shaklni aniqlash: ma'lumotlar turli xil fayllarda
tarqalishi mumkin. Masalan, turli xil valyutalar, tillar va hokazolarga ega bo'lgan turli
mamlakatlardagi savdo natijalari ma'lumotlar to'plamini shakllantirish uchun bir joyga to'planadi.
|
| |