|
4 – amaliy mashg‘ulot o‘rgatuvchi tanlanma shakllantirish (Pandas kutubxonasi) Ishdan maqsad
|
| bet | 1/3 | | Sana | 21.04.2024 | | Hajmi | 21.57 Kb. | | #203411 |
Bog'liq 4-amaliy ish (3) 101OT, 11ottttt
4 – AMALIY MASHG‘ULOT
O‘rgatuvchi tanlanma shakllantirish (Pandas kutubxonasi)
Ishdan maqsad: DataSet, DataTable, DataRow va DataColumn haqida tushunchalar.
NAZARIY QISM
DataSet - ma'lumotlar manbalaridan qat'i nazar, izchil dasturlash modelini ta'minlaydigan oddiy, doimiy ma'lumotlar bazasi. DataSet - bu tegishli jadvallar, cheklovlar va jadvallar o‘rtasidagi munosabatlarni o‘z ichiga olgan to‘liq ma'lumotlar to‘plami.
Odatda ma'lumotlar to‘plami (DataSet) RelationsCollection ob'ekti tomonidan aniqlangan munosabatlarni o‘z ichiga oladi. DataRelation ob'ekti xaritasi bir jadvaldagi qatorlar bilan boshqa ma'lumotlar jadvalidagi satrlar bilan ifodalangan munosabatlar. Bu relyatsion ma'lumotlar bazasidagi tashqi kalitlarga o‘xshash ishlaydi.
DataRelation ikkita DataSets-dagi ustunlarning mosligini aniqlaydi. Aloqalar DataSet ichida bir jadvaldan boshqasiga o‘tishga imkon beradi. DataRelation-ning asosiy elementlari quyidagilardir: munosabatlarning nomi, ikkita jadvalning o‘zlari bilan bog'lanishi, shuningdek jadvallarda birlamchi kalit va chet el kalitlari ustunlari. Aloqalar jadvaldagi bir nechta ustunlar, birlamchi va chet el kalitlari uchun DataColumn moslamalari qatori asosida o‘rnatilishi mumkin. DataRelation yaratilganda, ADO.NET munosabatlar o‘rnatilishi mumkinligini tekshiradi. ADO.NET munosabatlarga salbiy ta'sir ko‘rsatishi mumkin bo‘lgan keyingi o‘zgarishlardan qochib, faqat bir marta RelationsCollection-ga aloqalarni qo‘shadi.
DataTable System.Data tomonidan belgilanadi va jadvalning sxemasi va satrlarini belgilaydigan ColumnsCollection ob'ekti tomonidan taqdim etilgan ustunlar to‘plamini o‘z ichiga olgan xotirada doimiy joylashgan ma'lumotlar jadvalini aks ettiradi. DataTable jadvalga ma'lumotlarni olib keladigan RowsCollection ob'ekti tomonidan namoyish etilgan qatorlar to‘plamini o‘z ichiga oladi. Joriy holat bilan bir qatorda DataTable ob'ekti asl holatini saqlab qoladi va ma'lumotlar bilan sodir bo‘lgan barcha o‘zgarishlarni kuzatib boradi. DataSet XML orqali tarkibni aks ettiruvchi ma'lumotlarni saqlashi va qayta yuklashi mumkin.
2) Ma'lumotlarni tahlil qilish DataSetlar
Ma'lumotlarni tahlil qilish va mashinada o‘rganish juda ko‘p ma'lumotlarni talab qiladi. Siz ularni o‘zingiz birlashtira olasiz, ammo bu zerikarli. Bu erda turli toifadagi tayyor ma'lumotlar to‘plamlari bizning yordamimizga keladi va Datasetlar yordamida
•davlat ma'lumotlar to‘plamlari
• Uy-joy ma'lumotlari
• Iqtisodiyot va moliya
• Kompyuterni ko‘rish qobiliyati
• Tuyg'ularni tahlil qilish
• Tabiiy tilni qayta ishlash
• Avtopilotlar
• Tibbiy ma'lumotlar
Tahlil qiliniishi mumkun.
Dataset qifirish tizimlari:
Google Dataset Search. Dataset Search kalit so‘z bilan butun Internetda ma'lumotlar to‘plamlarini qidirishga imkon beradi..
Kaggle. Ko‘plab qiziqarli ma'lumotlar to‘plamiga ega bo‘lgan mashinasozlik musobaqalari platformasi. Ma'lumotlar to‘plami ro‘yxatida ramen reytingidan tortib NCAA basketbol ma'lumotlariga va Sietlning uy hayvonlari litsenziyasining ma'lumotlar bazasiga qadar turli xil namunalar mavjud.
UCI Machine Learning Repository. Internetdagi ma'lumotlar to‘plamlarining eng qadimgi manbalaridan biri va qiziqarli ma'lumotlar to‘plamini izlash uchun birinchi o‘rin. Garchi ular foydalanuvchilar tomonidan qo‘shilsa va shuning uchun har xil darajadagi "poklik" ga ega bo‘lsa ham, aksariyati tozalanadi. Ma'lumotlarni ro‘yxatdan o‘tmasdan darhol yuklab olish mumkin.
VisualData. Datasetlar kompyuterni ko‘rish uchun, toifalarga ajratilgan. Qidiruv mavjud.
Find Datasets | CMU Libraries. Karnegi Mellon universiteti tomonidan taqdim etilgan Datasetlar to‘plami.
Davlat Datasetlari:
Data.gov. Bu yerda siz turli davlat idoralari ma'lumotlarini topishingiz mumkin. Bular davlat byudjetidan tortib barcha iforalar ma'lumotlarini yiginfisy mavjud.
Turar joy ma'lumotlari
Boston Housing Dataset. Shet favlati Qo‘shma Shtatlarning aholini ro‘yxatga olish byurosi tomonidan tuzilgan Bostondagi uy-joy haqida ma'lumot mavjud. U StatLib arxividan olingan va algoritmlarni baholashda adabiyotda keng qo‘llanilgan.
Iqtisodiyot va moliyada:
Quandl. Iqtisodiy va moliyaviy ma'lumotlarning yaxshi manbai - Iqtisodiy ko‘rsatkichlarni yoki aktsiyalar narxlarini bashorat qilish modellarini tuzishda foydalidir. • World Bank Open Data.. Demografik ma'lumotlarni, butun dunyo bo‘ylab ko‘plab iqtisodiy va rivojlanish ko‘rsatkichlarini o‘z ichiga olgan ma'lumotlar to‘plamlari.
• IMF Data. Xalqaro valyuta jamg'armasi xalqaro moliya, qarz ko‘rsatkichlari, valyuta zaxiralari, investitsiyalar va tovarlarning narxlari to‘g'risidagi ma'lumotlarni nashr etadi.
• Financial Times Market Data. Qimmatli qog'ozlar, tovar va valyutalar narxlari indekslarini o‘z ichiga olgan dunyodagi moliya bozorlari to‘g'risida dolzarb ma'lumotlar.
• Google Trends. Internet-qidiruv faoliyati va butun dunyo bo‘ylab tendentsiyalar haqidagi ma'lumotlarni o‘rganing va tahlil qiling.
3) Mashinada o‘qitishda Datasetlar.
• xView. Er yuzidagi eng keng tarqalgan havo tasvirlaridan biri. Unda dunyoning turli burchaklaridagi tasvirlar, chegaralangan qutilar bilan izohlangan.
• Labelme. Izohlangan rasmlarning katta ma'lumotlar to‘plami.
• ImageNet. WordNet ierarxiyasiga muvofiq tashkil etilgan yangi algoritmlar uchun rasmlar to‘plami, unda yuzlab va minglab tasvirlar ierarxiyadagi har bir tugunni aks ettiradi.
• LSUN. Ma'lumotlarning qisman belgilanishi bilan sahnalar va toifalarga bo‘lingan rasmlarning ma'lumotlar to‘plami.
• MS COCO. Ob'ektni aniqlash va segmentatsiyalash uchun katta hajmdagi ma'lumotlar to‘plami.
• COIL100. Dumaloq harakat bilan har bir burchak ostida tasvirlangan 100 xil narsalar. • Vizual Genom. ~ 100 ming batafsil izohli tasvirga ega ma'lumotlar to‘plami.
• Google’s Open Images. Creative Commons-da litsenziyalangan "6000 toifani o‘z ichiga olgan" etiketlangan rasmlarga 9 million URL to‘plami.
• Labelled Faces in the Wild. Yuzni aniqlash texnologiyasidan foydalanadigan dasturlarda foydalanish uchun 13000 ta belgilangan yuzlar tasvirlari to‘plami.
• Stanford Dogs Dataset.. 120 ta it zotidan 20 580 ta rasm mavjud.
• Indoor Scene Recognition. Binolarni ichki лгкштшырштш tanib olish uchun ma'lumotlar to‘plami. 15620 ta rasm va 67 ta toifani o‘z ichiga oladi.
|
| |
