Kita semua memahami bahawa prestasi modul kecerdasan buatan (AI) bergantung sepenuhnya pada kualiti set data yang disediakan dalam fasa latihan. Walau bagaimanapun, mereka biasanya dibincangkan pada peringkat dangkal. Sebilangan besar sumber dalam talian menyatakan mengapa pemerolehan data berkualiti sangat penting untuk peringkat data latihan AI anda, tetapi terdapat jurang dari segi pengetahuan yang membezakan kualiti daripada data yang tidak mencukupi.
Apabila anda mempelajari lebih dalam kumpulan data, anda akan melihat banyak selok-belok dan kehalusan yang sering diabaikan. Kami telah memutuskan untuk menjelaskan topik yang kurang diperkatakan ini. Setelah membaca artikel ini, anda akan mendapat idea yang jelas mengenai beberapa kesalahan yang anda buat semasa pengumpulan data dan beberapa cara untuk mengoptimumkan kualiti data latihan AI anda.
Mari kita mulakan.
Anatomi Projek AI
Bagi yang belum memulakannya, projek AI atau ML (pembelajaran mesin) sangat sistematik. Ia linear dan mempunyai aliran kerja yang kukuh.
Untuk memberi anda contoh, berikut adalah rupa dari segi umum:
- Bukti konsep
- Pengesahan model dan pemarkahan model
- Pembangunan algoritma
- Penyediaan data latihan AI
- Penyebaran model
- Latihan algoritma
- Pengoptimuman pasca penyebaran
Statistik menunjukkan bahawa hampir 78% daripada semua projek AI telah terhenti pada satu ketika atau yang lain sebelum sampai ke tahap penyebaran. Walaupun terdapat celah besar, kesalahan logik, atau masalah pengurusan projek di satu pihak, terdapat juga kesalahan dan kesalahan halus yang menyebabkan kerosakan besar dalam projek. Dalam catatan ini, kita akan meneroka beberapa kehalusan yang paling biasa.
Bias Data
Bias data adalah pengenalan faktor atau elemen secara sukarela atau tidak disengaja yang secara tidak sengaja membalikkan hasil atau menentang hasil tertentu. Malangnya, berat sebelah adalah masalah yang membimbangkan di ruang latihan AI.
Sekiranya ini terasa rumit, fahami bahawa sistem AI tidak mempunyai pemikiran sendiri. Jadi, konsep abstrak seperti etika, moral, dan banyak lagi tidak wujud. Mereka hanya pintar atau berfungsi seperti konsep logik, matematik, dan statistik yang digunakan dalam reka bentuknya. Jadi, ketika manusia mengembangkan ketiga-tiga ini, jelas akan ada beberapa prasangka dan pilih kasih yang tersemat.
Bias adalah konsep yang tidak berkaitan langsung dengan AI tetapi dengan segala yang lain di sekitarnya. Maknanya ia berpunca dari campur tangan manusia dan dapat diperkenalkan pada suatu waktu tertentu. Mungkin ketika masalah sedang diatasi untuk kemungkinan solusi, ketika pengumpulan data terjadi, atau ketika data disiapkan dan diperkenalkan ke dalam modul AI.
Bolehkah Kita Menghilangkan Bias Sepenuhnya?
Menghilangkan bias adalah rumit. Pilihan peribadi tidak sepenuhnya hitam dan putih. Ia tumbuh subur di kawasan kelabu, dan itulah sebabnya subyektif juga. Dengan berat sebelah, sukar untuk menunjukkan keadilan holistik dalam bentuk apa pun. Selain itu, bias juga sulit ditemukan atau dikenali, tepat ketika pikiran secara tidak sengaja cenderung terhadap kepercayaan, stereotaip, atau praktik tertentu.
Itulah sebabnya pakar AI menyediakan modul mereka dengan mempertimbangkan kemungkinan bias dan menghapuskannya melalui keadaan dan konteks. Sekiranya dilakukan dengan betul, kecondongan hasil dapat disimpan minimum.
Kualiti Data
Kualiti data sangat umum, tetapi apabila anda melihat lebih dalam, anda akan menemui beberapa lapisan bernuansa. Kualiti data boleh terdiri daripada yang berikut:
- Kekurangan ketersediaan anggaran jumlah data
- Ketiadaan data yang relevan dan kontekstual
- Ketiadaan data terkini atau terkini
- Banyaknya data yang tidak dapat digunakan
- Kekurangan jenis data yang diperlukan - misalnya, teks bukan gambar dan audio, bukan video dan banyak lagi
- Bias
- Klausa yang menghadkan interoperabiliti data
- Data yang dilengkapkan dengan buruk
- Pengelasan data yang tidak betul
Hampir 96% pakar AI menghadapi masalah kualiti data yang menghasilkan jam tambahan untuk mengoptimumkan kualiti sehingga mesin dapat memberikan hasil yang optimum.
Data Tidak Berstruktur
Para saintis data dan pakar AI lebih banyak menggunakan data yang tidak tersusun daripada rakan-rakannya yang lengkap. Akibatnya, sejumlah besar masa mereka dihabiskan untuk memahami data tidak berstruktur dan menyusunnya ke dalam format yang dapat difahami oleh mesin.
Data tidak terstruktur adalah segala informasi yang tidak sesuai dengan format, model, atau struktur tertentu. Ia tidak teratur dan rawak. Data tidak terstruktur dapat berupa video, audio, gambar, gambar dengan teks, tinjauan, laporan, presentasi, memo, atau bentuk informasi lain. Wawasan yang paling relevan dari set data tidak berstruktur harus dikenal pasti dan diberi penjelasan secara manual oleh pakar. Apabila anda bekerja dengan data tidak berstruktur, anda mempunyai dua pilihan:
- Anda menghabiskan lebih banyak masa untuk membersihkan data
- Terima hasil yang tidak sesuai
Kekurangan PKS untuk Anotasi Data yang Boleh dipercayai
Dari semua faktor yang kita bincangkan hari ini, anotasi data yang boleh dipercayai adalah satu kehalusan yang dapat kita kendalikan secara signifikan. Anotasi data adalah fasa penting dalam pengembangan AI yang menentukan apa dan bagaimana mereka harus belajar. Data yang dianotori dengan buruk atau tidak betul dapat mengubah hasil anda sepenuhnya. Pada masa yang sama, data yang dijelaskan dengan tepat dapat menjadikan sistem anda dapat dipercayai dan berfungsi.
Itulah sebabnya penjelasan data harus dilakukan oleh PKS dan veteran yang mempunyai pengetahuan domain. Sebagai contoh, data penjagaan kesihatan harus dijelaskan oleh profesional yang mempunyai pengalaman bekerja dengan data dari sektor tersebut. Jadi, ketika model itu digunakan dalam situasi yang menyelamatkan nyawa, model itu berjalan sesuai dengan harapan. Perkara yang sama berlaku untuk produk di harta tanah, fintech eCommerce, dan ruang khusus lain.
Membungkus Up
Semua faktor ini menunjukkan satu arah - tidak disarankan untuk menceburkan diri dalam pengembangan AI sebagai unit yang berdiri sendiri. Sebagai gantinya, ini adalah proses kolaborasi, di mana anda memerlukan pakar dari semua bidang untuk bersama-sama melancarkan satu penyelesaian yang sempurna.
Itulah sebabnya kami mengesyorkan menghubungi anda data koleksi and anotasi pakar seperti Shaip untuk menjadikan produk dan penyelesaian anda lebih berfungsi. Kami menyedari kehalusan yang terlibat dalam pengembangan AI dan mempunyai protokol sedar dan pemeriksaan kualiti untuk menghilangkannya dengan seketika.
Dapatkan in sentuh bersama kami untuk mengetahui bagaimana kepakaran kami dapat membantu pengembangan produk AI anda.
