Dalam usaha kami untuk membina penyelesaian AI yang mantap dan tidak berat sebelah, adalah penting untuk kami memberi tumpuan kepada latihan model mengenai pelbagai data yang tidak berat sebelah, dinamik dan representatif. Proses pengumpulan data kami sangat penting dalam membangunkan penyelesaian AI yang boleh dipercayai. Dalam hal ini, pengumpulan data latihan AI melalui pekerja awam menjadi aspek kritikal dalam strategi pengumpulan data.
Dalam artikel ini, mari kita terokai peranan pekerja khalayak ramai, kesannya terhadap pembangunan algoritma pembelajaran AI dan model ML, serta keperluan dan faedah yang diberikannya kepada keseluruhan proses.
Mengapakah pekerja ramai dikehendaki membina model AI?
Sebagai manusia, kita menjana banyak data, namun hanya sebahagian kecil daripada data yang dijana dan dikumpul ini bernilai. Disebabkan kekurangan piawaian penanda aras data, kebanyakan data yang dikumpul sama ada berat sebelah, penuh dengan isu kualiti atau tidak mewakili persekitaran. Memandangkan semakin banyak model pembelajaran mesin dan pembelajaran mendalam sedang dibangunkan yang berkembang maju pada kuantiti data yang besar, keperluan untuk set data yang lebih baik, lebih baharu dan pelbagai semakin dirasai.
Di sinilah pekerja ramai terlibat.
Data penyumberan ramai sedang membina set data dengan penyertaan kumpulan besar orang. Pekerja ramai menyelitkan kecerdasan manusia ke dalam kecerdasan buatan.
Platform penyumberan ramai memberikan pengumpulan data dan tugasan mikro anotasi kepada sekumpulan besar orang yang pelbagai. Penyumberan ramai membolehkan syarikat mengakses tenaga kerja yang besar, dinamik, kos efektif dan boleh diskala.
Platform penyumberan orang ramai yang paling popular – Amazon Mechanical Turk, berjaya mendapatkan 11 ribu dialog antara manusia dalam masa 15 jam, dan ia membayar pekerja sebanyak $0.35 untuk setiap dialog yang berjaya. Pekerja orang ramai direkrut dengan jumlah yang sangat sedikit, sekali gus menekankan kepentingan membina piawaian penyumberan data yang beretika.
Secara teorinya, ia kelihatan seperti rancangan yang bijak, namun, ia bukanlah strategi yang mudah untuk dilaksanakan. Orang ramai yang tidak mahu dikenali telah menimbulkan isu dengan gaji rendah, mengabaikan hak pekerja dan kerja berkualiti rendah yang memberi kesan kepada prestasi model AI.
Faedah mempunyai pekerja ramai untuk mendapatkan data
Dengan melibatkan kumpulan pekerja ramai yang pelbagai, pembangun penyelesaian berasaskan AI boleh mengagihkan tugas mikro dan mengumpulkan pemerhatian yang pelbagai dan meluas dengan cepat dan pada kos yang agak rendah.
Beberapa faedah menonjol menggunakan pekerja ramai untuk projek AI ialah
Masa Lebih Pantas ke Pasaran: Menurut kajian daripada Cognilytica, hampir 80% masa projek kecerdasan buatan diluangkan untuk aktiviti pengumpulan data seperti pembersihan data, pelabelan dan pengagregatannya. Hanya 20% daripada masa itu diluangkan untuk pembangunan dan latihan. Halangan tradisional untuk menjana data dihapuskan kerana sebilangan besar penyumbang boleh direkrut dalam masa yang singkat.
Penyelesaian Kos Efektif: Pengumpulan data sumber ramai mengurangkan masa dan tenaga yang dibelanjakan untuk latihan, pengambilan pekerja dan penglibatan mereka. Ini menghapuskan kos, masa dan sumber yang diperlukan memandangkan tenaga kerja bekerja menggunakan kaedah bayar setiap tugas.
Meningkatkan Kepelbagaian dalam Set Data: Kepelbagaian data adalah penting untuk keseluruhan latihan penyelesaian AI. Agar model menghasilkan keputusan yang tidak berat sebelah, ia perlu dilatih pada set data yang pelbagai. Dengan penyumberan data secara beramai-ramai, adalah mungkin untuk menjana set data yang pelbagai (geografi, bahasa, dialek) dengan sedikit usaha dan kos.
Meningkatkan Skalabiliti: Apabila anda merekrut pekerja awam yang boleh dipercayai, anda boleh memastikan pengumpulan data berkualiti tinggi yang boleh diskalakan berdasarkan keperluan projek anda.
In-house vs. crowdsourcing – Siapa yang keluar sebagai pemenang?
| Data dalaman | Data Sumber Orang Ramai |
|---|---|
| Ketepatan dan ketekalan data boleh dijamin. | Kualiti, ketepatan dan ketekalan data boleh dikekalkan jika platform sumber ramai yang boleh dipercayai dengan langkah QA standard digunakan |
| Penyumberan data dalaman tidak selalunya merupakan keputusan yang praktikal kerana pasukan dalaman anda mungkin tidak memenuhi permintaan projek. | Kepelbagaian data boleh dipastikan kerana adalah mungkin untuk merekrut kumpulan pekerja ramai yang heterogen berdasarkan keperluan projek. |
| Mahal untuk mengambil dan melatih pekerja untuk keperluan projek. | Penyelesaian kos efektif untuk pengumpulan data kerana ada kemungkinan untuk merekrut, melatih dan menaiki pekerja dengan pelaburan yang kurang. |
| Masa untuk memasarkan adalah tinggi kerana pengumpulan data dalaman mengambil masa yang agak lama. | Masa untuk memasarkan adalah kurang kerana banyak sumbangan datang dengan cepat. |
| Sekumpulan kecil penyumbang dalaman dan pelabel | Kumpulan penyumbang yang besar dan pelbagai dan pelabel data |
| Kerahsiaan data adalah sangat tinggi dengan pasukan dalaman. | Kerahsiaan data adalah sukar untuk dikekalkan apabila bekerja dengan pekerja yang ramai di seluruh dunia. |
| Lebih mudah untuk menjejak, melatih dan menilai pengumpul data | Mencabar untuk mengesan dan melatih pengumpul data. |
Merapatkan jurang antara pekerja crowdsource dan peminta.
Terdapat kekurangan maklumat yang ketara daripada pihak pemohon kerana pekerja hanya diberikan maklumat mengenai tugasan tertentu. Contohnya, walaupun pekerja diberikan tugasan mikro seperti merakam dialog dalam dialek ibunda mereka, mereka jarang diberikan konteks. Mereka tidak mempunyai maklumat yang diperlukan tentang mengapa mereka melakukan apa yang mereka lakukan dan cara terbaik untuk melakukannya. Kekurangan maklumat ini memberi kesan kepada kualiti kerja yang disumberkan oleh orang ramai.
Bagi seorang manusia, mempunyai keseluruhan konteks memberikan kejelasan dan tujuan kepada kerja mereka.
Tambahkan pada campuran ini satu lagi dimensi NDA – perjanjian bukan pendedahan yang mengehadkan jumlah maklumat yang diberikan oleh pekerja ramai. Dari perspektif pekerja ramai, penarikan maklumat ini menunjukkan kekurangan kepercayaan dan mengurangkan kepentingan terhadap kerja mereka.
Apabila situasi yang sama dilihat dari hujung spektrum yang lain, terdapat kekurangan ketelusan dari pihak pekerja. Pemohon tidak memahami sepenuhnya pekerja yang ditugaskan untuk melakukan kerja tersebut. Sesetengah projek mungkin memerlukan jenis pekerja tertentu; walau bagaimanapun, dalam kebanyakan projek, terdapat kekaburan. Hakikatnya ialah ini boleh merumitkan penilaian, maklum balas dan latihan pada masa hadapan.
Untuk mengatasi kesukaran ini, bekerja dengan pakar pengumpulan data dengan rekod prestasi menyediakan data yang pelbagai, disusun dan diwakili dengan baik daripada pelbagai pilihan penyumbang adalah penting.
Memilih Shaip sebagai rakan kongsi data anda boleh mempunyai pelbagai faedah. Kami memberi tumpuan kepada kepelbagaian dan pengedaran data yang mewakili. Kakitangan kami yang berpengalaman dan berdedikasi memahami paksaan setiap projek dan membangunkan set data yang boleh melatih penyelesaian berasaskan AI yang mantap dalam masa yang singkat.
[Baca Juga: Panduan Permulaan Data Latihan AI: Definisi, Contoh, Set Data ]
