Memajukan AI Terjelma dengan Data Video Egosentrik Dunia Sebenar
Membolehkan pengecaman aktiviti manusia, robotik & model interaksi tangan-objek dengan video berskala yang dirakam dalam persekitaran isi rumah dan perindustrian.
Gambaran Keseluruhan projek
Pelanggan telah bekerjasama dengan Shaip untuk mewujudkan program pengumpulan berskala untuk data video egosentrik berkualiti tinggi. Penyumbang akan merakam aktiviti isi rumah dan perindustrian sebenar menggunakan peranti mudah alih yang dipasang dengan selamat yang diletakkan pada paras dahi.
Objektifnya adalah untuk membina set data video yang pelbagai dan naturalistik yang sesuai untuk model latihan bagi:
- Mengenal pasti aktiviti manusia yang kompleks dan urutan tugas
- Mentafsir interaksi tangan-objek
- Memahami persekitaran rumah dan tempat kerja dunia sebenar
- Menyokong robotik dan aplikasi AI yang diwujudkan
- Meningkatkan generalisasi model merentasi lokasi, peranti, objek dan keadaan operasi
Penglibatan ini menekankan prestasi tugas semula jadi, kedudukan kamera yang stabil, pelaksanaan berterusan, persetujuan penyumbang dan pengesahan kualiti yang ketat.
Set Data Video Egosentrik: Spesifikasi Utama
Isipadu Data
30,000 jam dikumpul, 24,000+ jam dianotasi
Kapasiti Penyumbang
Sehingga 100 jam video yang diluluskan bagi setiap peserta
Peranti yang Diluluskan
iPhone 11+, Google Pixel 6+ & Samsung Galaxy S21+
Liputan Geographic
Amerika Syarikat dan Amerika Latin
Persekitaran Aktiviti
Persekitaran isi rumah, perindustrian & komersial
Cabaran dalam Pengumpulan Data Video Egosentrik
- Menangkap Tingkah Laku Manusia Semula Jadi: Penyumbang diperlukan untuk melakukan aktiviti tulen tanpa pergerakan yang dipentaskan, dibesar-besarkan atau robotik.
- Mengekalkan Pembingkaian Orang Pertama: Kedua-dua tangan, kawasan kerja dan objek yang berkaitan perlu kekal kelihatan sepanjang pelaksanaan tugas aktif.
- Mengawal Kestabilan Kamera: Peranti mudah alih yang dipasang di kepala perlu kekal selamat dengan goyangan yang minimum, kecondongan yang berlebihan atau halangan.
- Mengumpul Merentasi Pelbagai Persekitaran: Set data tersebut memerlukan rakaman asli daripada persekitaran kediaman, perindustrian, runcit, hospitaliti, pertanian, pembinaan dan perkhidmatan.
- Meminimumkan Rakaman Melahu atau Bukan Tugas: Rakaman perlu menunjukkan kerja yang berterusan dan disengajakan dengan jeda terhad dan pergerakan yang tidak perlu.
- Memastikan Kebenaran dan Persetujuan: Setiap penyumbang dan lokasi rakaman memerlukan kebenaran, persetujuan dan pengesahan pematuhan yang sewajarnya.
- Penskalaan Tanpa Mengorbankan Kualiti: Rakaman dalam jumlah yang besar perlu disemak dengan cepat, dengan alasan penolakan yang jelas dan aliran kerja penangkapan semula yang cekap.
Bagaimana Shaip Mengumpulkan Data Video Egosentrik
Strategi Pengumpulan
Shaip mereka bentuk rangka kerja fleksibel yang meliputi aktiviti isi rumah, komersial dan perindustrian yang tulen. Penyumbang memilih tugasan yang sejajar dengan rutin semula jadi mereka dan bukannya mengikuti skrip berperingkat.
Penyertaan Penyumbang
Peserta di seluruh Amerika Syarikat dan Amerika Latin telah dilatih tentang pemilihan tugasan, keperluan peranti, penempatan kamera, persetujuan dan syarat-syarat penangkapan yang dilarang.
Koleksi Video Mudah Alih
Rakaman telah dirakam melalui aplikasi mudah alih yang ditetapkan dengan penyerahan automatik dan pengesahan lokasi untuk mengesahkan rakaman dalam kawasan yang diluluskan.
Persediaan Kamera yang Dipasang di Kepala
Telefon pintar yang diluluskan dipasang dengan selamat pada paras dahi dan disudutkan kira-kira 45° ke bawah untuk memastikan tangan, objek, ruang kerja dan, apabila pegun, jari kaki penyumbang kelihatan.
Pelaksanaan Tugas Semula Jadi
Penyumbang melakukan aktiviti berterusan dan bertujuan sambil berdiri atau berjalan dan berinteraksi secara semula jadi dengan alatan, kelengkapan dan objek harian.
Pengesahan Kualiti
Setiap rakaman telah diperiksa untuk kestabilan kamera, pencahayaan, fokus, keterlihatan tangan-objek, kesinambungan tugas, postur, persekitaran dan kebenaran.
Semakan dan Pengumpulan Semula Pantas
Penyerahan telah disemak dalam masa satu hari. Sebab penolakan yang jelas membolehkan penyumbang membetulkan dan merakam semula rakaman dengan cepat.
Kawalan Tadbir Urus
Persetujuan, kebenaran lokasi, penyerahan selamat, pengesahan lokasi & tugasan harta intelek telah disepadukan ke dalam aliran kerja.
Skop & Aktiviti Projek
| Segmen Data | Aktiviti Perwakilan | Keperluan Tangkapan |
|---|---|---|
| Aktiviti Rumah Tangga | Dobi, pengaturan bilik, kemas dapur, penjagaan haiwan peliharaan, penjagaan tumbuhan, berkebun dan penyelenggaraan rumah. | Berdiri atau berjalan; pelaksanaan semula jadi; tangan dan ruang kerja kelihatan. |
| Gudang dan Logistik | Pembungkusan, pengisihan, pengendalian inventori, pemeriksaan dan pergerakan bahan. | Tangkapan kepala yang stabil dengan aktiviti tugas berterusan. |
| Komersial & Hospitaliti | Kerja-kerja kebersihan, pengemasan rumah, penyimpanan stok runcit dan aktiviti khidmat makanan di bahagian belakang rumah. | Lokasi rakaman yang dibenarkan dan interaksi objek yang jelas. |
| Aktiviti Perindustrian | Pembuatan ringan, pemasangan, penyelenggaraan peralatan dan proses pengeluaran. | Pelaksanaan tempat kerja yang tulen dengan kebenaran yang sewajarnya. |
| Pertanian dan Landskap | Penyelenggaraan tanah, berkebun, kerja pertanian dan pengendalian bahan luar. | Pencahayaan yang mencukupi, rangka yang stabil dan pelaksanaan tugas yang selamat. |
| Kemahiran & Perkhidmatan Lapangan | Pembinaan, servis automotif, pembaikan, pemasangan dan penyelenggaraan lapangan. | Keterlihatan alatan, tangan, komponen dan kawasan kerja yang jelas. |
Rangka Kerja Kualiti
Rakaman telah ditolak kerana:
- Pandangan kamera terhalang, terlalu condong atau tidak stabil
- Pencahayaan rendah, fokus lemah, penglihatan tidak jelas
- Tempoh terbiar yang panjang atau rakaman bukan tugas
- Pelaksanaan buatan, direka-reka atau robotik
- Pergerakan kepala, tangan atau badan yang berlebihan
- Tangan di luar bingkai untuk lebih daripada 10% aktiviti ambil dan lepas aktif
- Lokasi rakaman tanpa kebenaran
- Persetujuan penyumbang yang tiada
Rakaman yang berjaya diperlukan untuk:
- Rakam kerja rumah atau perindustrian yang asli
- Kekalkan perspektif orang pertama yang stabil
- Pastikan tangan, objek dan kawasan tugas kelihatan
- Menunjukkan aktiviti yang berterusan dan disengajakan
- Memenuhi keperluan kedudukan peranti dan kamera yang diluluskan
- Sesuai untuk latihan AI yang melibatkan pengecaman aktiviti dan persepsi robotik
Hasil: Data Video Egosentrik Sedia Robotik
- Data Aktiviti Autentik: Pelaksanaan tugas semula jadi merakam tindakan manusia, interaksi tangan-objek dan urutan operasi.
- Pengembangan Set Data Boleh Skala: Setiap peserta boleh menyumbang sehingga 100 jam yang diluluskan, manakala variasi dalam objek, alatan, lokasi, pencahayaan dan urutan tugasan mengembangkan kepelbagaian set data, meningkatkan program kepada anggaran 30,000 jam video egosentrik yang dikumpul, dengan lebih 24,000 jam dianotasi dan diluluskan untuk latihan model.
- Konteks Sedia Robotik: Rakaman orang pertama yang stabil memberikan keterlihatan tangan, objek, peralatan, ruang kerja dan perkembangan tugas yang jelas.
- Intervensi Kualiti Pantas: Kitaran semakan satu hari membolehkan maklum balas, pembetulan & pemerhatian semula yang pantas.
- Kepelbagaian Geografi dan Peranti: Pengumpulan di seluruh Amerika Syarikat dan Amerika Latin, menggunakan peranti Apple, Google dan Samsung yang diluluskan, memperkenalkan variasi persekitaran dan perkakasan yang praktikal.
- Tadbir Urus Bersepadu: Persetujuan, kebenaran, pengesahan lokasi, penyerahan selamat dan kawalan kualiti telah diterapkan di seluruh program.
Pendekatan pengumpulan yang terhasil menyediakan asas yang kukuh untuk membina sistem AI yang memahami tindakan manusia dari perspektif pengendali dan berfungsi dengan lebih andal.
Pendekatan berstruktur Shaip terhadap pengumpulan video egosentrik memberi kami skala, kawalan kualiti dan kepelbagaian dunia sebenar yang diperlukan untuk program latihan AI kami. Aliran kerja semakan pantas dan piawaian penangkapan terperinci mereka mewujudkan asas yang andal untuk memajukan model pengecaman aktiviti dan robotik.
