Robot boleh melihat. Set data imej berskala Internet dan model yang diperhalusi selama sedekad telah memungkinkan perkara itu. Tetapi minta robot untuk benar-benar mengambil karton yang separuh hancur, memasang kabel, atau menyerahkan alat kepada pakar bedah, dan rodanya akan tercabut. Bukan kerana kamera gagal. Kerana tiada apa-apa dalam latihan robot yang pernah mengajarnya bagaimana rasanya sentuhan. Sentuhan adalah deria yang dilupakan oleh AI Fizikal, dan sebabnya lebih mudah daripada yang dijangkakan oleh kebanyakan pasukan: isyarat latihan belum wujud lagi. Artikel ini adalah mengenai isyarat itu sendiri — data penderiaan sentuhanApa yang sebenarnya terkandung di dalamnya, bagaimana ia dihasilkan dan apa yang perlu dilabelkan sebelum ia menjadi berguna. Langkau mana-mana tiga soalan tersebut dan model akan kekal buta dalam satu erti kata yang paling penting untuk manipulasi.
Empat Kelas Isyarat Di Dalam Data Pengesanan Taktil
Perkara pertama yang tidak kena ialah "sentuhan" dianggap sebagai satu baldi. Dalam praktiknya, model yang belajar untuk memanipulasi memerlukan empat kelas isyarat yang berbeza, setiap satu ditangkap oleh perkakasan yang berbeza dan setiap satunya mengajar model sesuatu yang berbeza. Taburan tekanan memberitahu robot di mana dan betapa sukarnya Sentuhan berlaku merentasi bahagian sentuhan — cukup untuk menganggarkan kualiti cengkaman dan posisi objek di dalam pencengkam. Getaran menangkap transien frekuensi tinggi: peristiwa mikro yang memberi isyarat bahawa permukaan bertekstur tergelincir, berlanggar atau bunyi serak permukaan bertekstur yang menggelongsor ke arah permukaan lain. Daya dan tork menggambarkan pertukaran mekanikal bersih pada pergelangan tangan atau sendi — perbezaan antara menekan butang dan membengkokkannya. Propriosepsi ialah deria robot terhadap badannya sendiri: kedudukan jari, apertur pencengkam, keadaan sendi pada saat sentuhan berlaku. Model yang dilatih pada mana-mana satu ini secara berasingan berfungsi dengan sebelah tangan.
| Kelas isyarat | Apa yang diukur | Kadar tangkapan biasa | Apa yang diajarkannya kepada model |
|---|---|---|---|
| Tekanan | Lokasi sentuhan, bentuk, keamatan | 100-500 Hz | Kualiti genggaman, posisi objek dalam pencengkam |
| Getaran | Transien sentuhan frekuensi tinggi | 1–5 kHz | Permulaan gelinciran, perlanggaran, tekstur permukaan |
| Daya / Tork | Beban mekanikal bersih pada sambungan | 500-1,500 Hz | Daya pemasukan, pematuhan, had sentuhan selamat |
| Proprioception | Gripper dan keadaan sendi | 100-1,000 Hz | Kesedaran badan, inferens ubah bentuk |
Bagaimana Data Pengesanan Taktil Sebenarnya Dikumpulkan
Tidak seperti data penglihatan, tiada satu pun daripada ini boleh dikikis. Setiap sampel perlu dihasilkan oleh sensor sebenar yang menyentuh objek sebenar. Terdapat tiga mod pengumpulan praktikal, dan program gred pengeluaran biasanya menjalankan ketiga-tiganya secara selari.
Demonstrasi manusia yang dikendalikan secara teleoperasi
Seorang pengendali mahir menjalankan robot melalui tugasan — memilih, memasukkan, menyerahkan — sementara susunan sensor penuh merekod. Oleh kerana manusia berada dalam gelung, trajektori mengikut definisi berjaya dan pelbagai, dan ia menangkap strategi tersirat yang digunakan manusia untuk pulih daripada gelinciran kecil. Inilah tulang belakang saluran pembelajaran tiruan dan tindakan penglihatan-bahasa.
Rig interaksi berskrip
Robot ini menjalankan gerakan terprogram terhadap set objek yang dipilih susun, selalunya pada kelajuan, sudut dan tekanan yang berbeza-beza. Mod ini tidak dapat ditandingi untuk liputan rejim sentuhan tertentu — contohnya, "lima puluh sisipan penyambung ini pada sepuluh sudut kemasukan yang berbeza dan tiga keadaan geseran." Itulah cara anda membina set data yang mengasingkan satu pembolehubah.
Penangkapan dalam pelaksanaan
Sebaik sahaja robot berjalan dalam persekitaran sebenar, setiap syif menghasilkan data baharu — termasuk peristiwa jarang yang anda tidak pernah terfikir untuk skripkan. Menutup gelung antara penggunaan dan latihan semula adalah dari mana penambahbaikan keupayaan jangka panjang datang.
Bayangkan sebuah pengeluar perkakas melancarkan sel dwi-lengan untuk penghalaan abah-abah pendawaian mesin basuh pinggan mangkuk. Simulasi telah membawa pasukan kepada prototaip yang berfungsi. Enam minggu demonstrasi teleoperasi — seorang juruteknik berpengalaman yang membimbing lengan melalui ratusan abah-abah sebenar dengan rakaman tindanan sentuhan penuh — telah membawanya melepasi lantai pengeluaran. Pasukan yang menjalankan program pada skala ini biasanya bergantung pada pakar. Rakan kongsi pengumpulan data AI fizikal untuk menyediakan kakitangan kepada pengendali, menyelaras pelantar dan mengurus penyegerakan rentas modal yang menjadikan data yang terhasil benar-benar boleh dilatih.
Satu nota tentang simulasi: ia berharga, tetapi ia tidak boleh membawa sentuhan sendiri. Fizik sentuhan simulasi masih berbeza secara bermakna daripada geseran, ubah bentuk dan gelinciran dunia sebenar — terutamanya untuk bahan fleksibel atau patuh. Data sentuhan sintetik menambah set data dunia sebenar. Ia tidak menggantikannya.
Apa yang Perlu Dilabelkan dengan Data Taktil
Strim sensor mentah bukanlah data latihan. Ia menjadi data latihan hanya setelah anotator menanda apa yang sebenarnya berlaku, bila ia berlaku dan sejauh mana ia berjalan. Lima keluarga label paling penting.
Label hasil pemahaman: Berjaya, tergelincir, difahami semula, gagal — digunakan pada setiap episod manipulasi. Ini adalah isyarat penyeliaan untuk semua yang ada di hiliran.
Sempadan rejim sentuh dan cap masa permulaan gelinciran: Sebaik sahaja pencengkam menyentuh objek. Sebaik sahaja objek mula bergerak dalam cengkaman. Sebaik sahaja dilepaskan. Ketepatan di sini diukur dalam puluhan milisaat, kerana di situlah corak yang boleh dipelajari berada.
Kurungan magnitud daya: Tong daya diskret pada setiap fasa interaksi — pendekatan, sentuhan, duduk, tahan, lepas. Ini membolehkan model mempelajari rupa profil daya sisipan "normal", dan oleh itu mengenali apabila sesuatu tidak berfungsi.
Label gandingan penglihatan-sentuhan: Setiap peristiwa sentuhan sejajar dengan bingkai visual yang mengiringinya dan keadaan proprioseptif pada ketika itu. Modal yang tidak sejajar mengajar model dengan yakin korelasi yang salah, yang lebih teruk daripada tiada data.
Anggaran ubah bentuk dan pematuhan: Untuk objek yang boleh berubah bentuk, lembut atau rapuh, anotator merakam bagaimana objek berubah di bawah cengkaman dan berapa banyak sentuhan yang dihasilkan.
Melabelkan perkara ini dengan baik adalah lebih hampir seperti mengajar seseorang bermain alat muzik melalui telinga berbanding menandai foto. Anotator tidak melukis kotak di sekeliling pejalan kaki; mereka mengenal pasti saat tepat corak berubah dalam isyarat 1,500 Hz dan menamakan maksud perubahan itu. Program pengeluaran bergantung pada aliran kerja anotasi taktil dan multimodal dengan kawalan kualiti berperingkat, kerana satu anotator yang cuai boleh meracuni keseluruhan latihan secara senyap-senyap.
Kesimpulan — Daripada “Tidak Dapat Merasa” kepada “Tahu Apa yang Perlu Dirasa”
Lompatan daripada robot yang boleh melihat kepada robot yang boleh merasa bukanlah lompatan dalam perkakasan. Ia adalah lompatan dalam data yang mengajar model apa sebenarnya maksud sentuhan. Tekanan, getaran, daya, propriosepsi — ditangkap serentak, dikumpulkan melalui interaksi sebenar dan dianotasi dengan ketepatan yang diperlukan oleh fizik. Pasukan yang membina Sistem AI fizikal yang bekerja setiap syif, bukan sahaja dalam demo, adalah mereka yang memproses data penderiaan sentuhan sebagai isyarat latihan: sempit, mahal, tidak boleh digantikan dan lapisan tunggal yang menukar robot daripada sesuatu yang memerhati dunia kepada sesuatu yang boleh bertindak dengan andal di dalamnya.
Apakah yang dikira sebagai data penderiaan sentuhan?
Sebarang isyarat sensor yang ditangkap pada atau berhampiran titik sentuhan — peta tekanan, jejak getaran, bacaan daya-tork dan keadaan proprioseptif robot sendiri semasa sentuhan. Takrifan yang berguna merangkumi keempat-empat kelas kerana ia hampir selalu diperlukan bersama.
Bagaimanakah data taktil sebenarnya dikumpulkan?
Tiga mod praktikal: demonstrasi manusia yang dikendalikan secara tele, pelantar interaksi berskrip yang mengasingkan keadaan tertentu dan tangkapan dalam penggunaan daripada robot yang beroperasi. Program pengeluaran menggunakan ketiga-tiganya.
Bolehkah data sentuhan dijana dalam simulasi?
Sebahagiannya. Simulasi sangat baik untuk senario isipadu dan yang jarang berlaku, tetapi fizik sentuhan simulasi masih menyimpang dari realiti — terutamanya untuk geseran, gelinciran dan bahan yang boleh berubah bentuk. Data sentuhan sintetik menambah data dunia sebenar; ia tidak menggantikannya.
Apakah anotasi yang diperlukan oleh data taktil?
Pahami hasil, sempadan rejim sentuhan dan cap masa gelinciran, kurungan magnitud daya pada setiap fasa, gandingan penglihatan-sentuhan dan anggaran ubah bentuk atau pematuhan. Setiap keluarga label mengajar model aspek manipulasi yang berbeza.
Mengapa tiada set data taktil awam pada skala ImageNet?
Kerana data sentuhan hanya boleh dihasilkan melalui sentuhan fizikal — sensor demi sensor, objek demi objek, episod demi episod. Tiada padanan pengikisan, itulah sebabnya program pengumpulan dan anotasi yang dibina khas merupakan pemecah kesesakan dalam AI Fizikal.
