Pembelajaran pengukuhan (RL) ialah sejenis pembelajaran mesin. Dalam pendekatan ini, algoritma belajar membuat keputusan melalui percubaan dan kesilapan, sama seperti yang dilakukan manusia.
Apabila kami menambah maklum balas manusia ke dalam campuran, proses ini berubah dengan ketara. Mesin kemudian belajar dari kedua-dua tindakan mereka dan bimbingan yang diberikan oleh manusia. Gabungan ini mewujudkan persekitaran pembelajaran yang lebih dinamik.
Dalam artikel ini, kita akan bercakap tentang langkah-langkah pendekatan inovatif ini. Kita akan mulakan dengan asas pembelajaran pengukuhan dengan maklum balas manusia. Kemudian, kami akan melalui langkah-langkah utama dalam melaksanakan RL dengan maklum balas manusia.
Apakah Pembelajaran Pengukuhan dengan Maklum Balas Manusia (RLHF)?
Pembelajaran Pengukuhan daripada Maklum Balas Manusia, atau RLHF, ialah kaedah di mana AI belajar daripada percubaan dan kesilapan dan input manusia. Dalam pembelajaran mesin standard, AI bertambah baik melalui banyak pengiraan. Proses ini pantas tetapi tidak selalunya sempurna, terutamanya dalam tugas seperti bahasa.
RLHF melangkah masuk apabila AI, seperti chatbot, memerlukan penapisan. Dalam kaedah ini, orang ramai memberi maklum balas kepada AI dan membantunya memahami dan bertindak balas dengan lebih baik. Kaedah ini amat berguna dalam pemprosesan bahasa semula jadi (NLP). Ia digunakan dalam chatbots, sistem suara-ke-teks dan alat ringkasan.
Biasanya, AI belajar melalui sistem ganjaran berdasarkan tindakannya. Tetapi dalam tugas yang rumit, ini boleh menjadi rumit. Di situlah maklum balas manusia adalah penting. Ia membimbing AI dan menjadikannya lebih logik dan berkesan. Pendekatan ini membantu mengatasi batasan pembelajaran AI dengan sendirinya.
Matlamat RLHF
Matlamat utama RLHF adalah untuk melatih model bahasa untuk menghasilkan teks yang menarik dan tepat. Latihan ini melibatkan beberapa langkah:
Pertama, ia mencipta model ganjaran. Model ini meramalkan sejauh mana manusia akan menilai teks AI.
Maklum balas manusia membantu membina model ini. Maklum balas ini membentuk model pembelajaran mesin untuk meneka penilaian manusia.
Kemudian, model bahasa diperhalusi menggunakan model ganjaran. Ia memberi ganjaran kepada AI untuk teks yang mendapat penilaian tinggi.
Kaedah ini membantu AI mengetahui masa untuk mengelakkan soalan tertentu. Ia belajar untuk menolak permintaan yang melibatkan kandungan berbahaya seperti keganasan atau diskriminasi.
Contoh model yang terkenal menggunakan RLHF ialah OpenAI's ChatGPT. Model ini menggunakan maklum balas manusia untuk menambah baik respons dan menjadikannya lebih relevan dan bertanggungjawab.
Langkah-langkah Pembelajaran Pengukuhan dengan Maklum Balas Manusia
Pembelajaran Pengukuhan dengan Maklum Balas Manusia (RLHF) memastikan model AI mahir dari segi teknikal, kukuh dari segi etika dan relevan dari segi konteks. Lihat lima langkah utama RLHF yang meneroka cara ia menyumbang kepada penciptaan sistem AI yang canggih dan dipandu manusia.
Bermula dengan Model Pra-terlatih
Perjalanan RLHF bermula dengan model pra-latihan, langkah asas dalam Pembelajaran Mesin Manusia-dalam-Gelung. Pada mulanya dilatih mengenai set data yang luas, model ini mempunyai pemahaman yang luas tentang bahasa atau tugas asas lain tetapi kekurangan pengkhususan.
Pembangun bermula dengan model terlatih dan mendapat kelebihan yang ketara. Model-model ini telah dipelajari daripada sejumlah besar data. Ia membantu mereka menjimatkan masa dan sumber dalam fasa latihan awal. Langkah ini menetapkan peringkat untuk latihan yang lebih fokus dan khusus yang seterusnya.
Penyeliaan Penalaan Halus
Langkah kedua melibatkan penyeliaan penalaan halus, di mana model pra-latihan menjalani latihan tambahan pada tugas atau domain tertentu. Langkah ini dicirikan dengan menggunakan data berlabel, yang membantu model menjana output yang lebih tepat dan berkaitan kontekstual.
Proses penalaan halus ini merupakan contoh utama Latihan AI berpandukan Manusia, di mana pertimbangan manusia memainkan peranan penting dalam mengemudi AI ke arah tingkah laku dan tindak balas yang diingini. Jurulatih mesti berhati-hati memilih dan mempersembahkan data khusus domain untuk memastikan AI menyesuaikan diri dengan nuansa dan keperluan khusus tugas yang sedang dijalankan.
Latihan Model Ganjaran
Dalam langkah ketiga, anda melatih model berasingan untuk mengenali dan memberi ganjaran kepada output yang diingini yang dihasilkan oleh AI. Langkah ini adalah penting kepada Pembelajaran AI berasaskan Maklum Balas.
Model ganjaran menilai output AI. Ia memberikan markah berdasarkan kriteria seperti perkaitan, ketepatan dan penjajaran dengan hasil yang diinginkan. Markah ini bertindak sebagai maklum balas dan membimbing AI ke arah menghasilkan respons yang lebih berkualiti. Proses ini membolehkan pemahaman yang lebih bernuansa tentang tugas yang kompleks atau subjektif di mana arahan yang jelas mungkin tidak mencukupi untuk latihan yang berkesan.
Pembelajaran Pengukuhan melalui Pengoptimuman Dasar Proksimal (PPO)
Seterusnya, AI menjalani Pembelajaran Pengukuhan melalui Pengoptimuman Dasar Proksimal (PPO), pendekatan algoritma yang canggih dalam pembelajaran mesin interaktif.
PPO membolehkan AI belajar daripada interaksi langsung dengan persekitarannya. Ia memperhalusi proses membuat keputusannya melalui ganjaran dan penalti. Kaedah ini amat berkesan dalam pembelajaran dan penyesuaian masa nyata, kerana ia membantu AI memahami akibat tindakannya dalam pelbagai senario.
PPO memainkan peranan penting dalam mengajar AI untuk mengemudi persekitaran yang kompleks dan dinamik di mana hasil yang diinginkan mungkin berkembang atau sukar untuk ditentukan.
Berpasukan Merah
Langkah terakhir melibatkan ujian dunia sebenar yang ketat terhadap sistem AI. Di sini, kumpulan penilai yang pelbagai, dikenali sebagai 'pasukan merah,' mencabar AI dengan pelbagai senario. Mereka menguji keupayaannya untuk bertindak balas dengan tepat dan sesuai. Fasa ini memastikan bahawa AI boleh mengendalikan aplikasi dunia sebenar dan situasi yang tidak diramalkan.
Red Teaming menguji kecekapan teknikal AI dan kekukuhan etika dan kontekstual. Mereka memastikan bahawa ia beroperasi dalam sempadan moral dan budaya yang boleh diterima.
Sepanjang langkah ini, RLHF menekankan kepentingan penglibatan manusia pada setiap peringkat pembangunan AI. Daripada membimbing latihan awal dengan data yang disusun dengan teliti kepada menyediakan maklum balas bernuansa dan ujian dunia sebenar yang ketat, input manusia adalah penting untuk mencipta sistem AI yang bijak, bertanggungjawab dan selaras dengan nilai dan etika manusia.
Kesimpulan
Pembelajaran Pengukuhan dengan Maklum Balas Manusia (RLHF) menunjukkan era baharu dalam AI kerana ia menggabungkan cerapan manusia dengan pembelajaran mesin untuk sistem AI yang lebih beretika dan tepat.
RLHF berjanji untuk menjadikan AI lebih empati, inklusif dan inovatif. Ia boleh menangani berat sebelah dan meningkatkan penyelesaian masalah. Ia ditetapkan untuk mengubah bidang seperti penjagaan kesihatan, pendidikan dan perkhidmatan pelanggan.
Walau bagaimanapun, memperhalusi pendekatan ini memerlukan usaha berterusan untuk memastikan keberkesanan, keadilan dan penjajaran etika.
