Penyeliaan Penalaan Halus (SFT)

definisi

Penalaan halus diselia (SFT) ialah proses melatih model pra-latihan pada data berlabel untuk tugas tertentu, melaraskan semua atau sebahagian daripada parameternya.

Tujuan

Tujuannya adalah untuk menyesuaikan model tujuan umum kepada tugas khusus dengan ketepatan yang dipertingkatkan.

kepentingan

• Teknik teras dalam tugasan NLP dan visi.
• Memerlukan data berlabel berkualiti tinggi.
• Risiko terlalu sesuai dengan set data kecil.
• Selalunya pelopor kepada RLHF.

Langkah-langkah untuk Copytrade

1. Pilih model yang telah dilatih.
2. Kumpul data berlabel untuk tugas sasaran.
3. Latih model dengan pembelajaran terselia.
4. Sahkan pada set ujian yang ditahan.
5. Sebarkan dan pantau untuk prestasi.

Contoh (Dunia Sebenar)

• GPT diperhalusi pada perbualan perkhidmatan pelanggan.
• BERT diperhalusi untuk pengiktirafan entiti yang dinamakan.
• Transformer penglihatan diperhalusi pada klasifikasi imej perubatan.

Rujukan / Bacaan Lanjut

• Devlin et al. “BERT: Pra-latihan Transformer Dwi Arah Dalam.” NAACL 2019.
• Dokumentasi Transformers Wajah Berpeluk.
• Stanford CS224N: NLP dengan Pembelajaran Mendalam.
• Apakah SFT? Mengapa Ia Penting?