definisi
Penalaan halus ialah proses menyesuaikan model pembelajaran mesin yang telah terlatih kepada tugas baharu menggunakan latihan tambahan pada set data khusus domain yang lebih kecil.
Tujuan
Tujuannya adalah untuk menggunakan semula pengetahuan daripada model besar dan meningkatkan prestasi pada tugas khusus dengan sumber yang lebih sedikit.
kepentingan
- Mengurangkan kos latihan dan masa berbanding membina model dari awal.
- Meningkatkan prestasi pada tugasan khusus domain.
- Risiko overfitting jika data latihan terlalu sempit.
- Berkaitan dengan pemindahan pembelajaran.
Langkah-langkah untuk Copytrade
- Pilih model asas yang telah dilatih.
- Gantikan atau laraskan lapisan khusus tugas.
- Latih dengan data berlabel daripada domain baharu.
- Laraskan kadar pembelajaran untuk mengimbangi pengetahuan lama dan baharu.
- Mengesahkan dan menguji untuk generalisasi.
Contoh (Dunia Sebenar)
- BERT diperhalusi untuk analisis sentimen.
- Model GPT diperhalusi untuk bot sembang sokongan pelanggan.
- Model penglihatan diperhalusi untuk klasifikasi pengimejan perubatan.
Rujukan / Bacaan Lanjut
- Howard & Ruder. “Penalaan Halus Model Bahasa Universal” (ULMFiT). ACL 2018.
- Dokumentasi Transformers Wajah Berpeluk.
- Pan & Yang. "Tinjauan tentang Pembelajaran Pemindahan." IEEE TKDE.
- Apakah Penalaan Halus untuk Model Bahasa Besar? – Shaip
