definisi
Penalaan halus cekap parameter (PEFT) ialah teknik untuk menyesuaikan model besar pra-latihan kepada tugas baharu dengan mengemas kini hanya subset kecil parameter dan bukannya keseluruhan model.
Tujuan
Tujuannya adalah untuk mengurangkan kos pengiraan dan keperluan penyimpanan sambil mengekalkan prestasi tugas yang kukuh.
kepentingan
- Menjadikan penalaan halus boleh dilaksanakan untuk organisasi tanpa sumber yang besar.
- Mengurangkan jejak karbon berbanding latihan model penuh.
- Membolehkan penukaran tugas yang cekap dalam pengeluaran.
- Berkaitan dengan kaedah seperti LoRA dan penyesuai.
Langkah-langkah untuk Copytrade
- Pilih model asas pra-latihan yang besar.
- Kenal pasti subset parameter (cth, penyesuai peringkat rendah).
- Latih hanya subset ini pada data tugas sasaran.
- Simpan parameter lain beku.
- Gunakan dengan overhed sumber minimum.
Contoh (Dunia Sebenar)
- LoRA (Penyesuaian Peringkat Rendah): digunakan secara meluas dalam LLM penalaan halus.
- Perpustakaan PEFT Memeluk Wajah: kit alat penalaan halus yang cekap.
- Penyelidikan Google: penyesuai untuk tugas NLP berbilang bahasa.
Rujukan / Bacaan Lanjut
- Hu et al. "LoRA: Adaptasi Peringkat Rendah bagi Model Bahasa Besar." arXiv.
- Houlsby et al. "Pembelajaran Pemindahan Cekap Parameter untuk NLP." ACL.
- Dokumentasi PEFT Berpeluk Wajah.
