Pra-latihan

definisi

Pra-latihan ialah latihan awal model pembelajaran mesin pada set data tujuan umum yang besar sebelum memperhalusi tugas tertentu.

Tujuan

Tujuannya adalah untuk menyediakan model dengan perwakilan luas yang dipindahkan ke pelbagai tugas, mengurangkan data dan mengira keperluan untuk penyesuaian hiliran.

kepentingan

• Asas untuk LLM moden dan model penglihatan.
• Meningkatkan prestasi merentas pelbagai tugas.
• Mahal dari segi data dan pengiraan.
• Memerlukan penyusunan set data yang teliti untuk mengelakkan berat sebelah.

Langkah-langkah untuk Copytrade

1. Kumpulkan set data am besar-besaran (teks, imej).
2. Tentukan tugas pembelajaran yang tidak diselia atau diselia sendiri.
3. Melatih model untuk mempelajari ciri umum.
4. Simpan pemberat yang telah dilatih untuk digunakan semula.
5. Perhalusi set data khusus tugasan yang lebih kecil.

Contoh (Dunia Sebenar)

• BERT pra-latihan di Wikipedia dan BooksCorpus.
• CLIP dilatih pada pasangan imej–teks.
• Model GPT dilatih terlebih dahulu pada teks internet berskala besar.

Rujukan / Bacaan Lanjut

• Devlin et al. “BERT: Pra-latihan Transformer Dwi Arah Dalam.” NAACL 2019.
• Radford et al. “Model Bahasa adalah Pelajar Sedikit Ditembak.” NeuroIPS 2020.
• Laporan Teknikal OpenAI GPT-4.