definisi
Tokenisasi ialah proses pembahagian teks kepada unit yang lebih kecil (token) seperti perkataan, subkata atau aksara, yang berfungsi sebagai input kepada model bahasa.
Tujuan
Tujuannya adalah untuk menyeragamkan teks kepada komponen yang boleh diurus untuk latihan dan inferens dalam LLM.
kepentingan
- Langkah prapemprosesan asas dalam NLP.
- Memberi kesan kepada saiz dan kecekapan perbendaharaan kata.
- Pilihan tokenisasi mempengaruhi ketepatan dan prestasi.
- Berkaitan dengan pembenaman dan latihan model.
Langkah-langkah untuk Copytrade
- Tentukan skema tokenisasi (perkataan, subkata, aksara).
- Gunakan tokenizer pada teks input.
- Petakan token kepada ID berangka.
- Suapan token ke dalam model untuk diproses.
- Tukar token output kembali kepada teks.
Contoh (Dunia Sebenar)
- Pengekodan Pasangan Byte (BPE) digunakan dalam model GPT.
- WordPiece digunakan dalam BERT.
- SentencePiece digunakan dalam NLP berbilang bahasa.
Rujukan / Bacaan Lanjut
- Sennrich et al. "Terjemahan Mesin Neural Perkataan Jarang dengan Unit Subkata." ACL.
- Dokumentasi Google SentencePiece.
- Jurafsky & Martin. Pertuturan dan Pemprosesan Bahasa.
