Kursus Pelatihan Teknik Fine-Tuning Efisien Parameter (PEFT) untuk LLM

Pengenalan Parameter-Efficient Fine-Tuning (PEFT)

• Motivasi dan keterbatasan fine-tuning penuh
• Ringkasan PEFT: tujuan dan manfaat
• Aplikasi dan use case di industri

LoRA (Low-Rank Adaptation)

• Konsep dan intuisi di balik LoRA
• Implementasi LoRA menggunakan Hugging Face dan PyTorch
• Hands-on: Fine-tuning model dengan LoRA

Adapter Tuning

• Bagaimana modul adapter bekerja
• Integrasi dengan model berbasis transformer
• Hands-on: Menerapkan Adapter Tuning pada model transformer

Prefix Tuning

• Penggunaan soft prompts untuk fine-tuning
• Kelebihan dan keterbatasan dibandingkan LoRA dan adapter
• Hands-on: Prefix Tuning pada tugas LLM

Evaluasi dan Perbandingan Metode PEFT

• Metriks untuk mengevaluasi kinerja dan efisiensi
• Kompromi dalam kecepatan pelatihan, penggunaan memori, dan akurasi
• Eksperimen benchmarking dan interpretasi hasil

Penyampaian Model yang Telah Di-Fine-Tune

• Menyimpan dan memuat model yang telah di-fine-tune
• Pertimbangan deployment untuk model berbasis PEFT
• Integrasi ke dalam aplikasi dan pipeline

Praktik Terbaik dan Ekstensi

• Menggabungkan PEFT dengan kuantisasi dan distilasi
• Penggunaan dalam pengaturan sumber daya terbatas dan multibahasa
• Arah masa depan dan area penelitian aktif