Hubungi Kami

Kerangka Materi

Pengenalan Fine-Tuning Efisien Parameter (PEFT)

  • Motivasi dan keterbatasan full fine-tuning.

  • Ringkasan PEFT: tujuan dan manfaat.

  • Aplikasi dan kasus penggunaan dalam industri.

LoRA (Low-Rank Adaptation)

  • Konsep dan intuisi di balik LoRA.

  • Menerapkan LoRA menggunakan Hugging Face dan PyTorch.

  • Praktik langsung: Fine-tuning model dengan LoRA.

Adapter Tuning

  • Bagaimana modul adapter bekerja.

  • Integrasi dengan model berbasis transformer.

  • Praktik langsung: Menerapkan Adapter Tuning pada model transformer.

Prefix Tuning

  • Menggunakan soft prompts untuk fine-tuning.

  • Kelebihan dan keterbatasan dibandingkan dengan LoRA dan adapter.

  • Praktik langsung: Prefix Tuning pada tugas LLM.

Mengevaluasi dan Membandingkan Metode PEFT

  • Metriks untuk mengevaluasi kinerja dan efisiensi.

  • Trade-off dalam kecepatan pelatihan, penggunaan memori, dan akurasi.

  • Eksperimen benchmarking dan interpretasi hasil.

Menerapkan Model yang Telah Di-fine-tuning

  • Menyimpan dan memuat model yang telah di-fine-tuning.

  • Pertimbangan deployment untuk model berbasis PEFT.

  • Integrasi ke dalam aplikasi dan pipeline.

Praktik Terbaik dan Ekstensi

  • Menggabungkan PEFT dengan kuantisasi dan distilasi.

  • Penggunaan dalam pengaturan sumber daya rendah dan multibahasa.

  • Arah masa depan dan area penelitian aktif.

Ringkasan dan Langkah Selanjutnya

Persyaratan

  • Pemahaman dasar-dasar machine learning.

  • Pengalaman bekerja dengan model bahasa besar (LLM).

  • Kemahiran dengan Python dan PyTorch.

Audience

  • Ilmuwan data.

  • Rekayasa AI.

 14 Jam

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait