Course Outline

Pengantar Parameter-Efficient Fine-Tuning (PEFT)

  • Motivasi dan keterbatasan full fine-tuning
  • Ulasan tentang PEFT: tujuan dan manfaatnya
  • Aplikasi dan kasus penggunaan di industri

LoRA (Low-Rank Adaptation)

  • Konsep dan intuisi di balik LoRA
  • Menerapkan LoRA menggunakan Hugging Face dan PyTorch
  • Hands-on: Fine-tuning model dengan LoRA

Adapter Tuning

  • Cara kerja modul adapter
  • Integrasi dengan model berbasis transformer
  • Hands-on: Mengaplikasikan Adapter Tuning pada model transformer

Prefix Tuning

  • Menggunakan soft prompts untuk fine-tuning
  • Kekuatan dan keterbatasan dibandingkan dengan LoRA dan adapter
  • Hands-on: Prefix Tuning pada tugas LLM

Evaluasi dan Perbandingan Metode PEFT

  • Metriks untuk mengevaluasi performa dan efisiensi
  • Trade-offs dalam kecepatan pelatihan, penggunaan memori, dan akurasi
  • Eksperimen benchmarking dan interpretasi hasil

Mendeploy Model yang Telah Difine-tuning

  • Menyimpan dan memuat model yang telah difine-tuning
  • Pertimbangan deployment untuk model berbasis PEFT
  • Integrasi ke dalam aplikasi dan pipeline

Praktik Terbaik dan Perluasan

  • Menggabungkan PEFT dengan quantization dan distillation
  • Penggunaan di setting low-resource dan multilingual
  • Arah masa depan dan area penelitian aktif

Ringkasan dan Langkah Selanjutnya

Requirements

  • Pemahaman tentang dasar-dasar pembelajaran mesin
  • Pengalaman bekerja dengan model bahasa besar (LLMs)
  • Ketahui tentang Python dan PyTorch

Audience

  • Ilmuwan data
  • Inginier AI
 14 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories