Hubungi Kami

Kerangka Materi

Pengantar Teknik Fine-Tuning yang Efisien terhadap Parameter (PEFT)

  • Motivasi di balik penggunaan fine-tuning penuh serta keterbatasannya
  • Gambaran umum mengenai PEFT: tujuan dan keuntungannya
  • Contoh aplikasi PEFT dalam dunia industri

LoRA (Low-Rank Adaptation)

  • Konsep dasar serta logika di balik mekanisme LoRA
  • Mengimplementasikan teknik LoRA dengan memanfaatkan Hugging Face dan PyTorch
  • Praktikum: Melakukan fine-tuning model menggunakan metode LoRA

Adapter Tuning

  • Cara kerja modul adapter dalam konteks pemrosesan bahasa alami
  • Penerapan teknik ini pada model-model berbasis transformer
  • Praktikum: Mengaplikasikan Adapter Tuning pada suatu model transformer

Prefix Tuning<\/p>

  • Menggunakan pola teks tertentu sebagai instruksi untuk proses fine-tuning
  • Kelebihan serta kekurangan metode ini dibandingkan LoRA dan Adapter Tuning
  • Praktikum: Menerapkan Prefix Tuning pada suatu tugas terkait LLM

Evaluasi dan Perbandingan Antar Metode PEFT

  • Indikator penting untuk mengukur kinerja dan efisiensi masing-masing metode
  • Pertimbangan terkait kecepatan pelatihan, penggunaan memori, serta akurasi hasil
  • Menganalisis hasil eksperimen perbandingan berbagai teknik PEFT

Distribusi Model Setelah Fine-Tuning

  • Cara menyimpan serta memanggil kembali model yang telah diatur ulang parameternya
  • Aspek teknis penting dalam penyebaran model berbasis PEFT
  • Integrasi model hasil fine-tuning ke dalam aplikasi atau alur kerja bisnis<\/li>

Praktik Terbaik dan Arah Pengembangan Selanjutnya

  • Menggabungkan PEFT dengan teknik kuantisasi serta distilasi model
  • Penerapan pada lingkungan terbatas sumber daya maupun kondisi multibahasa
  • Isu-isu penelitian aktual dan prospek masa depan bidang ini

Penutup serta Arahan Lanjutan

Persyaratan

  • Pemahaman mendasar mengenai prinsip-prinsip pembelajaran mesin
  • Pengalaman bekerja dengan model bahasa besar (LLM)
  • Keterampilan dalam menggunakan Python dan PyTorch

Target Peserta

  • Ilmuwan data
  • Insinyur AI
 14 Jam

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait