Course Outline

Pengantar ke Model LLM Sumber Terbuka

  • Apa itu model berbobot terbuka dan mengapa mereka penting
  • Ringkasan tentang LLaMA, Mistral, Qwen, dan model komunitas lainnya
  • Kasus penggunaan untuk penerapan swasta, on-premise, atau aman

Pengaturan Lingkungan dan Alat

  • Instalasi dan konfigurasi perpustakaan Transformers, Datasets, dan PEFT
  • Memilih hardware yang tepat untuk fine-tuning
  • Memuat model pre-trained dari Hugging Face atau repositori lainnya

Persiapan Data dan Pra-pemrosesan

  • Format dataset (pengaturan instruksi, data obrolan, teks saja)
  • Tokenisasi dan manajemen urutan
  • Membuat dataset kustom dan pengelola data

Teknik Fine-Tuning

  • Fine-tuning lengkap standar vs. metode efisien parameter
  • Menerapkan LoRA dan QLoRA untuk fine-tuning yang efisien
  • Menggunakan Trainer API untuk eksperimen cepat

Evaluasi Model dan Optimisasi

  • Menilai model fine-tuned dengan metrik generasi dan akurasi
  • Manajemen overfitting, generalisasi, dan set validasi
  • Tips penyetelan kinerja dan logging

Peluncuran dan Penggunaan Swasta

  • Menyimpan dan memuat model untuk inferensi
  • Menjalankan model fine-tuned dalam lingkungan perusahaan yang aman
  • Taktik peluncuran on-premise vs. cloud

Kasus Studi dan Use Cases

  • Contoh penggunaan perusahaan LLaMA, Mistral, dan Qwen
  • Mengatasi fine-tuning multibahasa dan spesifik domain
  • Diskusi: Perbandingan antara model terbuka dan tertutup

Ringkasan dan Langkah Selanjutnya

Requirements

  • Pemahaman tentang model bahasa besar (LLMs) dan arsitektur mereka
  • Pengalaman dengan Python dan PyTorch
  • Ketahui dasar-dasar ekosistem Hugging Face

Audience

  • Praktisi ML
  • Pengembang AI
 14 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories