Hubungi Kami
 Durasi 35 jam

Kerangka Materi

Pengantar dan Dasar-Dasar Diagnostik

  • Gambaran umum mode kegagalan dalam sistem LLM dan masalah spesifik Ollama yang umum
  • Membangun eksperimen yang dapat direproduksi dan lingkungan yang terkontrol
  • Alat bantu debugging: log lokal, tangkapan permintaan/respons, dan sandboxing

Mereproduksi dan Mengisolasi Kegagalan

  • Teknik untuk membuat contoh kegagalan minimal dan benih (seeds)
  • Interaksi stateful vs stateless: mengisolasi bug terkait konteks
  • Determinisme, keacakan, dan mengendalikan perilaku nondeterministik

Evaluasi Perilaku dan Metrik

  • Metrik kuantitatif: akurasi, varian ROUGE/BLEU, kalibrasi, dan proksi perplexity
  • Evaluasi kualitatif: penilaian human-in-the-loop dan desain rubrik
  • Pengecekan fidelitas spesifik tugas dan kriteria penerimaan

Pengujian Otomatis dan Regresi

  • Unit test untuk prompt dan komponen, skenario, dan tes end-to-end
  • Membuat suite regresi dan baseline contoh emas (golden example)
  • Integrasi CI/CD untuk pembaruan model Ollama dan gerbang validasi otomatis

Observabilitas dan Pemantauan

  • Log terstruktur, trace terdistribusi, dan ID korelasi
  • Metrik operasional utama: latensi, penggunaan token, tingkat kesalahan, dan sinyal kualitas
  • Peringatan, dasbor, dan SLI/SLO untuk layanan berbasis model

Analisis Akar Masalah Lanjutan

  • Melacak melalui prompt grafis, panggilan alat, dan alur multi-turn
  • Diagnosis komparatif A/B dan studi ablasi
  • Asal usul data (data provenance), debugging dataset, dan menangani kegagalan yang diinduksi oleh dataset

Keselamatan, Robustness, dan Strategi Remediasi

  • Mitigasi: penyaringan, grounding, augmentasi pengambilan (retrieval augmentation), dan scaffolding prompt
  • Pola rollback, canary, dan rollout bertahap untuk pembaruan model
  • Pasca-insiden (post-mortems), pelajaran yang dipetik, dan loop perbaikan berkelanjutan

Ringkasan dan Langkah Selanjutnya

Persyaratan

  • Pengalaman kuat dalam membangun dan menerapkan aplikasi LLM
  • Familiaritas dengan alur kerja Ollama dan hosting model
  • Kenyamanan menggunakan Python, Docker, dan alat observabilitas dasar

Audiens

  • Engineer AI
  • Profesional ML Ops
  • Tim QA yang bertanggung jawab atas sistem LLM produksi

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait