Kerangka Materi

Pendahuluan dan Dasar Diagnostik

  • Tinjauan mode kegagalan dalam sistem LLM dan masalah umum khusus Ollama
  • Membangun eksperimen reproduksi dan lingkungan terkontrol
  • Set alat untuk debugging: log lokal, penangkapan permintaan/jawaban, dan sandboxing

Mereproduksi dan Memisahkan Kegagalan

  • Teknik untuk membuat contoh kegagalan minimal dan benih
  • Interaksi stateful vs stateless: memisahkan bug yang terkait dengan konteks
  • Determinisme, acak, dan mengontrol perilaku nondeterministik

Evaluasi Perilaku dan Metrik

  • Metrik kuantitatif: akurasi, varian ROUGE/BLEU, kalibrasi, dan proxy kebingungan
  • Evaluasi kualitatif: skoring human-in-the-loop dan desain rubrik
  • Pemeriksaan kesetiaan dan kriteria penerimaan khusus tugas

Pengujian Otomatis dan Regresi

  • Uji unit untuk prompt dan komponen, uji skenario dan uji akhir ke akhir
  • Membuat paket regresi dan baselin contoh emas
  • Integrasi CI/CD untuk pembaruan model Ollama dan pintu validasi otomatis

Kemampuan Melihat dan Pemantauan

  • Logging terstruktur, jejak terdistribusi, dan ID korelasi
  • Metrik operasi kunci: latensi, penggunaan token, tingkat kesalahan, dan sinyal kualitas
  • Peringatan, dasbor, dan SLIs/SLOs untuk layanan berbasis model

Analisis Penyebab Akar Lanjutan

  • Menelepon melalui grafik prompt, pemanggilan alat, dan alur multi-turn
  • Diagnosis A/B komparatif dan studi ablasi
  • Kebangsaan data, debugging dataset, dan mengatasi kegagalan yang disebabkan oleh dataset

Strategi Keamanan, Ketahanan, dan Remediasi

  • Mitigasi: penyaringan, pengalaman, augmentasi penarikan, dan kerangka prompt
  • Polanya rollback, canary, dan rilis bertahap untuk pembaruan model
  • Analisis pasca-mati, pelajaran yang dipelajari, dan loop peningkatan kontinu

Ringkasan dan Langkah Selanjutnya

Persyaratan

  • Pengalaman yang kuat dalam membangun dan mendeklopmen aplikasi LLM
  • Kenalan dengan alur kerja Ollama dan penyimpanan model
  • Nyaman dengan Python, Docker, dan peralatan observabilitas dasar

Audience

  • Ahli teknik AI
  • Profesional ML Ops
  • Tim QA yang bertanggung jawab atas sistem LLM produksi
 35 Jam

Jumlah Peserta


Biaya per Peserta

Kursus Mendatang

Kategori Terkait