Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Durasi 35 jam
Kerangka Materi
Pengantar dan Dasar-Dasar Diagnostik
- Gambaran umum mode kegagalan dalam sistem LLM dan masalah spesifik Ollama yang umum
- Membangun eksperimen yang dapat direproduksi dan lingkungan yang terkontrol
- Alat bantu debugging: log lokal, tangkapan permintaan/respons, dan sandboxing
Mereproduksi dan Mengisolasi Kegagalan
- Teknik untuk membuat contoh kegagalan minimal dan benih (seeds)
- Interaksi stateful vs stateless: mengisolasi bug terkait konteks
- Determinisme, keacakan, dan mengendalikan perilaku nondeterministik
Evaluasi Perilaku dan Metrik
- Metrik kuantitatif: akurasi, varian ROUGE/BLEU, kalibrasi, dan proksi perplexity
- Evaluasi kualitatif: penilaian human-in-the-loop dan desain rubrik
- Pengecekan fidelitas spesifik tugas dan kriteria penerimaan
Pengujian Otomatis dan Regresi
- Unit test untuk prompt dan komponen, skenario, dan tes end-to-end
- Membuat suite regresi dan baseline contoh emas (golden example)
- Integrasi CI/CD untuk pembaruan model Ollama dan gerbang validasi otomatis
Observabilitas dan Pemantauan
- Log terstruktur, trace terdistribusi, dan ID korelasi
- Metrik operasional utama: latensi, penggunaan token, tingkat kesalahan, dan sinyal kualitas
- Peringatan, dasbor, dan SLI/SLO untuk layanan berbasis model
Analisis Akar Masalah Lanjutan
- Melacak melalui prompt grafis, panggilan alat, dan alur multi-turn
- Diagnosis komparatif A/B dan studi ablasi
- Asal usul data (data provenance), debugging dataset, dan menangani kegagalan yang diinduksi oleh dataset
Keselamatan, Robustness, dan Strategi Remediasi
- Mitigasi: penyaringan, grounding, augmentasi pengambilan (retrieval augmentation), dan scaffolding prompt
- Pola rollback, canary, dan rollout bertahap untuk pembaruan model
- Pasca-insiden (post-mortems), pelajaran yang dipetik, dan loop perbaikan berkelanjutan
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman kuat dalam membangun dan menerapkan aplikasi LLM
- Familiaritas dengan alur kerja Ollama dan hosting model
- Kenyamanan menggunakan Python, Docker, dan alat observabilitas dasar
Audiens
- Engineer AI
- Profesional ML Ops
- Tim QA yang bertanggung jawab atas sistem LLM produksi