Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Durasi 35 jam
Kerangka Materi
Pendahuluan dan Dasar-Dasar Diagnostik
- Tinjauan kegagalan sistem LLM dan masalah spesifik Ollama yang umum terjadi
- Membangun eksperimen yang dapat direproduksi dan lingkungan yang terkontrol
- Kit alat debugging: log lokal, tangkapan permintaan/respons, dan sandboxing
Reproduksi dan Isolasi Kegagalan
- Teknik untuk membuat contoh kegagalan minimal dan seed
- Interaksi stateful vs stateless: mengisolasi bug terkait konteks
- Determinisme, keacakan, dan pengendalian perilaku non-deterministik
Evaluasi Perilaku dan Metrik
- Metrik kuantitatif: akurasi, varian ROUGE/BLEU, kalibrasi, dan proxy perplexity
- Evaluasi kualitatif: penilaian oleh manusia (human-in-the-loop) dan desain rubrik
- Pemeriksaan fidelitas spesifik tugas dan kriteria penerimaan
Pengujian Otomatis dan Regresi
- Unit test untuk prompt dan komponen, uji skenario dan end-to-end
- Membuat suite regresi dan baseline contoh golden
- Integrasi CI/CD untuk pembaruan model Ollama dan gerbang validasi otomatis
Observabilitas dan Pemantauan
- Pencatatan log terstruktur, trace terdistribusi, dan korelasi ID
- Metrik operasional kunci: latensi, penggunaan token, tingkat kesalahan, dan sinyal kualitas
- Peringatan (alerting), dashboard, dan SLI/SLO untuk layanan berbasis model
Analisis Akar Masalah Tingkat Lanjut
- Menelusuri prompt bergambar, pemanggilan alat, dan aliran multi-turn
- Diagnosis A/B komparatif dan studi ablasi
- Sumber data, debugging dataset, dan penanganan kegagalan akibat dataset
Keamanan, Robustness, dan Strategi Remediasi
- Mitigasi: filtering, grounding, augmentation retrievable, dan scaffolding prompt
- Pola rollback, canary, dan peluncuran bertahap untuk pembaruan model
- Post-mortem, pelajaran yang dipetik, dan loop peningkatan berkelanjutan
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman kuat dalam membangun dan menyebarkan aplikasi LLM
- Pengenalan terhadap alur kerja Ollama dan hosting model
- Kenyamanan menggunakan Python, Docker, dan tooling observabilitas dasar
Audience
- Ingenieur AI
- Profesional ML Ops
- Tim QA yang bertanggung jawab atas sistem LLM produksi