Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Pendahuluan dan Dasar Diagnostik
- Tinjauan mode kegagalan dalam sistem LLM dan masalah umum khusus Ollama
- Membangun eksperimen reproduksi dan lingkungan terkontrol
- Set alat untuk debugging: log lokal, penangkapan permintaan/jawaban, dan sandboxing
Mereproduksi dan Memisahkan Kegagalan
- Teknik untuk membuat contoh kegagalan minimal dan benih
- Interaksi stateful vs stateless: memisahkan bug yang terkait dengan konteks
- Determinisme, acak, dan mengontrol perilaku nondeterministik
Evaluasi Perilaku dan Metrik
- Metrik kuantitatif: akurasi, varian ROUGE/BLEU, kalibrasi, dan proxy kebingungan
- Evaluasi kualitatif: skoring human-in-the-loop dan desain rubrik
- Pemeriksaan kesetiaan dan kriteria penerimaan khusus tugas
Pengujian Otomatis dan Regresi
- Uji unit untuk prompt dan komponen, uji skenario dan uji akhir ke akhir
- Membuat paket regresi dan baselin contoh emas
- Integrasi CI/CD untuk pembaruan model Ollama dan pintu validasi otomatis
Kemampuan Melihat dan Pemantauan
- Logging terstruktur, jejak terdistribusi, dan ID korelasi
- Metrik operasi kunci: latensi, penggunaan token, tingkat kesalahan, dan sinyal kualitas
- Peringatan, dasbor, dan SLIs/SLOs untuk layanan berbasis model
Analisis Penyebab Akar Lanjutan
- Menelepon melalui grafik prompt, pemanggilan alat, dan alur multi-turn
- Diagnosis A/B komparatif dan studi ablasi
- Kebangsaan data, debugging dataset, dan mengatasi kegagalan yang disebabkan oleh dataset
Strategi Keamanan, Ketahanan, dan Remediasi
- Mitigasi: penyaringan, pengalaman, augmentasi penarikan, dan kerangka prompt
- Polanya rollback, canary, dan rilis bertahap untuk pembaruan model
- Analisis pasca-mati, pelajaran yang dipelajari, dan loop peningkatan kontinu
Ringkasan dan Langkah Selanjutnya
Persyaratan
- Pengalaman yang kuat dalam membangun dan mendeklopmen aplikasi LLM
- Kenalan dengan alur kerja Ollama dan penyimpanan model
- Nyaman dengan Python, Docker, dan peralatan observabilitas dasar
Audience
- Ahli teknik AI
- Profesional ML Ops
- Tim QA yang bertanggung jawab atas sistem LLM produksi
35 Jam