Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Pendahuluan dan Dasar-dasar Diagnosa
- Ulasan mengenai pola kegagalan umum pada sistem LLM serta masalah spesifik Ollama
- Cara menciptakan eksperimen yang dapat direproduksi dan lingkungan terkontrol
- Kumpulan alat pemecahan masalah: log lokal, pencatatan permintaan dan respons, serta penggunaan sandbox.
Mereproduksi dan Mengisolasi Kegagalan
- Teknik untuk membuat contoh kegagalan minimal yang dapat diuji serta data dasar untuk pengujian.
- Interaksi berbasis status tetap atau tidak tetap: mengisolasi kesalahan terkait konteks.
- Penerapan prinsip deterministik, pengaturan elemen acak, serta kendali atas perilaku yang bersifat nondeterministik.
Evaluasi Perilaku Model dan Metriknya
- Metrik kuantitatif: akurasi, varian ROUGE/BLEU, tingkat kepercayaan hasil, serta perkiraan nilai perplexity.
- Evaluasi kualitatif: penilaian manusia sebagai pengamat dan perancangan rubrik evaluasi.
- Pemeriksaan akurasi tugas spesifik serta kriteria penerimaan yang harus dipenuhi model.
Pengujian Otomatis dan Manajemen Regresi
- Pembuatan tes unit untuk prompt dan komponen, serta pengujian skenario akhir hingga tahap implementasi.
- Penyusunan kumpulan tes regresi beserta contoh hasil ideal sebagai standar.
- Integrasi proses CI/CD untuk pembaruan model Ollama serta verifikasi otomatis terhadap kualitasnya.
Sistem Observabilitas dan Pemantauan Model
- Pencatatan log terstruktur, pengelacakan aktivitas sistem, serta pemanfaatan ID korelasi.
- Metrik operasional utama: latensi, frekuensi pemakaian token, tingkat kesalahan, serta indikator mutu model.
- Pembuatan mekanisme peringatan dini, panel monitor, serta pengaturan SLI/SLO untuk layanan berbasis model.
Analisis Akar Masalah Tingkat Lanjut
- Pelacakan alur eksekusi mulai dari prompt hingga pemanggilan fungsi dan interaksi antar sesi.
- Teknik diagnosis A/B serta studi penghapusan komponen tertentu secara sistematis.
- Identifikasi asal data, pengecekan integritas dataset, serta langkah mengatasi masalah yang timbul akibat kualitas data.
Taktik Keamanan, Kebutuhan Penguatan Kualitas Model, serta Strategi Perbaikan
- Cara mitigasi risiko: penyaringan konten, penegasan fakta melalui referensi eksternal, dan pengaturan struktur prompt yang tepat.
- Pola implementasi pembaruan model secara bertahap: cara mengambil alih sistem lama, penggunaan fitur canary, serta pendekatan peluncuran bertingkat.
- Proses evaluasi kegagalan pasca terjadi insiden, penarikan pelajaran berharga, dan upaya perbaikan terus-menerus.
Penutup serta Rencana Lanjutan
Persyaratan
- Pengalaman luas dalam pembuatan serta penyebaran aplikasi berbasis LLM
- Pengetahuan dasar mengenai alur kerja Ollama dan cara menghosting model
- Mampu menggunakan Python, Docker, serta perangkat observabilitas dasar
Target Peserta
- Insinyur AI
- Profesional ML Ops
- Tim QA yang mengelola sistem LLM di lingkungan produksi
35 Jam