Hubungi Kami
 Durasi 35 jam

Kerangka Materi

Pendahuluan dan Dasar-Dasar Diagnostik

  • Tinjauan kegagalan sistem LLM dan masalah spesifik Ollama yang umum terjadi
  • Membangun eksperimen yang dapat direproduksi dan lingkungan yang terkontrol
  • Kit alat debugging: log lokal, tangkapan permintaan/respons, dan sandboxing

Reproduksi dan Isolasi Kegagalan

  • Teknik untuk membuat contoh kegagalan minimal dan seed
  • Interaksi stateful vs stateless: mengisolasi bug terkait konteks
  • Determinisme, keacakan, dan pengendalian perilaku non-deterministik

Evaluasi Perilaku dan Metrik

  • Metrik kuantitatif: akurasi, varian ROUGE/BLEU, kalibrasi, dan proxy perplexity
  • Evaluasi kualitatif: penilaian oleh manusia (human-in-the-loop) dan desain rubrik
  • Pemeriksaan fidelitas spesifik tugas dan kriteria penerimaan

Pengujian Otomatis dan Regresi

  • Unit test untuk prompt dan komponen, uji skenario dan end-to-end
  • Membuat suite regresi dan baseline contoh golden
  • Integrasi CI/CD untuk pembaruan model Ollama dan gerbang validasi otomatis

Observabilitas dan Pemantauan

  • Pencatatan log terstruktur, trace terdistribusi, dan korelasi ID
  • Metrik operasional kunci: latensi, penggunaan token, tingkat kesalahan, dan sinyal kualitas
  • Peringatan (alerting), dashboard, dan SLI/SLO untuk layanan berbasis model

Analisis Akar Masalah Tingkat Lanjut

  • Menelusuri prompt bergambar, pemanggilan alat, dan aliran multi-turn
  • Diagnosis A/B komparatif dan studi ablasi
  • Sumber data, debugging dataset, dan penanganan kegagalan akibat dataset

Keamanan, Robustness, dan Strategi Remediasi

  • Mitigasi: filtering, grounding, augmentation retrievable, dan scaffolding prompt
  • Pola rollback, canary, dan peluncuran bertahap untuk pembaruan model
  • Post-mortem, pelajaran yang dipetik, dan loop peningkatan berkelanjutan

Ringkasan dan Langkah Selanjutnya

Persyaratan

  • Pengalaman kuat dalam membangun dan menyebarkan aplikasi LLM
  • Pengenalan terhadap alur kerja Ollama dan hosting model
  • Kenyamanan menggunakan Python, Docker, dan tooling observabilitas dasar

Audience

  • Ingenieur AI
  • Profesional ML Ops
  • Tim QA yang bertanggung jawab atas sistem LLM produksi

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait