Hubungi Kami

Kerangka Materi

Pendahuluan dan Dasar-dasar Diagnosa

  • Ulasan mengenai pola kegagalan umum pada sistem LLM serta masalah spesifik Ollama
  • Cara menciptakan eksperimen yang dapat direproduksi dan lingkungan terkontrol
  • Kumpulan alat pemecahan masalah: log lokal, pencatatan permintaan dan respons, serta penggunaan sandbox.

Mereproduksi dan Mengisolasi Kegagalan

  • Teknik untuk membuat contoh kegagalan minimal yang dapat diuji serta data dasar untuk pengujian.
  • Interaksi berbasis status tetap atau tidak tetap: mengisolasi kesalahan terkait konteks.
  • Penerapan prinsip deterministik, pengaturan elemen acak, serta kendali atas perilaku yang bersifat nondeterministik.

Evaluasi Perilaku Model dan Metriknya

  • Metrik kuantitatif: akurasi, varian ROUGE/BLEU, tingkat kepercayaan hasil, serta perkiraan nilai perplexity.
  • Evaluasi kualitatif: penilaian manusia sebagai pengamat dan perancangan rubrik evaluasi.
  • Pemeriksaan akurasi tugas spesifik serta kriteria penerimaan yang harus dipenuhi model.

Pengujian Otomatis dan Manajemen Regresi

  • Pembuatan tes unit untuk prompt dan komponen, serta pengujian skenario akhir hingga tahap implementasi.
  • Penyusunan kumpulan tes regresi beserta contoh hasil ideal sebagai standar.
  • Integrasi proses CI/CD untuk pembaruan model Ollama serta verifikasi otomatis terhadap kualitasnya.

Sistem Observabilitas dan Pemantauan Model

  • Pencatatan log terstruktur, pengelacakan aktivitas sistem, serta pemanfaatan ID korelasi.
  • Metrik operasional utama: latensi, frekuensi pemakaian token, tingkat kesalahan, serta indikator mutu model.
  • Pembuatan mekanisme peringatan dini, panel monitor, serta pengaturan SLI/SLO untuk layanan berbasis model.

Analisis Akar Masalah Tingkat Lanjut

  • Pelacakan alur eksekusi mulai dari prompt hingga pemanggilan fungsi dan interaksi antar sesi.
  • Teknik diagnosis A/B serta studi penghapusan komponen tertentu secara sistematis.
  • Identifikasi asal data, pengecekan integritas dataset, serta langkah mengatasi masalah yang timbul akibat kualitas data.

Taktik Keamanan, Kebutuhan Penguatan Kualitas Model, serta Strategi Perbaikan

  • Cara mitigasi risiko: penyaringan konten, penegasan fakta melalui referensi eksternal, dan pengaturan struktur prompt yang tepat.
  • Pola implementasi pembaruan model secara bertahap: cara mengambil alih sistem lama, penggunaan fitur canary, serta pendekatan peluncuran bertingkat.
  • Proses evaluasi kegagalan pasca terjadi insiden, penarikan pelajaran berharga, dan upaya perbaikan terus-menerus.

Penutup serta Rencana Lanjutan

Persyaratan

  • Pengalaman luas dalam pembuatan serta penyebaran aplikasi berbasis LLM
  • Pengetahuan dasar mengenai alur kerja Ollama dan cara menghosting model
  • Mampu menggunakan Python, Docker, serta perangkat observabilitas dasar

Target Peserta

  • Insinyur AI
  • Profesional ML Ops
  • Tim QA yang mengelola sistem LLM di lingkungan produksi
 35 Jam

Jumlah Peserta


Harga per Peserta

Kursus Mendatang

Kategori Terkait