Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Dasar-dasar Debugging dan Evaluasi Mastra
- Memahami model perilaku agen serta pola kegagalannya
- Prinsip-prinsip utama dalam proses debugging di lingkungan Mastra
- Cara mengevaluasi tindakan agen baik yang bersifat deterministik maupun tidak deterministik
Pengaturan Lingkungan untuk Pengujian Agen AI
- Konfigurasi ruang uji dan lingkungan evaluasi terisolasi
- Pengumpulan log, jejak aktivitas, serta data telemetri untuk analisis mendalam
- Penyiapan dataset serta prompt yang relevan guna pengujian sistematis
Proses Debugging Perilaku Agen AI
- Pelacakan jejak keputusan serta sinyal penalaran internal agen
- Identifikasi fenomena halusinasi, kesalahan, maupun perilaku yang tidak diharapkan
- Pemanfaatan dashboard observabilitas untuk menyelidiki akar penyebab masalah
Metrik Evaluasi dan Kerangka Tolok Ukur
- Penentuan metrik evaluasi baik secara kuantitatif maupun kualitatif
- Pengukuran tingkat akurasi, konsistensi, serta kepatuhan agen terhadap konteks tertentu
- Pemanfaatan dataset tolok ukur untuk evaluasi yang dapat diulang secara teratur
Teknik Rekayasa Keandalan Agen AI
- Merancang pengujian keandalan bagi agen yang dijalankan dalam jangka panjang
- Deteksi perubahan perilaku atau penurunan kualitas kinerja agen secara terus-menerus
- Penerapan mekanisme perlindungan terhadap alur kerja yang sangat penting
Proses Penjaminan Kualitas dan Otomatisasinya
- Pembentukan saluran penjaminan kualitas untuk evaluasi terus-menerus
- Otomatisasi uji regresi guna memastikan stabilitas agen setelah perbaruan
- Integrasi sistem penjaminan kualitas dengan proses CI/CD serta alur kerja perusahaan
Teknik Lanjutan untuk Meminimalkan Fenomena Halusinasi
- Strategi pembuatan prompt yang tepat guna mengurangi output tidak diinginkan
- Penggunaan mekanisme validasi dan pemeriksaan mandiri dalam agen
- Eksperimen dengan kombinasi model yang berbeda untuk meningkatkan keandalan sistem
Pelaporan, Pemantauan, dan Perbaikan Berkelanjutan
- Penyusunan laporan penjaminan kualitas serta kartu skor evaluasi agen
- Pemantauan perilaku jangka panjang dan pola kesalahan yang muncul secara berkala
- Penyesuaian berkelanjutan pada kerangka evaluasi guna menyesuaikannya dengan perkembangan sistem
Kesimpulan dan Langkah Selanjutnya
Persyaratan
- Pemahaman mengenai pola perilaku agen AI serta mekanisme interaksi model
- Pengalaman dalam proses debugging atau pengujian sistem perangkat lunak yang kompleks
- Kebiasaan menggunakan alat observabilitas maupun pencatatan log
Target Peserta
- Insinyur penjaminan kualitas
- Insinyur keandalan sistem AI
- Pengembang yang bertanggung jawab atas mutu dan kinerja agen AI
21 Jam
