Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Pendahuluan Mengenai LLMOps
- LLMOps versus MLOps: perbedaan dan tantangan utama pengelolaan LLM secara operasional.
- Siklus hidup pengembangan aplikasi berbasis LLM: dari pembuatan prompt hingga evaluasi, penyebaran, serta pemantauan.
- Daftar cek persiapan produksi untuk setiap aplikasi GenAI.
Manajemen dan Pengelolaan Versi Prompt
- Sistem pembuatan template prompt serta mekanisme penyisipan variabel.
- Teknik pengarsipan versi berdasarkan semantik dengan prosedur uji regresi otomatis.
- Cara membangun repositori kumpulan prompt beserta alur kerja kolaborasi tim terkaitnya.
Evaluasi LLM dalam Skala Besar
- Aspek evaluasi utama: tingkat ketepatan, keterkaitan dengan konteks pertanyaan, keamanan, serta akurasi informasi yang disajikan.
- Penggunaan pendekatan LLM sebagai alat penilai dan prosedur evaluasi oleh manusia.
- Framework evaluasi otomatis: RAGAS, DeepEval, maupun pengembang custom evaluator lainnya.
- Penerapan batasan kualitas dalam tahapan CI/CD pada setiap rilis versi aplikasi.
Kewajiban Keamanan dan Pengelolaan Konten AI
- Mekanisme perlindungan input serta keluaran data: penerapan teknologi seperti NeMo Guardrails dan Guardrails AI.
- Pendeteksian informasi sensitif (PII), penyaringan konten tidak layak, serta batasan-batasan topik yang dapat diakses.
- Strategi perlindungan terhadap ancaman serangan jailbreak maupun upaya penyusupan prompt ke dalam model AI.
- Penerapan teknik red-teaming sebagai alat validasi keandalan keamanan aplikasi berbasis LLM.
Kemampuan Observabilitas dan Pengawasan Terhadap LLM
- Pengumpulan data: jumlah token yang digunakan, waktu respons, biaya serta indikator kualitas.
- Cara mendeteksi penyimpangan atau perubahan tidak diinginkan pada keluaran model maupun ruang vektor representasi datanya.
- Pelacakan sesi percakapan antara manusia dengan agen cerdas menggunakan beberapa prompt secara bersamaan.
- Penyusunan panel kontrol serta mekanisme pemberitahuan berbasis LangSmith, Arize, dan OpenTelemetry.
Pengaturan Gerbang AI dan Koordinasi Model
- Pengalokasian permintaan ke berbagai penyedia model secara otomatis melalui LiteLLM dan Portkey.
- Strategi cadangan, logika pengulangan serta sistem pembatas resiliensi ketika terjadi gangguan koneksi.
- Pemilihan tipe model yang paling efisien berdasarkan faktor biaya serta strategi distribusi beban kerja antar penyedia layanan.
- Penerapan pengaturan batas permintaan (rate limit), pengendalian kuota akses, serta manajemen kunci API secara terpadu.
Optimalisasi Kinerja Sistem
- Pemanfaatan arsip data berbasis semantik (semantic caching) bersama basis pengetahuan vektor maupun metode pencarian yang tepat.
- Metode koding khusus untuk memastikan struktur hasil output sesuai standar tertentu.
- Penerapan skema pemrosesan kelompok data (batching), sistem transmisi aliran data secara real-time serta pendekatan penanganan permintaan bersamaan.
- Teknik pengurangan waktu respons meskipun terdapat banyak penyedia layanan AI di belakangnya.
Regulasi, Kepatuhan serta Prosedur Pengawasan Operasional
- Sistem pencatatan aktivitas penggunaan LLM: log semua input prompt hingga jawaban model serta jejak keputusan yang diambil.
- Aspek pertimbangan lokasi penyimpanan data serta privasi dalam interaksi aplikasi dengan layanan API LLM.
- Penerapan standar organisasional berupa policy-as-code untuk regulasi penggunaan teknologi AI di lingkungan kerja.
- Cara menyusun pedoman operasional internal khusus terkait aktivitas manajemen dan pemanfaatan LLM secara aman.
Persyaratan
- Pengalaman dalam membangun atau mengintegrasikan aplikasi yang menggunakan teknologi LLM.
- Memahami konsep penggunaan Python serta API REST.
- Pemahaman dasar mengenai prinsip-prinsip perancangan prompt untuk model AI.
Audiens Sasaran
- Para insinyur ML dan praktisi MLOps yang sedang mempelajari operasional LLM secara lebih mendalam.
- Insinyur platform yang bertanggung jawab mengelola infrastruktur LLM di organisasi mereka.
- Pemimpin teknis yang turut mengawasi penggunaan GenAI dalam skala produksi.
14 Jam
Testimoni (2)
penggunaan prompt yang tepat dan efektif
Marses Pacaldo
Kursus - Generative AI and Prompt Engineering for Corporate Professionals
Diterjemahkan Mesin
Gaya interaktif, latihan-latihannya
Tamas Tutuntzisz
Kursus - Introduction to Prompt Engineering
Diterjemahkan Mesin
