Kerangka Materi
Hari 1: Dasar-dasar dan Ancaman Utama
Modul 1: Pengenalan ke Proyek Keamanan OWASP GenAI (1 jam)
Tujuan Pembelajaran:
- Memahami evolusi dari 10 Besar OWASP ke tantangan keamanan spesifik GenAI
- Menjelajahi ekosistem dan sumber daya Proyek Keamanan OWASP GenAI
- Mengidentifikasi perbedaan kunci antara keamanan aplikasi tradisional dan AI
Topik yang Dicakup:
- Gambaran tentang misi dan cakupan Proyek Keamanan OWASP GenAI
- Pengenalan ke kerangka Threat Defense COMPASS
- Pemahaman tentang lanskap keamanan AI dan persyaratan regulasi
- Permukaan serangan AI vs kerentanan aplikasi web tradisional
Latihan Praktis: Mengatur alat OWASP Threat Defense COMPASS dan melakukan penilaian ancaman awal
Modul 2: 10 Besar OWASP untuk LLM - Bagian 1 (2.5 jam)
Tujuan Pembelajaran:
- Menguasai lima kerentanan LLM kritis pertama
- Memahami vektor serangan dan teknik eksploitasi
- Menerapkan strategi mitigasi praktis
Topik yang Dicakup:
LLM01: Injection Prompt
- Teknik injection prompt langsung dan tidak langsung
- Serangan instruksi tersembunyi dan kontaminasi lintas-prompt
- Contoh praktis: Menyusup ke chatbot dan menghindari tindakan keamanan
- Strategi pertahanan: Sanitasi input, penyaringan prompt, privasi diferensial
LLM02: Penyediaan Informasi Sensitif
- Ekstraksi data pelatihan dan kebocoran sistem prompt
- Analisis perilaku model untuk pengeksposan informasi sensitif
- Implikasi privasi dan pertimbangan kepatuhan regulasi
- Mitigasi: Penyaringan output, kontrol akses, anonimisasi data
LLM03: Kerentanan Rantai Pasokan
- Ketergantungan model pihak ketiga dan keamanan plugin
- Dataset pelatihan yang dikompromikan dan racun model
- Penilaian risiko vendor untuk komponen AI
- Praktik penyebaran dan verifikasi model yang aman
Latihan Praktis: Lab praktis hands-on mendemonstrasikan serangan injection prompt terhadap aplikasi LLM rentan dan menerapkan tindakan pertahanan
Modul 3: 10 Besar OWASP untuk LLM - Bagian 2 (2 jam)
Topik yang Dicakup:
LLM04: Racun Data dan Model
- Teknik manipulasi data pelatihan
- Modifikasi perilaku model melalui input beracun
- Serangan backdoor dan verifikasi integritas data
- Pencegahan: Pipelines validasi data, pelacakan asal-usul
LLM05: Penanganan Output yang Tidak Sesuai
- Pengolahan tidak aman konten yang dihasilkan LLM
- Injection kode melalui output AI
- Cross-site scripting melalui respons AI
- Kerangka validasi dan sanitasi output
Latihan Praktis: Mencoba serangan racun data dan menerapkan mekanisme validasi output yang robust
Modul 4: Ancaman LLM Lanjutan (1.5 jam)
Topik yang Dicakup:
LLM06: Kelebihan Agen
- Risiko pengambilan keputusan mandiri dan pelanggaran batas
- Manajemen otoritas dan izin agen
- Interaksi sistem yang tidak disengaja dan eskalasi hak akses
- Implementasi pengamanan batas dan kontrol supervisi manusia
LLM07: Kebocoran Sistem Prompt
- Kerentanan ekspose instruksi sistem
- Penyediaan kredensial dan logika melalui prompt
- Teknik serangan untuk mengekstrak prompt sistem
- Mengamankan instruksi sistem dan konfigurasi eksternal
Latihan Praktis: Merancang arsitektur agen yang aman dengan kontrol akses yang tepat dan pemantauan
Hari 2: Ancaman Lanjutan dan Implementasi
Modul 5: Ancaman AI Terkini (2 jam)
Tujuan Pembelajaran:
- Memahami ancaman keamanan AI terkini yang canggih
- Mengimplementasikan teknik deteksi dan pencegahan lanjutan
- Merancang sistem AI yang tahan terhadap serangan canggih
Topik yang Dicakup:
LLM08: Kelemahan Vektor dan Embedding
- Kerentanan sistem RAG dan keamanan basis data vektor
- Racun embedding dan serangan manipulasi kesamaan
- Contoh adversarial dalam pencarian semantik
- Mengamankan toko vektor dan mengimplementasikan deteksi anomali
LLM09: Misinformasi dan Keandalan Model
- Deteksi dan mitigasi halusinasi
- Peningkatan bias dan pertimbangan keadilan
- Mekanisme verifikasi fakta dan sumber
- Validasi konten dan integrasi supervisi manusia
LLM10: Konsumsi Tidak Terbatas
- Penyelesaian sumber daya dan serangan penolakan layanan
- Strategi pembatasan laju dan manajemen sumber daya
- Optimalisasi biaya dan kontrol anggaran
- Pemantauan kinerja dan sistem peringatan
Latihan Praktis: Membangun pipeline RAG yang aman dengan perlindungan basis data vektor dan deteksi halusinasi
Modul 6: Keamanan AI Agenik (2 jam)
Tujuan Pembelajaran:
- Memahami tantangan keamanan unik dari agen AI mandiri
- Menerapkan taksonomi AI Agenik OWASP pada sistem dunia nyata
- Mengimplementasikan kontrol keamanan untuk lingkungan multi-agen
Topik yang Dicakup:
- Pengenalan ke AI Agenik dan sistem mandiri
- Taksonomi Ancaman AI Agenik OWASP: Desain Agen, Memori, Perencanaan, Penggunaan Alat, Penyebaran
- Keamanan sistem multi-agen dan risiko koordinasi
- Penyalahgunaan alat, racun memori, dan serangan penyanderaan tujuan
- Mengamankan komunikasi agen dan proses pengambilan keputusan
Latihan Praktis: Latihan pemodelan ancaman menggunakan taksonomi AI Agenik OWASP pada sistem layanan pelanggan multi-agen
Modul 7: Implementasi Threat Defense COMPASS (2 jam)
Tujuan Pembelajaran:
- Menguasai aplikasi praktis Threat Defense COMPASS
- Mengintegrasikan penilaian ancaman AI ke dalam program keamanan organisasi
- Mengembangkan strategi manajemen risiko AI yang komprehensif
Topik yang Dicakup:
- Penyelaman mendalam ke metodologi Threat Defense COMPASS
- Integrasi OODA Loop: Mengamati, Menentukan Orientasi, Memutuskan, Bertindak
- Pemetaan ancaman ke kerangka MITRE ATT&CK dan ATLAS
- Membuat Dasbor Strategi Ketahanan Ancaman AI
- Integrasi dengan alat dan proses keamanan yang ada
Latihan Praktis: Melakukan penilaian ancaman menggunakan COMPASS untuk skenario penyebaran Microsoft Copilot
Modul 8: Implementasi dan Best Practices (2.5 jam)
Tujuan Pembelajaran:
- Merancang arsitektur AI yang aman dari awal
- Mengimplementasikan pemantauan dan respons insiden untuk sistem AI
- Menciptakan kerangka pemerintahan untuk keamanan AI
Topik yang Dicakup:
Siklus Pengembangan AI yang Aman:
- Prinsip keamanan-by-design untuk aplikasi AI
- Praktik review kode untuk integrasi LLM
- Metodologi pengujian dan pemindaian kerentanan
- Keamanan penyebaran dan penguatan produksi
Pemantauan dan Deteksi:
- Persyaratan logging dan pemantauan khusus AI
- Deteksi anomali untuk sistem AI
- Prosedur respons insiden untuk peristiwa keamanan AI
- Teknik forensik dan investigasi
Pemerintahan dan Kepatuhan:
- Kerangka manajemen risiko AI dan kebijakan
- Pertimbangan kepatuhan regulasi (GDPR, UU AI, dll.)
- Penilaian risiko pihak ketiga untuk vendor AI
- Pelatihan kesadaran keamanan untuk tim pengembangan AI
Latihan Praktis: Merancang arsitektur keamanan lengkap untuk chatbot AI perusahaan, termasuk pemantauan, pemerintahan, dan prosedur respons insiden
Modul 9: Alat dan Teknologi (1 jam)
Tujuan Pembelajaran:
- Menilai dan menerapkan alat keamanan AI
- Memahami lanskap solusi keamanan AI saat ini
- Membangun kemampuan deteksi dan pencegahan praktis
Topik yang Dicakup:
- Ekosistem alat keamanan AI dan lanskap vendor
- Alat keamanan open-source: Garak, PyRIT, Giskard
- Solusi komersial untuk keamanan AI dan pemantauan
- Pola integrasi dan strategi penyebaran
- Kriteria pemilihan alat dan kerangka evaluasi
Latihan Praktis: Demonstrasi praktis alat pengujian keamanan AI dan perencanaan implementasi
Modul 10: Tren Masa Depan dan Penutup (1 jam)
Tujuan Pembelajaran:
- Memahami ancaman terkini dan tantangan keamanan masa depan
- Mengembangkan strategi belajar berkelanjutan dan peningkatan
- Menciptakan rencana tindakan untuk program keamanan AI organisasi
Topik yang Dicakup:
- Ancaman terkini: Deepfakes, injection prompt canggih, inversi model
- Pengembangan dan road map proyek OWASP GenAI di masa depan
- Membangun komunitas keamanan AI dan berbagi pengetahuan
- Peningkatan berkelanjutan dan integrasi intelijen ancaman
Latihan Perencanaan Tindakan: Mengembangkan rencana tindakan 90 hari untuk menerapkan praktik keamanan OWASP GenAI di organisasi peserta
Persyaratan
- Pemahaman umum tentang prinsip keamanan aplikasi web
- Kenalan dasar dengan konsep AI/ML
- Pengalaman dengan kerangka keamanan atau metodologi penilaian risiko disukai
Audience
- Profesional keamanan siber
- Pengembang AI
- Arsitek sistem
- Petugas kepatuhan
- Praktisi keamanan