Kerangka Materi
Hari 1: Dasar-dasar dan Ancaman Utama
Modul 1: Pengenalan ke Proyek Keamanan OWASP GenAI (1 jam)
Tujuan Pembelajaran:
- Memahami evolusi dari 10 Besar OWASP ke tantangan keamanan spesifik GenAI
- Menjelajahi ekosistem dan sumber daya Proyek Keamanan OWASP GenAI
- Mengidentifikasi perbedaan kunci antara keamanan aplikasi tradisional dan AI
Topik yang Dicakup:
- Gambaran tentang misi dan cakupan Proyek Keamanan OWASP GenAI
- Pengenalan ke kerangka Threat Defense COMPASS
- Pemahaman tentang lanskap keamanan AI dan persyaratan regulasi
- Permukaan serangan AI vs kerentanan aplikasi web tradisional
Latihan Praktis: Mengatur alat OWASP Threat Defense COMPASS dan melakukan penilaian ancaman awal
Modul 2: 10 Besar OWASP untuk LLM - Bagian 1 (2.5 jam)
Tujuan Pembelajaran:
- Menguasai lima kerentanan LLM kritis pertama
- Memahami vektor serangan dan teknik eksploitasi
- Menerapkan strategi mitigasi praktis
Topik yang Dicakup:
LLM01: Injection Prompt
- Teknik injection prompt langsung dan tidak langsung
- Serangan instruksi tersembunyi dan kontaminasi lintas-prompt
- Contoh praktis: Menyusup ke chatbot dan menghindari tindakan keamanan
- Strategi pertahanan: Sanitasi input, penyaringan prompt, privasi diferensial
LLM02: Penyediaan Informasi Sensitif
- Ekstraksi data pelatihan dan kebocoran sistem prompt
- Analisis perilaku model untuk pengeksposan informasi sensitif
- Implikasi privasi dan pertimbangan kepatuhan regulasi
- Mitigasi: Penyaringan output, kontrol akses, anonimisasi data
LLM03: Kerentanan Rantai Pasokan
- Ketergantungan model pihak ketiga dan keamanan plugin
- Dataset pelatihan yang dikompromikan dan racun model
- Penilaian risiko vendor untuk komponen AI
- Praktik penyebaran dan verifikasi model yang aman
Latihan Praktis: Lab praktis hands-on mendemonstrasikan serangan injection prompt terhadap aplikasi LLM rentan dan menerapkan tindakan pertahanan
Modul 3: 10 Besar OWASP untuk LLM - Bagian 2 (2 jam)
Topik yang Dicakup:
LLM04: Racun Data dan Model
- Teknik manipulasi data pelatihan
- Modifikasi perilaku model melalui input beracun
- Serangan backdoor dan verifikasi integritas data
- Pencegahan: Pipelines validasi data, pelacakan asal-usul
LLM05: Penanganan Output yang Tidak Sesuai
- Pengolahan tidak aman konten yang dihasilkan LLM
- Injection kode melalui output AI
- Cross-site scripting melalui respons AI
- Kerangka validasi dan sanitasi output
Latihan Praktis: Mencoba serangan racun data dan menerapkan mekanisme validasi output yang robust
Modul 4: Ancaman LLM Lanjutan (1.5 jam)
Topik yang Dicakup:
LLM06: Kelebihan Agen
- Risiko pengambilan keputusan mandiri dan pelanggaran batas
- Manajemen otoritas dan izin agen
- Interaksi sistem yang tidak disengaja dan eskalasi hak akses
- Implementasi pengamanan batas dan kontrol supervisi manusia
LLM07: Kebocoran Sistem Prompt
- Kerentanan ekspose instruksi sistem
- Penyediaan kredensial dan logika melalui prompt
- Teknik serangan untuk mengekstrak prompt sistem
- Mengamankan instruksi sistem dan konfigurasi eksternal
Latihan Praktis: Merancang arsitektur agen yang aman dengan kontrol akses yang tepat dan pemantauan
Hari 2: Ancaman Lanjutan dan Implementasi
Modul 5: Ancaman AI Terkini (2 jam)
Tujuan Pembelajaran:
- Memahami ancaman keamanan AI terkini yang canggih
- Mengimplementasikan teknik deteksi dan pencegahan lanjutan
- Merancang sistem AI yang tahan terhadap serangan canggih
Topik yang Dicakup:
LLM08: Kelemahan Vektor dan Embedding
- Kerentanan sistem RAG dan keamanan basis data vektor
- Racun embedding dan serangan manipulasi kesamaan
- Contoh adversarial dalam pencarian semantik
- Mengamankan toko vektor dan mengimplementasikan deteksi anomali
LLM09: Misinformasi dan Keandalan Model
- Deteksi dan mitigasi halusinasi
- Peningkatan bias dan pertimbangan keadilan
- Mekanisme verifikasi fakta dan sumber
- Validasi konten dan integrasi supervisi manusia
LLM10: Konsumsi Tidak Terbatas
- Penyelesaian sumber daya dan serangan penolakan layanan
- Strategi pembatasan laju dan manajemen sumber daya
- Optimalisasi biaya dan kontrol anggaran
- Pemantauan kinerja dan sistem peringatan
Latihan Praktis: Membangun pipeline RAG yang aman dengan perlindungan basis data vektor dan deteksi halusinasi
Modul 6: Keamanan AI Agenik (2 jam)
Tujuan Pembelajaran:
- Memahami tantangan keamanan unik dari agen AI mandiri
- Menerapkan taksonomi AI Agenik OWASP pada sistem dunia nyata
- Mengimplementasikan kontrol keamanan untuk lingkungan multi-agen
Topik yang Dicakup:
- Pengenalan ke AI Agenik dan sistem mandiri
- Taksonomi Ancaman AI Agenik OWASP: Desain Agen, Memori, Perencanaan, Penggunaan Alat, Penyebaran
- Keamanan sistem multi-agen dan risiko koordinasi
- Penyalahgunaan alat, racun memori, dan serangan penyanderaan tujuan
- Mengamankan komunikasi agen dan proses pengambilan keputusan
Latihan Praktis: Latihan pemodelan ancaman menggunakan taksonomi AI Agenik OWASP pada sistem layanan pelanggan multi-agen
Modul 7: Implementasi Threat Defense COMPASS (2 jam)
Tujuan Pembelajaran:
- Menguasai aplikasi praktis Threat Defense COMPASS
- Mengintegrasikan penilaian ancaman AI ke dalam program keamanan organisasi
- Mengembangkan strategi manajemen risiko AI yang komprehensif
Topik yang Dicakup:
- Penyelaman mendalam ke metodologi Threat Defense COMPASS
- Integrasi OODA Loop: Mengamati, Menentukan Orientasi, Memutuskan, Bertindak
- Pemetaan ancaman ke kerangka MITRE ATT&CK dan ATLAS
- Membuat Dasbor Strategi Ketahanan Ancaman AI
- Integrasi dengan alat dan proses keamanan yang ada
Latihan Praktis: Melakukan penilaian ancaman menggunakan COMPASS untuk skenario penyebaran Microsoft Copilot
Modul 8: Implementasi dan Best Practices (2.5 jam)
Tujuan Pembelajaran:
- Merancang arsitektur AI yang aman dari awal
- Mengimplementasikan pemantauan dan respons insiden untuk sistem AI
- Menciptakan kerangka pemerintahan untuk keamanan AI
Topik yang Dicakup:
Siklus Pengembangan AI yang Aman:
- Prinsip keamanan-by-design untuk aplikasi AI
- Praktik review kode untuk integrasi LLM
- Metodologi pengujian dan pemindaian kerentanan
- Keamanan penyebaran dan penguatan produksi
Pemantauan dan Deteksi:
- Persyaratan logging dan pemantauan khusus AI
- Deteksi anomali untuk sistem AI
- Prosedur respons insiden untuk peristiwa keamanan AI
- Teknik forensik dan investigasi
Pemerintahan dan Kepatuhan:
- Kerangka manajemen risiko AI dan kebijakan
- Pertimbangan kepatuhan regulasi (GDPR, UU AI, dll.)
- Penilaian risiko pihak ketiga untuk vendor AI
- Pelatihan kesadaran keamanan untuk tim pengembangan AI
Latihan Praktis: Merancang arsitektur keamanan lengkap untuk chatbot AI perusahaan, termasuk pemantauan, pemerintahan, dan prosedur respons insiden
Modul 9: Alat dan Teknologi (1 jam)
Tujuan Pembelajaran:
- Menilai dan menerapkan alat keamanan AI
- Memahami lanskap solusi keamanan AI saat ini
- Membangun kemampuan deteksi dan pencegahan praktis
Topik yang Dicakup:
- Ekosistem alat keamanan AI dan lanskap vendor
- Alat keamanan open-source: Garak, PyRIT, Giskard
- Solusi komersial untuk keamanan AI dan pemantauan
- Pola integrasi dan strategi penyebaran
- Kriteria pemilihan alat dan kerangka evaluasi
Latihan Praktis: Demonstrasi praktis alat pengujian keamanan AI dan perencanaan implementasi
Modul 10: Tren Masa Depan dan Penutup (1 jam)
Tujuan Pembelajaran:
- Memahami ancaman terkini dan tantangan keamanan masa depan
- Mengembangkan strategi belajar berkelanjutan dan peningkatan
- Menciptakan rencana tindakan untuk program keamanan AI organisasi
Topik yang Dicakup:
- Ancaman terkini: Deepfakes, injection prompt canggih, inversi model
- Pengembangan dan road map proyek OWASP GenAI di masa depan
- Membangun komunitas keamanan AI dan berbagi pengetahuan
- Peningkatan berkelanjutan dan integrasi intelijen ancaman
Latihan Perencanaan Tindakan: Mengembangkan rencana tindakan 90 hari untuk menerapkan praktik keamanan OWASP GenAI di organisasi peserta
Persyaratan
- Pemahaman umum tentang prinsip keamanan aplikasi web
- Kenalan dasar dengan konsep AI/ML
- Pengalaman dengan kerangka keamanan atau metodologi penilaian risiko disukai
Audience
- Profesional keamanan siber
- Pengembang AI
- Arsitek sistem
- Petugas kepatuhan
- Praktisi keamanan
Testimoni (1)
Saya sangat menikmati belajar tentang serangan AI dan alat-alat yang tersedia untuk mulai berlatih serta menggunakannya secara aktif dalam pengujian keamanan. Saya mendapatkan banyak pengetahuan baru yang sebelumnya tidak saya miliki, dan kursus ini sesuai dengan harapan saya. Bagian favorit saya dari pelatihan adalah Comet Browser, dan saya terkagum-kagum dengan kemampuannya. Saya pasti akan mengeksplorasi lebih dalam lagi. Secara keseluruhan, ini adalah kursus yang sangat baik, dan saya sangat menikmati mempelajari Top 10 OWASP GenAI.
Patrick Collins - Optum
Kursus - OWASP GenAI Security
Diterjemahkan Mesin
