Kerangka Materi
Hari 1: Dasar-dasar dan Ancaman Inti
Modul 1: Pengenalan Proyek OWASP GenAI Security (1 jam)
Objek Pembelajaran:
- Mengerti evolusi dari OWASP Top 10 menuju tantangan keamanan spesifik GenAI
- Menggali ekosistem dan sumber daya OWASP GenAI Security Project
- Membedakan perbedaan utama antara keamanan aplikasi tradisional dan keamanan AI
Topik yang Dibahas:
- Ringkasan misi dan ruang lingkup OWASP GenAI Security Project
- Pengenalan kerangka kerja Threat Defense COMPASS
- Pemahaman tentang lanskap keamanan AI dan persyaratan regulasi
- Permukaan serangan AI vs kerentanan aplikasi web tradisional
Latihan Praktik: Pengaturan alat OWASP Threat Defense COMPASS dan pelaksanaan penilaian ancaman awal
Modul 2: OWASP Top 10 untuk LLM - Bagian 1 (2,5 jam)
Objek Pembelajaran:
- Menguasai lima kerentanan LLM kritis pertama
- Mengerti vektor serangan dan teknik eksploitasi
- Menerapkan strategi mitigasi praktis
Topik yang Dibahas:
LLM01: Prompt Injection
- Teatrik injeksi prompt langsung dan tidak langsung
- Serangan instruksi tersembunyi dan kontaminasi lintas prompt
- Contoh praktis: Jailbreaking chatbot dan menghindari langkah-langkah keselamatan
- Strategi pertahanan: Sanitasi input, penyaringan prompt, privasi diferensial
LLM02: Penyampaian Informasi Sensitif
- Eksstraksi data pelatihan dan kebocoran sistem prompt
- Analisis perilaku model untuk paparan informasi sensitif
- Dampak privasi dan pertimbangan kepatuhan regulasi
- Mitigasi: Penyaringan output, kontrol akses, anonimisasi data
LLM03: Kerentanan Rantai Pasokan
- Ketergantungan model pihak ketiga dan keamanan plugin
- Dataset pelatihan yang dirusak dan keracunan model
- Penilaian risiko vendor untuk komponen AI
- Praktik keamanan penyebaran dan verifikasi model
Latihan Praktik: Lab praktik langsung yang mendemonstrasikan serangan injeksi prompt terhadap aplikasi LLM rentan dan implementasi langkah-langkah pertahanan
Modul 3: OWASP Top 10 untuk LLM - Bagian 2 (2 jam)
Topik yang Dibahas:
LLM04: Keracunan Data dan Model
- Teknik manipulasi data pelatihan
- Modifikasi perilaku model melalui input yang diracuni
- Serangan backdoor dan verifikasi integritas data
- Pencegahan: Pipeline validasi data, pelacakan asal
LLM05: Pengolahan Output yang Tidak Tepat
- Pemrosesan konten yang dihasilkan LLM yang tidak aman
- Injeksi kode melalui output yang dihasilkan AI
- Penyintaksan lintas situs (cross-site scripting) melalui respons AI
- Kerangka kerja validasi dan sanitasi output
Latihan Praktik: Simulasi serangan keracunan data dan implementasi mekanisme validasi output yang robust
Modul 4: Ancaman LLM Lanjutan (1,5 jam)
Topik yang Dibahas:
LLM06: Agen Berlebihan
- Risiko pengambilan keputusan otonom dan pelanggaran batas
- Otoritas agen dan manajemen izin
- Interaksi sistem yang tidak disengaja dan eskalasi hak akses
- Implementasi pagar pengaman (guardrails) dan kontrol pengawasan manusia
LLM07: Kebocoran Prompt Sistem
- Kerentanan paparan instruksi sistem
- Pengungkapan kredensial dan logika melalui prompt
- Teknik serangan untuk mengekstrak prompt sistem
- Pengamanan instruksi sistem dan konfigurasi eksternal
Latihan Praktik: Merancang arsitektur agen yang aman dengan kontrol akses dan pemantauan yang sesuai
Hari 2: Ancaman Lanjutan dan Implementasi
Modul 5: Ancaman AI Baru (2 jam)
Objek Pembelajaran:
- Mengerti ancaman keamanan AI mutakhir
- Implementasi teknik deteksi dan pencegahan tingkat lanjut
- Merancang sistem AI yang tahan terhadap serangan canggih
Topik yang Dibahas:
LLM08: Kelemahan Vektor dan Embedding
- Kerentanan sistem RAG dan keamanan database vektor
- Penyuntikan racun pada embedding dan serangan manipulasi kesamaan
- Contoh adversarial dalam pencarian semantik
- Pengamanan penyimpanan vektor dan implementasi deteksi anomali
LLM09: Disinformasi dan Keandalan Model
- Deteksi dan mitigasi halusinasi
- Penguatan bias dan pertimbangan keadilan
- Mekanisme verifikasi fakta dan sumber
- Integrasi validasi konten dan pengawasan manusia
LLM10: Konsumsi Tanpa Batas
- Pengurasan sumber daya dan serangan denial-of-service
- Strategi pembatasan laju (rate limiting) dan manajemen sumber daya
- Optimasi biaya dan kontrol anggaran
- Sistem pemantauan kinerja dan peringatan
Latihan Praktik: Membangun pipeline RAG yang aman dengan perlindungan database vektor dan deteksi halusinasi
Modul 6: Keamanan AI Agentic (2 jam)
Objek Pembelajaran:
- Mengerti tantangan keamanan unik agen AI otonom
- Menerapkan taksonomi OWASP Agentic AI pada sistem dunia nyata
- Implementasi kontrol keamanan untuk lingkungan multi-agen
Topik yang Dibahas:
- Pengenalan Agentic AI dan sistem otonom
- Taksonomi Ancaman OWASP Agentic AI: Desain Agen, Memori, Perencanaan, Penggunaan Alat, Penyebaran
- Keamanan sistem multi-agen dan risiko koordinasi
- Penyalahgunaan alat, keracunan memori, dan serangan hijacking tujuan
- Pengamanan komunikasi agen dan proses pengambilan keputusan
Latihan Praktik: Latihan pemodelan ancaman menggunakan taksonomi OWASP Agentic AI pada sistem layanan pelanggan multi-agen
Modul 7: Implementasi OWASP Threat Defense COMPASS (2 jam)
Objek Pembelajaran:
- Menguasai aplikasi praktis Threat Defense COMPASS
- Integrasi penilaian ancaman AI ke dalam program keamanan organisasi
- Pengembangan strategi manajemen risiko AI yang komprehensif
Topik yang Dibahas:
- Kajian mendalam tentang metodologi Threat Defense COMPASS
- Integrasi Loop OODA: Observasi, Orientasi, Keputusan, Aksi
- Pemetaan ancaman ke kerangka kerja MITRE ATT&CK dan ATLAS
- Perpapan Dasbor Strategi Ketahanan Ancaman AI
- Integrasi dengan alat dan proses keamanan yang ada
Latihan Praktik: Penilaian ancaman lengkap menggunakan COMPASS untuk skenario implementasi Microsoft Copilot
Modul 8: Implementasi Praktis dan Praktik Terbaik (2,5 jam)
Objek Pembelajaran:
- Merancang arsitektur AI yang aman dari awal
- Implementasi pemantauan dan respons insiden untuk sistem AI
- Pembuatan kerangka tata kelola untuk keamanan AI
Topik yang Dibahas:
Siklus Hidup Pengembangan AI yang Aman:
- Prinsip keamanan-by-design untuk aplikasi AI
- Praktik tinjauan kode untuk integrasi LLM
- Metodologi pengujian dan pemindaian kerentanan
- Keamanan penyebaran dan penguatan produksi
Pemantauan dan Deteksi:
- Ketentuan logging dan pemantauan khusus AI
- Deteksi anomali untuk sistem AI
- Prosedur respons insiden untuk peristiwa keamanan AI
- Teori forensik dan teknik investigasi
Tata Kelola dan Kepatuhan:
- Kerangka kerja dan kebijakan manajemen risiko AI
- Pertimbangan kepatuhan regulasi (GDPR, AI Act, dll.)
- Penilaian risiko pihak ketiga untuk vendor AI
- Pelatihan kesadaran keamanan untuk tim pengembangan AI
Latihan Praktik: Merancang arsitektur keamanan lengkap untuk chatbot AI perusahaan termasuk prosedur pemantauan, tata kelola, dan respons insiden
Modul 9: Alat dan Teknologi (1 jam)
Objek Pembelajaran:
- Evaluasi dan implementasi alat keamanan AI
- Pemahaman tentang lanskap solusi keamanan AI saat ini
- Pembuatan kemampuan deteksi dan pencegahan praktis
Topik yang Dibahas:
- Ekosistem alat keamanan AI dan lanskap vendor
- Alat keamanan open-source: Garak, PyRIT, Giskard
- Solusi komersial untuk keamanan dan pemantauan AI
- Pola integrasi dan strategi penyebaran
- Kriteria pemilihan alat dan kerangka kerja evaluasi
Latihan Praktik: Demonstrasi langsung alat pengujian keamanan AI dan perencanaan implementasi
Modul 10: Tren Masa Depan dan Penutup (1 jam)
Objek Pembelajaran:
- Mengerti ancaman yang muncul dan tantangan keamanan masa depan
- Pengembangan strategi pembelajaran dan peningkatan berkelanjutan
- Pembuatan rencana aksi untuk program keamanan AI organisasi
Topik yang Dibahas:
- Ancaman baru: Deepfakes, injeksi prompt lanjutan, inversi model
- Pengembangan dan roadmap proyek OWASP GenAI masa depan
- Pembentukan komunitas keamanan AI dan berbagi pengetahuan
- Peningkatan berkelanjutan dan integrasi kecerdasan ancaman
Latihan Perencanaan Aksi: Mengembangkan rencana aksi 90 hari untuk menerapkan praktik keamanan OWASP GenAI di organisasi peserta
Persyaratan
- Pemahaman umum tentang prinsip keamanan aplikasi web
- Pengetahuan dasar tentang konsep AI/ML
- Pengalaman dengan kerangka kerja keamanan atau metodologi penilaian risiko lebih diutamakan
Target Audiens
- Profesional keamanan siber
- Pengembang AI
- Arsitek sistem
- Petugas kepatuhan
- Praktisi keamanan
Testimoni (1)
Saya sangat menikmati belajar tentang serangan AI dan alat-alat yang tersedia untuk mulai berlatih serta menggunakannya secara aktif dalam pengujian keamanan. Saya mendapatkan banyak pengetahuan baru yang sebelumnya tidak saya miliki, dan kursus ini sesuai dengan harapan saya. Bagian favorit saya dari pelatihan adalah Comet Browser, dan saya terkagum-kagum dengan kemampuannya. Saya pasti akan mengeksplorasi lebih dalam lagi. Secara keseluruhan, ini adalah kursus yang sangat baik, dan saya sangat menikmati mempelajari Top 10 OWASP GenAI.
Patrick Collins - Optum
Kursus - OWASP GenAI Security
Diterjemahkan Mesin
