Kursus Pelatihan Keamanan OWASP GenAI

Hari 1: Fondasi dan Ancaman Inti

Modul 1: Pengenalan Proyek Keamanan OWASP GenAI (1 jam)

Tujuan Pembelajaran:

• Mahami evolusi dari OWASP Top 10 ke tantangan keamanan spesifik GenAI
• Jelajahi ekosistem dan sumber daya Proyek Keamanan OWASP GenAI
• Identifikasi perbedaan kunci antara keamanan aplikasi tradisional dan keamanan AI

Materi yang Ditangani:

• Ikhtisar misi dan ruang lingkup Proyek Keamanan OWASP GenAI
• Pengenalan kerangka kerja Threat Defense COMPASS
• Mahami lanskap keamanan AI dan persyaratan regulasi
• Ancaman permukaan AI vs kelemahan aplikasi web tradisional

Latihan Praktis: Menyiapkan alat OWASP Threat Defense COMPASS dan melakukan penilaian ancaman awal

Modul 2: OWASP Top 10 untuk LLMs - Bagian 1 (2,5 jam)

Tujuan Pembelajaran:

• Menguasai lima kerentanan LLM yang paling kritis
• Mahami vektor serangan dan teknik eksploitasi
• Terapkan strategi mitigasi praktis

Materi yang Ditangani:

LLM01: Injeksi Prompt

• Teknik injeksi prompt langsung dan tidak langsung
• Serangan instruksi tersembunyi dan kontaminasi lintas-prompt
• Contoh praktis: Jailbreaking chatbot dan menghindari langkah-langkah keamanan
• Strategi pertahanan: Sanitasi input, filter prompt, diferensial privasi

LLM02: Pengungkapan Informasi Sensitif

• Ekstraksi data pelatihan dan kebocoran prompt sistem
• Analisis perilaku model untuk paparan informasi sensitif
• Implikasi privasi dan pertimbangan kepatuhan regulasi
• Mitigasi: Filter output, kontrol akses, anonymisasi data

LLM03: Kerentanan Rantai Pasokan

• Ketergantungan model pihak ketiga dan keamanan plugin
• Dataset pelatihan yang dikompromi dan keracunan model
• Penilaian risiko vendor untuk komponen AI
• Penerapan praktik penyebaran model aman dan verifikasi

Latihan Praktis: Lab hands-on yang mendemonstrasikan serangan injeksi prompt terhadap aplikasi LLM rentan dan penerapan langkah-langkah pertahanan

Modul 3: OWASP Top 10 untuk LLMs - Bagian 2 (2 jam)

Materi yang Ditangani:

LLM04: Keracunan Data dan Model

• Teknik manipulasi data pelatihan
• Modifikasi perilaku model melalui input yang diracun
• Serangan backdoor dan verifikasi integritas data
• Pencegahan: Pipelines validasi data, pelacakan provenance

LLM05: Penanganan Output Tidak Benar

• Pemrosesan konten yang dihasilkan LLM secara tidak aman
• Injeksi kode melalui output yang dihasilkan AI
• Cross-site scripting via respons AI
• Kerangka kerja validasi dan sanitisasi output

Latihan Praktis: Mensimulasikan serangan keracunan data dan menerapkan mekanisme validasi output yang kuat

Modul 4: Ancaman LLM Lanjutan (1,5 jam)

Materi yang Ditangani:

LLM06: Agen Terlalu Banyak

• Risiko pengambilan keputusan otonom dan pelanggaran batas
• Kewenangan agen dan manajemen izin
• Interaksi sistem yang tidak disengaja dan eskalasi hak akses
• Menerapkan pagar pembatas (guardrails) dan kontrol pengawasan manusia

LLM07: Kebocoran Prompt Sistem

• Vulnerabilitas paparan instruksi sistem
• Pengungkapan kredensial dan logika melalui prompt
• Teknik serangan untuk mengekstrak prompt sistem
• Mengamankan instruksi sistem dan konfigurasi eksternal

Latihan Praktis: Merancang arsitektur agen yang aman dengan kontrol akses dan pemantauan yang tepat

Hari 2: Ancaman Lanjutan dan Implementasi

Modul 5: Ancaman AI yang Muncul (2 jam)

Tujuan Pembelajaran:

• Mahami ancaman keamanan AI mutakhir
• Terapkan teknik deteksi dan pencegahan lanjutan
• Rancang sistem AI yang tangguh terhadap serangan canggih

Materi yang Ditangani:

LLM08: Kelemahan Vektor dan Embedding

• Kerentanan sistem RAG dan keamanan database vektor
• Pengiriman vektor dan serangan manipulasi kesamaan
• Contoh adversarial dalam pencarian semantik
• Mengamankan penyimpanan vektor dan menerapkan deteksi anomali

LLM09: Misinformasi dan Keandalan Model

• Deteksi dan mitigasi halusinasi
• Pembiasan bias dan pertimbangan keadilan
• Mekanisme verifikasi fakta dan sumber
• Validasi konten dan integrasi pengawasan manusia

LLM10: Konsumsi Tidak Terbatas

• Kehabisan sumber daya dan serangan denial-of-service
• Strategi pembatasan laju dan manajemen sumber daya
• Optimisasi biaya dan kontrol anggaran
• Sistem pemantauan kinerja dan peringatan

Latihan Praktis: Membangun pipeline RAG yang aman dengan perlindungan database vektor dan deteksi halusinasi

Modul 6: Keamanan AI Agentic (2 jam)

Tujuan Pembelajaran:

• Mahami tantangan keamanan unik agen AI otonom
• Terapkan taksonomi OWASP AI Agentic ke sistem dunia nyata
• Terapkan kontrol keamanan untuk lingkungan multi-agen

Materi yang Ditangani:

• Pengenalan AI Agentic dan sistem otonom
• Taksonomi Ancaman AI Agentic OWASP: Desain Agen, Memori, Perencanaan, Penggunaan Alat, Penerapan
• Keamanan sistem multi-agen dan risiko koordinasi
• Serangan penyalahgunaan alat, keracunan memori, dan pembajakan tujuan
• Mengamankan komunikasi agen dan proses pengambilan keputusan

Latihan Praktis: Latihan pemodelan ancaman menggunakan taksonomi OWASP AI Agentic pada sistem layanan pelanggan multi-agen

Modul 7: Implementasi OWASP Threat Defense COMPASS (2 jam)

Tujuan Pembelajaran:

• Menguasai aplikasi praktis dari Threat Defense COMPASS
• Integrasikan penilaian ancaman AI ke dalam program keamanan organisasi
• Kembangkan strategi manajemen risiko AI yang komprehensif

Materi yang Ditangani:

• Tinjauan mendalam tentang metodologi Threat Defense COMPASS
• Integrasi OODA Loop: Amati, Orientasikan, Putuskan, Bertindak
• Peta ancaman ke kerangka kerja MITRE ATT&CK dan ATLAS
• Membangun Dashboard Strategi Ketahanan Ancaman AI
• Integrasi dengan alat dan proses keamanan yang ada

Latihan Praktis: Penilaian ancaman lengkap menggunakan COMPASS untuk skenario penyebaran Microsoft Copilot

Modul 8: Implementasi Praktis dan Praktik Terbaik (2,5 jam)

Tujuan Pembelajaran:

• Merancang arsitektur AI yang aman dari awal
• Terapkan pemantauan dan respons insiden untuk sistem AI
• Buat kerangka tata kelola untuk keamanan AI

Materi yang Ditangani:

Siklus Hidup Pengembangan AI Aman:

• Prinsip security-by-design untuk aplikasi AI
• Praktik review kode untuk integrasi LLM
• Metodologi pengujian dan pemindaian kerentanan
• Keamanan penyebaran dan hardening produksi

Pemantauan dan Deteksi:

• Persyaratan logging dan pemantauan spesifik AI
• Deteksi anomali untuk sistem AI
• Tahapan respons insiden untuk peristiwa keamanan AI
• Teknik forensik dan investigasi

Tata Kelola dan Kepatuhan:

• Kerangka kerja manajemen risiko AI dan kebijakan
• Pertimbangan kepatuhan regulasi (GDPR, AI Act, dll.)
• Penilaian risiko pihak ketiga untuk vendor AI
• Pelatihan kesadaran keamanan untuk tim pengembangan AI

Latihan Praktis: Merancang arsitektur keamanan lengkap untuk chatbot AI perusahaan termasuk pemantauan, tata kelola, dan tahapan respons insiden

Modul 9: Alat dan Teknologi (1 jam)

Tujuan Pembelajaran:

• Mengevaluasi dan menerapkan alat keamanan AI
• Mahami lanskap solusi keamanan AI saat ini
• Bangun kemampuan deteksi dan pencegahan praktis

Materi yang Ditangani:

• Ekosistem alat keamanan AI dan lanskap vendor
• Alat keamanan open-source: Garak, PyRIT, Giskard
• Solusi komersial untuk keamanan dan pemantauan AI
• Pola integrasi dan strategi penyebaran
• Kriteria seleksi alat dan kerangka evaluasi

Latihan Praktis: Demonstrasi hands-on alat pengujian keamanan AI dan perencanaan implementasi

Modul 10: Tren Masa Depan dan Wrap-up (1 jam)

Tujuan Pembelajaran:

• Mahami ancaman yang muncul dan tantangan keamanan masa depan
• Kembangkan strategi pembelajaran dan perbaikan berkelanjutan
• Buat rencana tindakan untuk program keamanan AI organisasi

Materi yang Ditangani:

• Ancaman yang muncul: Deepfakes, injeksi prompt canggih, inversi model
• Pengembangan proyek OWASP GenAI masa depan dan peta jalan
• Membangun komunitas keamanan AI dan berbagi pengetahuan
• Peningkatan berkelanjutan dan integrasi intelijen ancaman

Latihan Perencanaan Aksi: Kembangkan rencana aksi 90 hari untuk menerapkan praktik keamanan OWASP GenAI di organisasi peserta