Kerangka Materi

Hari 1: Dasar-dasar dan Ancaman Utama

Modul 1: Pengenalan ke Proyek Keamanan OWASP GenAI (1 jam)

Tujuan Pembelajaran:

  • Memahami evolusi dari 10 Besar OWASP ke tantangan keamanan spesifik GenAI
  • Menjelajahi ekosistem dan sumber daya Proyek Keamanan OWASP GenAI
  • Mengidentifikasi perbedaan kunci antara keamanan aplikasi tradisional dan AI

Topik yang Dicakup:

  • Gambaran tentang misi dan cakupan Proyek Keamanan OWASP GenAI
  • Pengenalan ke kerangka Threat Defense COMPASS
  • Pemahaman tentang lanskap keamanan AI dan persyaratan regulasi
  • Permukaan serangan AI vs kerentanan aplikasi web tradisional

Latihan Praktis: Mengatur alat OWASP Threat Defense COMPASS dan melakukan penilaian ancaman awal

Modul 2: 10 Besar OWASP untuk LLM - Bagian 1 (2.5 jam)

Tujuan Pembelajaran:

  • Menguasai lima kerentanan LLM kritis pertama
  • Memahami vektor serangan dan teknik eksploitasi
  • Menerapkan strategi mitigasi praktis

Topik yang Dicakup:

LLM01: Injection Prompt

  • Teknik injection prompt langsung dan tidak langsung
  • Serangan instruksi tersembunyi dan kontaminasi lintas-prompt
  • Contoh praktis: Menyusup ke chatbot dan menghindari tindakan keamanan
  • Strategi pertahanan: Sanitasi input, penyaringan prompt, privasi diferensial

LLM02: Penyediaan Informasi Sensitif

  • Ekstraksi data pelatihan dan kebocoran sistem prompt
  • Analisis perilaku model untuk pengeksposan informasi sensitif
  • Implikasi privasi dan pertimbangan kepatuhan regulasi
  • Mitigasi: Penyaringan output, kontrol akses, anonimisasi data

LLM03: Kerentanan Rantai Pasokan

  • Ketergantungan model pihak ketiga dan keamanan plugin
  • Dataset pelatihan yang dikompromikan dan racun model
  • Penilaian risiko vendor untuk komponen AI
  • Praktik penyebaran dan verifikasi model yang aman

Latihan Praktis: Lab praktis hands-on mendemonstrasikan serangan injection prompt terhadap aplikasi LLM rentan dan menerapkan tindakan pertahanan

Modul 3: 10 Besar OWASP untuk LLM - Bagian 2 (2 jam)

Topik yang Dicakup:

LLM04: Racun Data dan Model

  • Teknik manipulasi data pelatihan
  • Modifikasi perilaku model melalui input beracun
  • Serangan backdoor dan verifikasi integritas data
  • Pencegahan: Pipelines validasi data, pelacakan asal-usul

LLM05: Penanganan Output yang Tidak Sesuai

  • Pengolahan tidak aman konten yang dihasilkan LLM
  • Injection kode melalui output AI
  • Cross-site scripting melalui respons AI
  • Kerangka validasi dan sanitasi output

Latihan Praktis: Mencoba serangan racun data dan menerapkan mekanisme validasi output yang robust

Modul 4: Ancaman LLM Lanjutan (1.5 jam)

Topik yang Dicakup:

LLM06: Kelebihan Agen

  • Risiko pengambilan keputusan mandiri dan pelanggaran batas
  • Manajemen otoritas dan izin agen
  • Interaksi sistem yang tidak disengaja dan eskalasi hak akses
  • Implementasi pengamanan batas dan kontrol supervisi manusia

LLM07: Kebocoran Sistem Prompt

  • Kerentanan ekspose instruksi sistem
  • Penyediaan kredensial dan logika melalui prompt
  • Teknik serangan untuk mengekstrak prompt sistem
  • Mengamankan instruksi sistem dan konfigurasi eksternal

Latihan Praktis: Merancang arsitektur agen yang aman dengan kontrol akses yang tepat dan pemantauan

Hari 2: Ancaman Lanjutan dan Implementasi

Modul 5: Ancaman AI Terkini (2 jam)

Tujuan Pembelajaran:

  • Memahami ancaman keamanan AI terkini yang canggih
  • Mengimplementasikan teknik deteksi dan pencegahan lanjutan
  • Merancang sistem AI yang tahan terhadap serangan canggih

Topik yang Dicakup:

LLM08: Kelemahan Vektor dan Embedding

  • Kerentanan sistem RAG dan keamanan basis data vektor
  • Racun embedding dan serangan manipulasi kesamaan
  • Contoh adversarial dalam pencarian semantik
  • Mengamankan toko vektor dan mengimplementasikan deteksi anomali

LLM09: Misinformasi dan Keandalan Model

  • Deteksi dan mitigasi halusinasi
  • Peningkatan bias dan pertimbangan keadilan
  • Mekanisme verifikasi fakta dan sumber
  • Validasi konten dan integrasi supervisi manusia

LLM10: Konsumsi Tidak Terbatas

  • Penyelesaian sumber daya dan serangan penolakan layanan
  • Strategi pembatasan laju dan manajemen sumber daya
  • Optimalisasi biaya dan kontrol anggaran
  • Pemantauan kinerja dan sistem peringatan

Latihan Praktis: Membangun pipeline RAG yang aman dengan perlindungan basis data vektor dan deteksi halusinasi

Modul 6: Keamanan AI Agenik (2 jam)

Tujuan Pembelajaran:

  • Memahami tantangan keamanan unik dari agen AI mandiri
  • Menerapkan taksonomi AI Agenik OWASP pada sistem dunia nyata
  • Mengimplementasikan kontrol keamanan untuk lingkungan multi-agen

Topik yang Dicakup:

  • Pengenalan ke AI Agenik dan sistem mandiri
  • Taksonomi Ancaman AI Agenik OWASP: Desain Agen, Memori, Perencanaan, Penggunaan Alat, Penyebaran
  • Keamanan sistem multi-agen dan risiko koordinasi
  • Penyalahgunaan alat, racun memori, dan serangan penyanderaan tujuan
  • Mengamankan komunikasi agen dan proses pengambilan keputusan

Latihan Praktis: Latihan pemodelan ancaman menggunakan taksonomi AI Agenik OWASP pada sistem layanan pelanggan multi-agen

Modul 7: Implementasi Threat Defense COMPASS (2 jam)

Tujuan Pembelajaran:

  • Menguasai aplikasi praktis Threat Defense COMPASS
  • Mengintegrasikan penilaian ancaman AI ke dalam program keamanan organisasi
  • Mengembangkan strategi manajemen risiko AI yang komprehensif

Topik yang Dicakup:

  • Penyelaman mendalam ke metodologi Threat Defense COMPASS
  • Integrasi OODA Loop: Mengamati, Menentukan Orientasi, Memutuskan, Bertindak
  • Pemetaan ancaman ke kerangka MITRE ATT&CK dan ATLAS
  • Membuat Dasbor Strategi Ketahanan Ancaman AI
  • Integrasi dengan alat dan proses keamanan yang ada

Latihan Praktis: Melakukan penilaian ancaman menggunakan COMPASS untuk skenario penyebaran Microsoft Copilot

Modul 8: Implementasi dan Best Practices (2.5 jam)

Tujuan Pembelajaran:

  • Merancang arsitektur AI yang aman dari awal
  • Mengimplementasikan pemantauan dan respons insiden untuk sistem AI
  • Menciptakan kerangka pemerintahan untuk keamanan AI

Topik yang Dicakup:

Siklus Pengembangan AI yang Aman:

  • Prinsip keamanan-by-design untuk aplikasi AI
  • Praktik review kode untuk integrasi LLM
  • Metodologi pengujian dan pemindaian kerentanan
  • Keamanan penyebaran dan penguatan produksi

Pemantauan dan Deteksi:

  • Persyaratan logging dan pemantauan khusus AI
  • Deteksi anomali untuk sistem AI
  • Prosedur respons insiden untuk peristiwa keamanan AI
  • Teknik forensik dan investigasi

Pemerintahan dan Kepatuhan:

  • Kerangka manajemen risiko AI dan kebijakan
  • Pertimbangan kepatuhan regulasi (GDPR, UU AI, dll.)
  • Penilaian risiko pihak ketiga untuk vendor AI
  • Pelatihan kesadaran keamanan untuk tim pengembangan AI

Latihan Praktis: Merancang arsitektur keamanan lengkap untuk chatbot AI perusahaan, termasuk pemantauan, pemerintahan, dan prosedur respons insiden

Modul 9: Alat dan Teknologi (1 jam)

Tujuan Pembelajaran:

  • Menilai dan menerapkan alat keamanan AI
  • Memahami lanskap solusi keamanan AI saat ini
  • Membangun kemampuan deteksi dan pencegahan praktis

Topik yang Dicakup:

  • Ekosistem alat keamanan AI dan lanskap vendor
  • Alat keamanan open-source: Garak, PyRIT, Giskard
  • Solusi komersial untuk keamanan AI dan pemantauan
  • Pola integrasi dan strategi penyebaran
  • Kriteria pemilihan alat dan kerangka evaluasi

Latihan Praktis: Demonstrasi praktis alat pengujian keamanan AI dan perencanaan implementasi

Modul 10: Tren Masa Depan dan Penutup (1 jam)

Tujuan Pembelajaran:

  • Memahami ancaman terkini dan tantangan keamanan masa depan
  • Mengembangkan strategi belajar berkelanjutan dan peningkatan
  • Menciptakan rencana tindakan untuk program keamanan AI organisasi

Topik yang Dicakup:

  • Ancaman terkini: Deepfakes, injection prompt canggih, inversi model
  • Pengembangan dan road map proyek OWASP GenAI di masa depan
  • Membangun komunitas keamanan AI dan berbagi pengetahuan
  • Peningkatan berkelanjutan dan integrasi intelijen ancaman

Latihan Perencanaan Tindakan: Mengembangkan rencana tindakan 90 hari untuk menerapkan praktik keamanan OWASP GenAI di organisasi peserta

Persyaratan

  • Pemahaman umum tentang prinsip keamanan aplikasi web
  • Kenalan dasar dengan konsep AI/ML
  • Pengalaman dengan kerangka keamanan atau metodologi penilaian risiko disukai

Audience

  • Profesional keamanan siber
  • Pengembang AI
  • Arsitek sistem
  • Petugas kepatuhan
  • Praktisi keamanan
 14 Jam

Jumlah Peserta


Biaya per Peserta

Kursus Mendatang

Kategori Terkait