Kursus Pelatihan Keamanan AI untuk Tim Keamanan

Modul 1 — Sistem AI untuk Insinyur Keamanan

Laboratorium: Lab 01 — 01-Pengenalan

Mengenal struktur arsitekturnya.

Topik yang dibahas:

• Perbedaan utama antara LLM dengan aplikasi konvensional
• Rangkaian proses inferensi AI
• Mekanisme alur kerja prompt
• Struktur arsitektural RAG
• Penggunaan embedding dan basis data vektor
• Rangkaian kerja agen AI
• Fungsi pemanggilan alat dalam ekosistem AI
• Konsep gateway AI
• Apa itu copilot berbasis AI
• Protokol MCP dan standar interaksi antar agen AI
• Bagian mana dari lalu lintas AI yang dapat dipantau WAF
• Bagian mana dari lalu lintas AI yang tidak terpantau WAF

Inti pelajaran: Tradisionalnya, WAF kehilangan kemampuan pemantauan setelah prompt sampai pada komponen model utama.

Modul 2 — Daftar 10 Ancaman Utama pada AI GenAI versi OWASP

Laboratorium: Tidak ada — diskusi interaktif untuk mengingat kembali konsepnya

Materi tentang kategori ancaman utama dalam dunia AI.

Topik yang dibahas: 

• Injeksi prompt
• Ketidakamanan dalam penanganan output sistem AI
• Pencemaran data pelatihan model
• Serangan penyebab gangguan operasi model (model DoS)
• Risiko kerentanan pada rantai pasok teknologi AI
• Kemungkinan bocornya informasi sensitif melalui sistem AI
• Otomatisasi fungsi yang berlebihan oleh agen AI
• Kelemahan spesifik pada representasi data berbentuk vektor atau embedding
• Penyebaran informasi palsu oleh sistem AI
• Penggunaan sumber daya komputasi yang tak terkendali dalam operasi AI

Komponen kunci:

• Perbandingan mendasar antara ancaman AI dengan ancaman versi OWASP konvensional
• Cara memetakan masing-masing kontrol keamanan (WAF, gateway, lapisan aplikasi) terhadap ancaman tersebut
• Kemampuan tiap komponen dalam menangkal ancaman khusus AI
• Batasan serta keterbatasan masing-masing kontrol keamanan tersebut

Modul 3 — Deteksi Injeksi Prompt

Laboratorium: Lab 02 — 02-Injeksi-Prompt

Momen sebanding dengan fenomena injeksi SQL dalam dunia keamanan web konvensional.

Topik yang dibahas:

• Injeksi prompt secara langsung
• Injeksi prompt tidak langsung
• Arahan tersembunyi dalam input pengguna yang diberikan ke model AI
• Pola serangan melalui dokumen atau file fisik
• Manipulasi konten berformat HTML maupun Markdown
• Ragam teknik pelanggaran batasan keamanan atau jailbreak
• Cara mengubah konteks komunikasi oleh input pengguna tertentu
• Metode membuat sistem AI salah memaknai perannya melalui instruksi khusus

Teknik deteksi yang diajarkan:

• Penerapan pendekatan heuristik menggunakan kata kunci sensitif
• Klasifikasi makna input secara semantik
• Pemeriksaan kepatuhan sintaksis prompt dengan kaidah baku
• Penegakan batasan wilayah instruksi utama dan sekunder dalam AI
• Strategi penolakan atau penerimaan berdasarkan aturan khusus
• Pola reguler yang mempertimbangkan konteks komunikasi interaktif AI

Kegiatan praktis dalam laboratorium:

• Cara menyerang chatbot secara efektif
• Strategi melewati filter keamanan yang terkesan dangkal
• Merancang sistem deteksi berlapis secara praktis

Modul 4 — Aturan WAF Khusus untuk Lingkungan AI

Laboratorium: Lab 03 — 03-Dasar-WAF

Evolusi konfigurasi dan aturan WAF dalam menyesuaikan realitas penggunaan sistem AI.

• Topik utama:
• Melindungi endpoint komunikasi berbasis LLM
• Mekanisme perlindungan pada API inferensi AI
• Penerapan pembatasan volume permintaan yang mengkaji konteks token AI
• Analisis ukuran serta isi prompt secara mendalam
• Penggunaan pola pengenalan tertentu untuk menandai ancaman spesifik AI
• Teknik deteksi anomali dalam interaksi percakapan antar model
• Kemungkinan serangan melalui kumpulan permintaan beruntun
• Cara membedakan upaya pengidentifikasian jenis model yang dipakai
• Pencegahan aksi pengambilan informasi konten inferensi secara massal
• Mencegah terjadinya gangguan operasional sistem akibat pemborosan sumber daya komputasi AI

Contoh nyata penerapannya:

• Perlindungan endpoint tertentu seperti /v1/chat/completions
• Pengamanan pada layanan API yang mengirimkan data secara streaming
• Cara mencegah terjadinya pemanggilan fungsi agen AI dalam jumlah berlebihan

Modul 5 — Keamanan Rantai Pasok RAG

Laboratorium: Lab 04 — 04-Keamanan-RAG

Salah satu bidang yang kini menjadi target utama ancaman baru bagi dunia keamanan.

Topik dibahas:

• Macam-macam risiko pada basis data penyimpanan vektor AI
• Pencemaran konten embedding akibat input tak terverifikasi
• Bahaya dari file PDF maupun dokumen fisik yang diunggah pengguna
• Potensi manipulasi mekanisme penarikan data pada sistem RAG
• Risiko gangguan makna secara semantik akibat serangan khusus
• Arahan tersembunyi yang ditanamkan dalam struktur dokumen
• Kemungkinan kontaminasi antara data dari berbagai sumber asal dokumen
• Bentuk penyebaran informasi rahasia melalui mekanisme pengambilan data AI

Teknik pertahanan yang diajarkan:

• Standardisasi kegiatan pembersihan konten awal sebelum dimasukkan sistem
• Pemberian skor kepercayaan pada setiap sumber dokumen
• Pemisahan aspek metadata dari kandungan utama dokumen
• Pelacakan sejarah pembentukan serta izin penggunaan tiap dokumen
• Standarisasi protokol penarikan data berdasarkan kebijakan keamanan
• Mendesain segmentasi konten secara terpisah agar tidak saling mempengaruhi

Studi kasus menarik: “Bagaimana mengunggah file PDF yang sengaja dirusak guna merebut kendali terhadap asisten AI?

Modul 6 — Keamanan Agen AI

Laboratorium: Lab 05 — 05-Keamanan-Agen

Titik kritis bahaya bagi struktur organisasi bisnis.

Topik dibahas:

• Batas kewenangan operasional agen AI yang terlalu longgar
• Pola penyalahgunaan fungsi bantu atau alat pendukung oleh agen AI
• Kegagalan dalam mengendalikan rantai pemanggilan API bertingkat
• Terdapatnya siklus operasi otonom yang terus berlanjut tanpa henti
• Pengembangan otorisasi tidak wajar melalui interaksi agen satu sama lain
• Risiko pengubahan memori sistem secara ilegal oleh agen AI
• Metode eksekusi fungsi pendukung dari luar konteks utama yang sebenarnya
• Peluang peniruan identitas komponen utama model utama AI
• Bentuk kebocoran informasi sertifikat otorisasi pengguna oleh agen AI
• Kemungkinan serangan bersama yang dilakukan antar beberapa agen AI sekaligus

Pendekatan pertahanan terbaiknya:

• Menerapkan prinsip hak akses minimal pada setiap komponen agen AI
• Memasang gerbang otorisasi yang meminta persetujuan manusia sebelum proses selesai
• Penerapan mesin kebijakan eksekusi secara real-time untuk mengontrol tindakan agen
• Penggunaan lingkungan terisolasi sebagai area uji coba operasi agen AI
• Mengalokasikan kredensial otentikasi yang sangat spesifik dan terbatas cakupannya
• Membentuk daftar izin penggunaan alat khusus bagi tiap jenis agen AI
• Pelibatan tenaga manusia sebagai penengah akhir dalam setiap tahapan operasi

Biasanya, inilah bagian yang menjadi fokus utama para manajer karena efek langsungnya pada bisnis.

Modul 7 — Keamanan API untuk Lingkungan AI

Laboratorium: Lab 06 — 06-Penolakan-Perpustakaan-Wallet

Sistem AI sangat bergantung pada interaksi melalui berbagai jenis API.

Topik dibahas:

• Fungsi utama gateway API secara umum
• Ancaman terhadap sistem GraphQL yang juga digunakan AI
• Bentuk penggunaan ilegal MCP maupun format komunikasi antar API lainnya
• Penerapan standar perlindungan pada kredensial berbasis JWT
• Tahapan keamanan khusus bagi plugin AI yang terpasang dalam ekosistem utama
• Proses otentikasi khusus bagi setiap agen AI saat meminta izin akses
• Pola delegasi wewenang akses pengguna terhadap komponen AI
• Metode penyimpanan sertifikat dengan standar keamanan tinggi
• Penggunaan teknik penandatanganan isi prompt secara digital
• Cara menginventarisasi seluruh API aktif yang terkait operasional AI

Hubungan konsep ini dengan standar lain: Daftar 10 Ancaman Utama pada Keamanan API versi OWASP.

Modul 8 — Teknik Deteksi dan Integrasi SOC

Laboratorium: Lab 07 — 07-Deteksi

Pembahasan strategi operasional pencegahan ancaman.

Topik dibahas:

• Sumber telemetri operasi sistem AI yang dapat diawasi
• Catatan tertulis mengenai prompt pengguna saat proses komunikasi
• Analisis jumlah token yang digunakan dalam setiap permintaan
• Pola identifikasi anomali berdasarkan metrik normalitas sistem AI
• Struktur rangkaian pemrosesan logis menggunakan SIEM yang dapat menganalisis konteks semantik
• Identifikasi korelasi antara log operasional dan gejala serangan AI
• Pola pencarian jejak aktivitas penyalahgunaan sistem LLM dalam laporan SOC
• Mekanisme observabilitas kinerja real-time pada ekosistem AI

Contoh nyata yang dibahas:

• Pendeteksian tren aktivitas pelanggaran kebijakan seperti jailbreak secara massal
• Cara mengidentifikasi serangan sistemik otomatis oleh beberapa agen AI sekaligus
• Kemungkinan terdeteksinya usaha pengambilan konten data model secara sistematis

Modul 9 — WAF Cloud serta Keamanan AI

Laboratorium: Tidak ada — diskusi interaktif mengenai konsepnya

Penerapan khusus berdasarkan jenis penyedia layanan komputasi cloud.

Topik dibahas:

• Fungsi utama AWS WAF dalam mengamankan API AI di ekosistem AWS
• Cara kerja Azure WAF sebagai bagian dari infrastruktur keamanan Microsoft Cloud
• Struktur operasi Gateway AI oleh Cloudflare secara umum
• Penerapan gateaway API secara universal
• Metode penyaringan lalu lintas AI menggunakan perangkat Envoy
• Cara kerja Kong AI Gateway dalam membatasi risiko operasional AI
• Ragam pola pencegahan gangguan sistem melalui teknik keamanan pada NGINX

Perbandingan kritis:

• Fungsi utama WAF konvensional dibandingkan kemampuan khusus Gateway AI serta kontrol lapisan aplikasi
• Bedanya antara penyaringan berbasis struktur sintaksis dengan pendekatan semantik

Modul 10 — Merancang Strategi Pertahanan AI Bertingkat

Laboratorium: Lab 08 — 08-Pertahanan-Bertingkat

Pembelajaran filosofis utama dalam kursus ini:

Satu-satunya lapisan keamanan tidak mampu menjamin perlindungan menyeluruh bagi sistem AI (termasuk WAF yang menjadi komponen fundamental).<\/p>

Peserta merancang kerangka model operasi secara bertingkat:

1. WAF
2. Gateway API
3. Gateway AI
4. Guardrails
5. Pemantauan eksekusi sistem secara real-time
6. Sistem identifikasi dan otorisasi pengguna
7. Ruang uji terisolasi sementara untuk komponen AI
8. Keterlibatan manusia sebagai pengawas akhir setiap operasi sistem
9. Pelacakan status keamanan dalam berbagai tingkatan kontrol
10. Protokol penanggulangan insiden yang terstandardisasi

Tata cara ini selaras dengan prinsip sistem pertahanan multi-lapis.

Peta Korelasi Modul dan Laboratorium

Urutan pelaksanaan laboratorium mengikuti secara sistematis urutan materi setiap modul.

Secara keseluruhan ada 10 modul, namun hanya 8 laboratorium; Modul 2 serta 9 tidak menyertakan praktikum karena murni diskusi interaktif.

Setiap laboratorium ditandai secara eksplisit sesuai bagian modulnya dalam penjelasan ini.

• Laboratorium 01 (Modul 1)
  • Folder: 01-Pengenalan
  • Judul: Menjelajahi ekosistem sistem AI serta memahami komponen yang terlibat dalam lalu lintasnya
• Laboratorium 02 (Modul 3)
  • Folder: 02-Injeksi-Prompt
  • Judul: Menguji serangan terhadap chatbot serta cara menembus filter dasar secara efektif
• Laboratorium 03 (Modul 4)
  • Folder: 03-Dasar-WAF
  • Judul: Merancang aturan WAF yang memenuhi kebutuhan spesifik operasi AI
• Laboratorium 04 (Modul 5)
  • Folder: 04-Keamanan-RAG
  • Judul: Mempraktikkan teknik memodifikasi struktur data RAG secara sengaja
• Laboratorium 05 (Modul 6)
  • Folder: 05-Keamanan-Agen
  • Judul: Melatih pendekatan keamanan dalam membatasi aksi agen AI secara otonom
• Laboratorium 06 (Modul 7)
  • Folder: 06-Penolakan-Perpustakaan-Wallet
  • Judul: Menentukan metode terbaik mengatasi serangan penggunaan sumber daya AI secara ilegal
• Laboratorium 07 (Modul 8)
  • Folder: 07-Deteksi
  • Judul: Mengamati gejala gangguan sistem AI melalui log aktivitas harian
• Laboratorium 08 (Modul 10)
  • Folder: 08-Pertahanan-Bertingkat
  • Judul: Mengembangkan desain pertahanan AI secara komprehensif dengan pendekatan bertingkat

Tahap Akhir Kursus

Peserta akan membela asisten AI simulasi milik sebuah perusahaan besar.

Para pihak penyerang melakukan hal-hal berikut:

1. Menjalankan teknik injeksi prompt terhadap sistem utama
2. Mengeksploitasi kemampuan agen AI untuk mengambil alih fungsi eksternal
3. Membocorkan sertifikat autentikasi pengguna ke luar lingkungan terjamin
4. Merusak konten penyimpanan informasi dasar menggunakan metode RAG
5. Mengaktifkan proses komputasi AI secara berlebihan hingga membebani infrastruktur sistem
6. Membangun jalur koordinasi serangan antara beberapa agen sekaligus

Dalam situasi ini, kelompok peserta dituntut mengimplementasikan:

• Rangkaian aturan WAF yang memenuhi kebutuhan operasional AI
• Kontrol akses tambahan pada level gateway AI sesuai standar organisasi
• Pendekatan identifikasi dan pencegahan risiko secara real-time
• Rangkaian aturan pendamping atau guardrails sebagai pelengkap sistem utama
• Protokol mitigasi insiden secara tepat waktu bila terjadi kegagalan sistem