Kursus Pelatihan Membangun Aplikasi AI yang Aman

Modul 1 — Pola Kerusakan pada Aplikasi AI

Praktikum: Tidak ada; hanya diskusi serta penjelasan arsitektur

Menggali konsep awal untuk memahami permukaan serangan dalam aplikasi AI.

Topik yang dibahas:

• Ragam struktur LLM, RAG, dan agen cerdas dilihat dari sudut pandang pengembang
• Proses alur permintaan dan respons pada fitur AI
• Tahapan aliran prompt: instruksi sistem, perintah pengembang, masukan user, serta pesan antar-alat
• Lokasi data tak terpercaya masuk ke model (atau sebaliknya)
• Batasan kepercayaan mana saja yang mampu diatur pengembang sendiri atau mewarisi dari sistem lain
• Alasan mengapa serangan AI cenderung bersifat semantik, bukannya sintaksis
• Pemetaan Daftar 10 Risiko Utama OWASP LLM ke dalam blok kode yang ditulis peserta

Poin utamanya: Setiap jalur masuknya teks tak terpercaya ke model — atau sebaliknya, output model masuk ke aplikasi Anda — menjadi area yang mesti diatur oleh pengembang itu sendiri.

Modul 2 — Serangan Injeksi Prompt untuk Pengembang

Praktikum: Praktikum 01 — 01-Prompt-Injection

Inilah momen sebanding dengan adanya SQL injection dalam AI; sayangnya tidak bisa dihindari sama sekali.

Topik yang dibahas:

• Pembedaan injeksi prompt langsung serta tak langsung
• Instruksi tersembunyi dalam dokumen, konten web, maupun output antar-alat
• Cara pembebasan kendali model melalui jailbreak serta kebingungan peran
• Manfaat pemisahan tegas antara instruksi dan data
• Pendekatan desain prompt aman: batas khusus, struktur tertata, serta pemberian otoritas minimal
• Mengapa upaya pencegahan serangan ini hanya terbatas; perlu membangun rancangan agar risikonya dapat dikecilkan.

Kegiatan praktik:

• Menguji celah keamanan chatbot Anda sendiri
• Menyingkirkan perlindungan dasar filter yang terlalu sederhana
• Merombak struktur prompt agar efek kerusakan akibat serangan menjadi lebih minim.

Modul 3 — Memperlakukan Output Model Sebagai Data Tak Terpercaya

Praktikum: Praktikum 02 — 02-Output-Handling

Inilah jenis celah keamanan yang paling sering diremehkan pengembang.

Topik yang dibahas:

• Mengenali bahwa keluaran model sejatinya merupakan input tidak dapat dipercaya bagi komponen lain dalam aplikasi
• Cara menangani output secara aman (LLM02): risiko XSS, SSRF, serta serangan SQL injection pada perangkat lunak yang lebih lanjut.
• Keharusan tidak memproses atau mengeksekusi langsung hasil keluaran model mentah
• Penggunaan format terstruktur dan validasi schema data terhadap output AI
• Teknik pengkodean output serta pembuatan daftar izin akses agar tidak terjadi kegagalan sistem
• Cara menyajikan isi output dengan aman dalam antarmuka web dan UI lainnya.

Kegiatan praktik:

• Mencari serta memperbaiki kelemahan pengelolaan output yang belum memenuhi standar keamanan
• Mewajibkan seluruh respons model patuh pada format JSON dan skema khusus.

Modul 4 — Keamanan Infrastruktur RAG

Praktikum: Praktikum 03 — 03-RAG-Security

RAG termasuk titik serangan mutakhir; seluruh desain serta konfigurasinya murni menjadi tanggung jawab pengembang.

Topik yang dibahas:

• Bentuk ancaman pada basis data vektor maupun mekanisme penarikan isi dokumen
• Cara membersihkan konten sebelum disimpan ke dalam sistem
• Metode penetapan asal usul dokumen serta skala tingkat kepercayaannya.
• Perbaikan cakupan penarikan isi data melalui pengaturan metadata terpisah
• Keberadaan instruksi terselubung dalam materi yang diambil (jenis injeksi tak langsung)
• Risiko kebocoran informasi rahasia akibat mekanisme penarikan data.

Kegiatan praktik: - Menginfeksikan saluran kerja RAG menggunakan dokumen berisi kode jahat; selanjutnya menerapkan kebijakan penyaringan serta pengaturan cakupan isi data guna memitigasi risikonya.

Modul 5 — Keamanan Agen AI dan Alat Pendukung

Praktikum: Praktikum 04 — 04-Agent-Safety

Di sinilah celah kecil pun bisa memicu aksi nyata yang merusak sistem.

Topik yang dibahas:

• Batasan terlalu longgar dalam pemberian otonomi pada agen (LLM06) serta kemungkinan penyalahgunaannya oleh entitas tak sah.
• Penerapan hak akses minimum bagi seluruh komponen agen AI.
• Pembuatan daftar izin dan pengujian validasi argumentasi tiap alat pendukungnya.
• Penyusunan mekanisme persetujuan manual dan kontrol aktivitas manusia sebelum suatu tindakan AI dieksekusi secara otomatis.
• Cara mengisolasi eksekusi alat pendukung dengan teknik sandboxing khusus
• Pemberian sertifikat akses yang berdurasi singkat untuk setiap agen AI sehingga risiko penyalahgunaan berkurang.
• Membatasi perulangan eksekusi mandiri maupun rantai interaksi kompleks antar entitas AI.

Kegiatan praktik:

• Mengatur ulang izin agar agen dengan hak terlalu luas kini mematuhi standar keamanan minimum.
• Menambahkan mekanisme whitelist serta pintu persetujuan manual untuk alat berisiko tinggi.

Modul 6 — Manajemen Kunci API, Identitas Pengguna & Biaya Sistem

Praktikum: Praktikum 05 — 05-Secrets-and-Cost

Kesalahan operasional pada poin ini dapat menimbulkan kerugian finansial maupun keamanan yang besar.

Topik yang dibahas:

• Teknik pengelolaan kunci API dan informasi rahasia aman — yakni tidak menyimpannya dalam prompt, blok kode maupun log sistem.
• Pengenalan mekanisme otentikasi serta hak akses per-user pada fitur AI tertentu.
• Cara memastikan identitas pengguna diintegrasikan pula dengan setiap alat pendukung maupun mekanisme penarikan data RAG.
• Penanggulangan kondisi denial-of-wallet: mencegah konsumsi token atau anggaran sistem melampaui batas wajar.
• Pembatasan laju penggunaan layanan, beserta penetapan durasi timeout dan batas jumlah token yang diizinkan.
• Membangun prosedur pencatatan aktivitas sistem tanpa risiko kebocoran kredensial atau data pribadi sensitif.

Kegiatan praktik:

• Mencabut penyimpanan informasi rahasia dari alur komunikasi antar prompt serta log program.
• Menerapkan batasan akses per pengguna, ditambah sistem kontrol anggaran pemakaian fitur AI.

Modul 7 — Pustaka Perlindungan Keamanan Data Masukan/Keluaran

Praktikum: Praktikum 06 — 06-Guardrails

Mengupas perbandingan antara penggunaan pustaka siap pakai dan pembuatan alat perlindungan keamanan mandiri.

Topik yang dibahas:

• Fungsi sebenarnya dari kerangka kerja penjaga keamanan ini, baik keunggulan maupun keterbatasannya
• Lapisan perlindungan masukan: pendeteksian injection serta penanda data pribadi dan tema konten yang disyaratkan.
• Fungsi pengaman keluaran data: validasi bentuk, penyaringan elemen berbahaya hingga proses pemastian integritas konteks.
• Situasi tepat untuk memilih penggunaan kerangka pustaka khusus dibandingkan melakukan pemeriksaan sendiri secara deterministic.
• Pembentukan lapisan perlindungan bertahap dengan menggabungkan kontrol lain dari modul-modul sebelumnya.
• Faktor performa sistem, penanganan kasus false positive dan kelemahan fungsionalitasnya.

Kegiatan praktik:

• Mendesain serta memasang lapisan penjaga data masukan/keluaran pada aplikasi AI yang telah ada.
• Menilai jenis risiko apa saja yang sudah tertangani dan mana saja celah keamanan yang masih terbuka.

Modul 8 — Uji Red-Teaming Terhadap Aplikasi Sendiri

Praktikum: Praktikum 07 — 07-Red-Teaming

Cara memastikan aplikasi siap melawan serangan aktual sebelum diluncurkan.

Topik yang dibahas:

• Cara menyusun rangkaian uji penyalahgunaan serta serangan otomatis bagi fitur AI tertentu.
• Pembuatan skrip tes untuk memerangi kemungkinan adanya injeksi prompt maupun strategi jailbreak yang muncul belakangan.
• Penyusunan perangkat uji regresi keamanan guna memantau efektivitas sistem pengaman terkini.
• Pengintegrasian tes keamanan AI dalam alur kontrol versi otomatis CI.
• Penanganan manajemen rantai pasokan: pemastian asal usul serta penentuan versi spesifik pada komponen model dan dependensi terkait.
• Pembentukan daftar cek keamanan pra-peluncuran khusus untuk setiap produk AI yang diproduksi.

Kegiatan praktik:

• Mengatur rangkaian tes otomatis red-teaming bagi sebuah fitur AI konkret.
• Menerapkan sistem tersebut pada alur pengujian CI dalam lingkungan produksi perusahaan.

Modul 9 — Penilaian Keamanan AI: Kerangka SAIS-100

Praktikum: Tidak ada; hanya aktivitas penilaian menggunakan aplikasi capstone sebagai contoh.

Memproses seluruh materi kursus menjadi metrik keamanan tunggal yang dapat diukur berulang kali.

Topik yang dibahas:

• Pola Segitiga Keamanan AI: enam pertanyaan spesifik menggantikan satu pernyataan standar "Apakah aplikasi ini aman?"
• Enam kategori penilaian yang disusun (Data, Prompt, Agen, Rantai Pasokan, Deteksi, serta Manajemen).
• Panduan pembobotan untuk perolehan skor maksimal 100 poin.
• Rentang klasifikasi hasil akhir dan aturan khusus pengecualian pada satu kategori yang melenceng.
• Penerapan Skala Keamanan AI SAIS-100 sebagai sistem verifikasi mandiri, mudah disesuaikan tiap waktu.
• Pemanfaatan pengukuran skor sebelum dan sesudah pelaksanaan optimalisasi keamanan untuk mengevaluasi efektivitas perbaikan.

Kegiatan praktik:

• Mengukur nilai akhir aplikasi capstone berdasarkan skala 100 poin.
• Mencatat satu modifikasi spesifik yang paling efektif untuk meningkatkan jumlah angka tersebut.

Poin utamanya: Tiga kategori terbesar dalam penilaian ini selaras dengan batasan kepercayaan yang mampu diputuskan oleh pengembang; maka skor tersebut benar-benar merepresentasikan materi ajar utama kursus ini.

Aplikasi Capstone

Para peserta akan menangani perbaikan menyeluruh pada sebuah aplikasi AI sengaja dibuat cacat.

Komponen dalam starter app ini terdiri atas:

• Prompt yang mudah diserang melalui injeksi input<
• Algoritma penanganan keluaran model kurang memenuhi standar keamanan.
• Sistem RAG tanpa batasan cakupan atau parameter isolasi data
• Agen AI yang diberi hak akses terlalu luas
• Kumpulan kunci API serta informasi rahasia lainnya tersimpan dalam jalur prompt.
• Pihaknya tidak menerapkan batasan konsumsi token atau anggaran sistem.

Materi yang wajib diterapkan peserta:

• Memperbaiki struktur prompt agar lebih terkontrol secara aman.
• Menguji serta mengubah kode penanganan output model untuk memperkuat keamanannya.
• Meningkatkan tahapan penyaring dan pembatasan cakupan penarikan data RAG.
• Membentuk standar hak akses minimal disertai pintu persetujuan pada operasional agen AI tersebut.
• Mengalihkan tempat penyimpanan kunci API serta membentuk limitasi biaya dan kecepatan pemakaian.
• Menambahkan lapisan pengaman masukan/keluaran, disertai pembentukan rangkaian tes red-teaming otomatis.

Hasil akhir yang ditargetkan: sebuah versi aplikasi sudah terlindungi dengan baik serta laporan singkat pemeriksaan keamanan berdasarkan Daftar 10 Risiko Utama OWASP LLM.

Peta Praktikum - Modul

Urutan pelaksanaan praktikum mengikuti alur urutan modul yang ada; terdapat 9 modul dan 7 praktikum totalnya. Modul pertama hanya menyajikan diskusi konseptual, sedangkan Modul 9 berfungsi penuh sebagai kegiatan penilaian skor sehingga sama-sama tidak memiliki folder praktikum tersendiri.

• Praktikum 01 - 01-Prompt-Injection: Menguji celah keamanan chatbot, lalu mengubah rancangan prompt guna mencegah serangan serupa (Modul 2)
• Praktikum 02 - 02-Output-Handling: Memitigasi kelemahan pengelolaan output model yang belum memenuhi standar keamanan (Modul 3)
• Praktikum 03 - 03-RAG-Security: Menginfeksikan saluran kerja RAG, lalu menanggulanginya melalui teknik filtrasi dan pembatasan area operasional (Modul 4)
• Praktikum 04 - 04-Agent-Safety: Memperbaiki izin akses agen yang terlalu longgar sehingga sesuai standar keamanan minimum (Modul 5)
• Praktikum 05 - 05-Secrets-and-Cost: Membentuk pengelolaan rahasia aman sekaligus membatasi anggaran sistem pemakaian fitur AI (Modul 6)
• Praktikum 06 - 06-Guardrails: Membentuk lapisan penjaga masukan/keluaran khusus pada aplikasi AI tertentu (Modul 7)
• Praktikum 07 - 07-Red-Teaming: Mengintegrasikan rangkaian uji otomatis penyalahgunaan pada alur kontrol versi CI sistem (Modul 8)

Sebagaimana disebutkan di atas, Modul 1 (Polanya Kerusakan Aplikasi AI) tidak memiliki praktikum karena hanya digunakan untuk diskusi arsitektur; sementara Modul 9 mengutamakan aktivitas skor keamanan terhadap aplikasi capstone, sehingga juga bebas dari folder khusus pelaksanaan praktikum.