Kursus Pelatihan Intelijen Bisnis Berbasis Big Data untuk Analisis Intelijen Kriminal

Hari ke-01

Pemahaman mengenai Intelijen Bisnis Berbasis Big Data untuk Analisis Intelijen Kriminal

• Studi kasus penegakan hukum: Pola Prediktif dalam Penyelidikan Kriminal
• Tingkat adopsi Big Data di lembaga penegak hukum serta strategi mereka mengembangkan operasional berbasis analitik prediktif.
• Solusi teknologi mutakhir: sensor deteksi tembakan, rekaman pengawas, dan media sosial
• Pemanfaatan Big Data untuk mengatasi kelebihan informasi
• Mengintegrasikan data Big Data dengan sistem lama
• Konsep dasar teknologi pendukung analitik prediktif
• Integrasi data dan visualisasi melalui dashboard
• Manajemen penipuan
• Penerapan aturan bisnis untuk deteksi penipuan
• Deteksi ancaman serta pembuatan profil risiko
• Analisis manfaat-biaya dalam implementasi Big Data

Pengantar Umum mengenai Big Data

• Ciri-ciri utama Big Data: volume, ragamnya data, kecepatan perolehan serta akurasi informasi.
• Arsitektur MPP (Massively Parallel Processing)
• Gudang data – skema tetap dan kumpulan data yang jarang berubah
• Basis data MPP: Greenplum, Exadata, Teradata, Netezza, Vertica dll.
• Solusi berbasis Hadoop – tidak mengharuskan struktur tertentu pada data.
• Pola kerja umum: HDFS, MapReduce, pengambilan data dari HDFS
• Apache Spark untuk pemrosesan aliran data secara real-time
• Pengolahan batch cocok untuk tujuan analitik non-interaktif
• Volume tinggi: CEP sebagai cara menangani arus data masif
• Produk CEP umum: Infostreams, Apama, MarkLogic dsb.
• Pilihan kurang siap produksi: Storm dan S4
• Basis Data NoSQL (berbasis kolom atau kunci-nilai): cocok menjadi pendukung analisis untuk gudang data dan basis data utama.

Macam-macam solusi NoSQL

• Gudang KV: Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
• Gudang KV lainnya: Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
• Gudang KV berbasis hierarki: GT.m, Cache
• Gudang KV terurut: TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
• Cache kunci-nilai: Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
• Gudang Tuple: Gigaspaces, Coord, Apache River
• Basis data objek: ZopeDB, DB40, Shoal
• Penyimpanan Dokumen: CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, XML-Databases, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
• Gudang kolom lebar: BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI

Ragam Data dan Masalah Pembersihan Data dalam Konteks Big Data

• Basis data RDBMS memakai struktur tetap; tidak cocok untuk lingkungan penjelajahan atau pengembangan yang dinamis.
• NoSQL bersifat semi-terstruktur, cukup memiliki kerangka dasar agar bisa menyimpan data meski tanpa skema eksplisit terlebih dulu.
• Tantangan umum dalam pembersihan dan pengaturan data

Pengenalan Hadoop

• Kapan sebaiknya memilih Hadoop?
• Gudang Data Struktur – sanggup menampung data besar (dengan biaya mahal) namun memaksa struktur tertentu, kurang cocok untuk eksplorasi aktif.
• Data semi-terstruktur sulit dikelola lewat sistem konvensional seperti DW/DB.
• Pembangunan gudang data butuh upaya sangat besar dan hasilnya tetap statis setelah implementasi.
• Untuk mengelola berbagai ragam serta volume data pada perangkat murah – pilihan terbaik adalah Hadoop.
• Hadoop Cluster dibentuk menggunakan perangkat komputasi murahan saja.

Pengantar MapReduce dan HDFS

• MapReduce mendistribusikan pemrosesan ke berbagai server sekaligus.
• HDFS menyediakan data secara lokal bagi proses komputasi, lengkap dengan fitur redundansi.
• Data bisa bersifat tidak terstruktur atau tanpa skema (berbeda dari RDBMS).
• Tanggung jawab pengembanglah untuk memahami isi data tersebut.
• Pengkodean MapReduce umumnya berbasis Java, proses pemuatan data ke HDFS pun harus dilakukan secara manual.

Hari ke-02

Ekosistem Big Data – Pembentukan Proses ETL (Extract, Transform, Load) dan Pemilihan Alat Big Data yang Tepat

• Hadoop dibandingkan dengan solusi NoSQL lainnya.
• Akses data secara acak namun interaktif.
• HBase: basis data berorientasi kolom yang terintegrasi di atas Hadoop.
• Akses data acak memang memungkinkan, namun ada batas maksimum yaitu 1 petabyte saja.
• Tak tepat dipakai untuk analitik ad-hoc; lebih cocok buat log pengamatan, pencacahan dan analisis deret waktu.
• Sqoop: mengimpor data dari basis data ke Hive atau HDFS (mendukung akses JDBC/ODBC).
• Flume: menyalurkan aliran data (misalnya log) masuk ke dalam HDFS.

Sistem Manajemen Big Data

• Komponen yang terus bergerak, komputasi yang dinamis – ZooKeeper: mengatur konfigurasi, koordinasi dan pelayanan penamaan.
• Pipelines kerja kompleks – Oozie: mengelola alur kerja, ketergantungan antar-tahap dan pemanggilan bertingkat.
• Deploy, konfigurasi, pengelolaan kluster, pembaruan sistem (tugas admin): Ambari.
• Dalam lingkungan Cloud: Whirr sebagai alat pendukung.

Analitik Prediktif – Teknik Dasar serta Pendekatan Intelijen Bisnis Berbasis Pembelajaran Mesin

• Pengantian tentang Machine Learning.
• Teknik klasifikasi dalam pembelajaran mesin.
• Prediksi berbasis Bayes – penyusunan berkas latihan yang tepat.
• Dukungan Algoritma Vector Machine.
• Penerapan KNN p-Tree Algebra serta analisis vertikal pada data.
• Jaringan Saraf Tiruan (Neural Networks).
• Mengatasi masalah variabel banyak dalam Big Data – Random Forest (RF) sebagai solusi.
• Masalah otomasi dalam lingkungan Big Data: Ensemble Multi-model RF.
• Otomasi dengan bantuan Soft10-M.
• Alat analisis teks: Treeminer.
• Pembelajaran yang tanggap terhadap perubahan kondisi.
• Pembelajaran berbasis agen.
• Pembelajaran terdistribusi.
• Beberapa alat Open Source untuk Analitik Prediktif: R, Python, Rapidminer, Mahut.

Ekosistem Analitik Prediktif beserta Penerapannya dalam Intelijen Kriminal

• Teknologi dan mekanisme penyelidikan kriminal.
• Pengolahan Insight Analytics.
• Visualisasi data dalam proses analisis.
• Analitik prediktif berbasis struktur tertentu.
• Analitik Prediktif non-struktural.
• Identifikasi Ancaman, Profil Penipu serta Evaluasi Vendor.
• Sistem Rekomendasi.
• Penetapan Pola Tersembunyi.
• Penemuan Aturan/Kondisi Tertentu – kegagalan sistem, penipuan, upaya optimalisasi proses.
• Analisis Penyebab Utama (Root Cause Analysis).
• Pengolahan Sentimen.
• Analitik CRM.
• Analisis Jaringan.
• Pemanfaatan Analitik Teks untuk mengekstrak makna dari transkrip, pernyataan saksi, komunikasi di internet dll.
• Proses Review Berbantuan Teknologi.
• Analisis penipuan secara menyeluruh.
• Analitika Real-Time.

Hari ke-03

Analitik Skala Besar dan Realtime berbasis Hadoop

• Mengapa algoritma analisis konvensional gagal di lingkungan Hadoop/HDFS.
• Apache Hama: kerangka pengolahan terdistribusi secara sinkron masif.
• Apache Spark: solusi komputasi kluster sekaligus analitis Real-Time.
• CMU Graphics Lab2: pendekatan asinkron berbasis grafik untuk pemrosesan terdistribusi.
• Teknik p-Tree Algebra milik Treeminer yang bisa mengurangi kebutuhan perangkat keras secara signifikan.

Alat Pendukung eDiscovery dan Forensik Digital

• Penerapan eDiscovery pada data Big Data vs sistem lama – perbandingan biaya serta performa.
• Teknik Predictive Coding dan Review Terbantu Teknologi (TAR).
• Demo Langsung vMiner: bagaimana TAR mempercepat proses penemuan bukti hukum.
• Pengindeksan yang lebih cepat lewat HDFS – keunggulan pada Kecepatan Pengolahan Data.
• Pengolahan Bahasa Alami (NLP): produk serta metode Open Source.
• Penanganan Multibahasa: Teknologi Pengolahan Bahasa Asing.

Aplikasi Intelijen Bisnis Big Data dalam Keamanan Siber – Membentuk Pandangan 360 derajat, Mengumpulkan Data Secara Cepat serta Deteksi Ancaman

• Pokok-pokok analisis keamanan: permukaan serangan, kesalahkonfigurasi sistem serta alat perlindungan host.
• Infrastruktur Jaringan – saluran data lebar dan Respon ETL untuk tujuan Analitis Realtime.
• Pembedaan Preskriptif vs Prediktif: aturan tetap berbasis Meta Data dibanding metode Auto-Discovery Ancaman.

Koleksi Beragam Jenis Data dalam Intelijen Kriminal

• Internet of Things (IoT) dipakai sebagai sensor pengumpul informasi.
• Pemanfaatan Citra Satelit untuk Pengawasan Domestik.
• Penggunaan Rekaman Video dan Data Pengawas dalam Identifikasi Pelaku Kejahatan.
• Teknologi Lain yang Mengumpulkan Data: drone, kamera tubuh, sistem Tagging GPS serta Teknologi Pemindaian Thermal.
• Menggabungkan hasil otomatisasi Pengambilan Data dengan data dari informan, interogasi serta riset tambahan.
• Peramalan Kegiatan Kriminal.

Hari ke-04

Intelijen Bisnis Pencegahan Penipuan melalui Big Data dalam Analitika Penipuan

• Penggolongan Dasar Analitik Penipuan: berbasis Aturan vs Prediktif.
• Teknik Machine Learning Berawasi dan Tidak Diawasi untuk Deteksi Pola Penipuan.
• Penipuan antar-perusahaan, klaim asuransi medis palsu, penipuan perpajakan serta Pencucian Uang.

Analitika Media Sosial – Pengumpulan dan Analisis Intelijen

• Cara kriminal menggunakan Media Sosial untuk mengorganisasi, merekrut anggota serta merencanakan kejahatan.
• API Big Data ETL dalam Ekstraksi Informasi dari Media Sosial.
• Pengolahan Teks, Gambar, Meta Data dan Video.
• Analisis Sentimen pada Arus Konten Media Sosial.
• Penyaringan Arus Konten Media Sosial Berdasarkan Konteks atau Non-Konteks.
• Dashboard Media Sosial yang Terintegrasi untuk berbagai Platform Sekaligus.
• Pembuatan Profil Pengguna Media Sosial Secara Otomatis.
• Demo Langsung masing-masing Teknik Analitis dilakukan lewat Alat Treeminer.

Aplikasi Analitik Big Data pada Pemrosesan Gambar dan Video

• Teknik Penyimpanan Gambar dalam Ekosistem Big Data: solusi khusus untuk penyimpanan data melebihi petabyte.
• LTFS (Linear Tape File System) serta LTO (Linear Tape Open).
• GPFS-LTFS: penyelesaian Penyimpanan Bertingkat bagi Volume Besar Gambar.
• Pokok-Pokok Analisis Citra.
• Pengenalan Objek.
• Segmentasi Citra.
• Pelacakan Gerak.
• Rekonstruksi Citra 3-D.

Biometrik, DNA dan Program Identifikasi Generasi Baru

• Lebih jauh dari hanya Sidik Jari atau Pengenalan Wajah.
• Pengenalan Suara, pola pengetikan (Analisis Karakteristik Pengetikan Pengguna), serta CODIS – sistem indeks DNA terpadu.
• Kemampuan Melampaui Matching DNA: Pemanfaatan Phenotyping Forensik untuk Merekonstruksi Wajah Berdasarkan Sampel DNA.

Dashboard Big Data untuk Akses dan Penayangan Informasi yang Cepat:

• Penggabungan Platform Aplikasi Terdahulu dengan Dashboard Big Data.
• Manajemen Data Big Data secara Komprehensif.
• Studi Kasus Penggunaan Dashboard: Tableau serta Pentaho.
• Menggunakan Aplikasi Big Data dalam Menyuguhkan Layanan Berbasis Lokasi bagi Pemerintah.
• Sistem Pemantauan dan Manajemen Terpadu.

Hari ke-05

Cara Membenarkan Implementasi Intelijen Bisnis Big Data dalam Organisasi:

• Menentukan ROI (Pengembalian Investasi) dari Proyek Integrasi Big Data.
• Studi Kasus Penghematan Waktu Analisis serta Peningkatan Produktivitas lewat Penyiapan dan Pengumpulan Data secara Cepat.
• Pertambahan Pendapatan Akibat Biaya Lisensi Database yang Lebih Rendah.
• Kenaikan Pemasukan Berkat Layanan Lokasi Berbasis Data.
• Penghematan Anggaran melalui Pencegahan Penipuan Secara Dini.
• Pendekatan Penggunaan Spreadsheet Terintegrasi untuk Menghitung Biaya Riil dibanding Manfaat serta Keuntungan yang Diperoleh dari Implementasi Big Data.

Langkah-langkah Merombak Sistem Data Lama dengan Infrastruktur Big Data:

• Roadmap Migrasi Menuju Teknologi Big Data.
• Informasi Kritis Apa saja yang Harus Ada Sebelum Desain Arsitekturnya.
• Berbagai Metode Pengukuran Volume, Kecepatan, Ragam dan Akurasi Data.
• Teknik Perkiraan Pertumbuhan Data di Masa Depan.
• Studi Kasus Nyata.

Pengenalan Vendor Big Data beserta Produk yang Mereka Tawarkan:

• Accenture
• APTEAN (dulu CDC Software)
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB (dulu 10Gen)
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware (bagian dari EMC)

Sesi Tanya-Jawab