Terima kasih telah mengirimkan pertanyaan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Terima kasih telah mengirimkan pemesanan Anda! Salah satu anggota tim kami akan segera menghubungi Anda.
Kerangka Materi
Setiap sesi berdurasi 2 jam
Hari-1: Sesi-1 – Gambaran Umum Bisnis Mengapa Intelijen Data Big Data Diperlukan Pemerintah
- Studi kasus dari NIH dan Departemen Energi AS (DoE)
- Tingkat adaptasi Big Data di lembaga pemerintahan serta cara mereka menyelaraskan operasional masa depan dengan analisis prediktif berbasis Big Data
- Ruang lingkup penerapan luas di bidang pertahanan, dinas keamanan, otoritas perpajakan, maupun departemen pertanian
- Integrasi antara data Big Data dan basis data lama/legacy
- Pemahaman dasar mengenai teknologi pendukung analisis prediktif
- Proses Integrasi Data serta visualisasi dashboard
- Pengelolaan risiko penipuan
- Generasi aturan bisnis dan deteksi penipuan otomatis
- Identifikasi ancaman beserta pemetaannya secara rinci
- Analisis manfaat biaya dari penerapan sistem Big Data
Hari-1: Sesi-2 – Pengantar Big Data-1
- Ciri khas utama Big Data: volume, keragaman sumber, kecepatan perubahan, serta akurasi data; arsitektur MPP untuk menangani masalah volume data.
- Gudang data – memiliki skema tetap dan sering mengalami evolusi lambat pada isinya
- Basis data MPP seperti Greenplum, Exadata, Teradata, Netezza, Vertica dll.
- Solusi berbasis Hadoop – tidak terbatas struktur data yang diperlukan untuk penyimpanan.
- Pola standar: HDFS, MapReduce (pengolahan), pengambilan kembali informasi dari HDFS
- Karakter batch: cocok dipakai untuk analisis non-interaktif
- Tipe volume data: arus CEP yang terus mengalir
- Pilihan umum: produk CEP (contoh Infostreams, Apama, MarkLogic dll.)
- Produk kurang siap pakai secara produksi seperti Storm/S4
- Basis data NoSQL – baik berbasis kolom maupun kunci-nilai; sangat cocok jadi pendamping analisis bagi gudang atau basis data utama.
Hari-1: Sesi-3 – Pengantar Big Data-2
Solusi NoSQL
- Penyimpanan KV – Keyspace, Flare, SchemaFree, RAMCloud, Oracle NoSQL Database (OnDB)
- Penyimpanan KV – Dynamo, Voldemort, Dynomite, SubRecord, Mo8onDb, DovetailDB
- Penyimpanan KV Hierarkis – GT.m, Cache
- Penyimpanan KV Berurutan – TokyoTyrant, Lightcloud, NMDB, Luxio, MemcacheDB, Actord
- Cache penyimpanan KV – Memcached, Repcached, Coherence, Infinispan, EXtremeScale, JBossCache, Velocity, Terracoqua
- Penyimpanan Tuple – Gigaspaces, Coord, Apache River
- Basis data Objek – ZopeDB, DB40, Shoal
- Penyimpanan Dokumen – CouchDB, Cloudant, Couchbase, MongoDB, Jackrabbit, basis data XML, ThruDB, CloudKit, Prsevere, Riak-Basho, Scalaris
- Penyimpanan Kolom Lebar – BigTable, HBase, Apache Cassandra, Hypertable, KAI, OpenNeptune, Qbase, KDI
Jenis Data: Pengenalan masalah Pembersihan Data dalam konteks Big Data
- Basis data relasional (RDBMS) – skema tetap; kurang mendorong suasana eksplorasi yang fleksibel.
- NoSQL – separuh terstruktur; cukup kakuatan struktur untuk menyimpan informasi walau tanpa menuntut format baku sebelumnya
- Masalah pembersihan data
Hari-1: Sesi-4 – Pengantar Big Data-3: Hadoop
- Momen tepat untuk memilih sistem Hadoop?
- TERSTRUKTUR – Gudang data/kelompok basis data korporat mampu menangani data raksasa (biaya mahal); namun struktur ketatnya justru menghambat eksplorasi dinamis.
- DATA SEMI TERSTRUKTUR – sulit diolah via solusi konvensional (Gudang Data/Basis Data)
- Pengelolaan data lewat gudang membutuhkan usaha besar, selain bersifat tetap setelah pemasangan
- Untuk menangani keberagaman serta volume data raksasa di atas perangkat komputasi biasa – gunakan HADOOP
- Perlu perangkat keras standar untuk membentuk klaster Hadoop.
Pengantar MapReduce/HDFS
- MapReduce membagi tugas komputasi ke banyak server sekaligus
- HDFS menyediakan akses lokal data bagi proses komputasi (dilengkapi fitur redundansi)
- Data yang diproses boleh bersifat tak terstruktur/skorless (tidak seperti RDBMS)
- Pencipta program bertanggung jawab mengurai makna informasi tersebut
- Pemrograman MapReduce menggunakan Java; memuat data secara manual ke dalam HDFS menjadi elemen penting.
Hari-2: Sesi-1 – Ekosistem Big Data– Membangun Proses ETL Data Raksasa: Katalog alat analitik Big Data—mana yang digunakan dan kapan?
- Perbandingan Hadoop dengan solusi NoSQL lainnya
- Kebutuhan akses acak terhadap data secara interaktif
- HBase (basis data berorientasi kolom) sebagai penyambung di atas infrastruktur Hadoop
- Akses acak memang dimungkinkan, meski ada batasan (maksimum 1 PB saja)
- Tak cocok untuk analisis ad-hoc; lebih tepat untuk pencatatan log, penghitungan, serta analisis time-series
- Sqoop – alat impor dari basis data ke Hive atau HDFS (melalui akses JDBC/ODBC)
- Flume – memindahkan arus data (misalnya log) ke dalam lingkungan HDFS
Hari-2: Sesi-2 – Sistem Manajemen Big Data
- Saat elemen penyusun bergerak atau node komputasi terputus: ZooKeeper menangani konfigurasi, koordinasi, serta penamaan layanan
- Pipelines kerja yang rumit: Oozie mengelola rangkaian pekerjaan, ketergantungan antar tugas, serta hubungan kronologisnya
- Konfigurasi, pengaturan klaster, serta pembaruan sistem (untuk admin): Ambari
- Di lingkungan awan: Whirr
Hari-2: Sesi-3 – Analisis Prediktif dalam Intelijen Bisnis -1: Teknik Dasar dan Konsep Machine Learning Berbasis BI:
- Pengantaran konsep dasar pembelajaran mesin
- Metode pengelompokan data (klasifikasi)
- Prediksi Bayes – penyiapan berkas pelatihan awal
- Algoritma Support Vector Machine
- Algebra P pohon KNN serta teknik analisis vertikal
- Sistem Neural Network
- Menyelesaikan masalah variabel besar dalam Big Data – metode Random Forest (RF)
- Mengatasi tantangan otomatisasi dalam Big Data – penggunaan RF Multi-model
- Proses otomasi menggunakan Soft10-M
- Treeminer sebagai alat analitik teks
- Pendekatan pembelajaran tanggap (Agile Learning)
- Pembelajaran dengan bantuan agen mandiri (Agent based learning)
- Analisis terdistribusi – Distributed Learning
- Pengenalan alat open source analitik prediktif: R, Rapidminer, Mahut
Hari-2: Sesi-4 Ekosistem Analitis Prediktif-2: Masalah Umum Analisis Prediktif Di Sektor Pemerintahan
- Analisis wawasan strategis
- Visualisasi hasil analitik
- Penerapan prediksi pada struktur teratur data
- Penerapan prediksi terhadap data tak berstruktur
- Pemetaan profil ancaman, penipuan, serta pihak penyedia jasa bermasalah
- Mesin Rekomendasi Otomatis
- Identifikasi pola-pola umum atau unik dalam data
- Penentuan aturan baru atau pengenalan skenario berpotensi gagal/penipuan/optimalisasi
- Pencarian akar penyebab persoalan
- Analisis Sentimen (pendapat publik)
- Agregat analitik CRM
- Analisis jaringan interaksi aktor-objek
- Analisis Teks mendalam
- Proses peninjauan hukum dengan bantuan komputerisasi
- Pendeteksian penipuan secara spesifik
- Analitik dalam mode Realtime
Hari-3: Sesi-1 – Analisis Realtime dan Skalabel Berbasis Hadoop
- Mengapa algoritma analitik konvensional kerap gagal saat diterapkan pada Hadoop/HDFS?
- Apache Hama – pendekatan komputasi terdistribusi bersifat Bulk Synchronous
- Apache SPARK – solusi klaster komputasi real-time
- Lab Grafik CMU – pendekatan asinkron berbasis grafik untuk sistem terdistribusi
- Penerapan Algebra p-KNN ala Treeminer demi meminimalkan beban infrastruktur hardware.
Hari-3: Sesi-2 – Alat Pendukung eDiscovery dan Forensik Digital
- Perbandingan efisiensi serta ongkos analitik Big Data versus metode tradisional pada data legacy
- Teknik coding prediktif serta mekanisme peninjauan terbantu Teknologi (TAR)
- Demo langsung produk TAR seperti vMiner untuk memahami mekanisme percepatan proses penemuan bukti
- Pengindeksan lebih cepat melalui HDFS – peningkatan kecepatan pemrosesan data
- Pemrosesan Bahasa Alami (Natural Language Processing): metode utama serta produk open source terkait
- Penanganan konten berbagai bahasa asing dalam konteks eDiscovery: teknologi penerjemahnya.
Hari-3: Sesi-3 – Pemanfaatan Big Data Intelijen Bisnis dalam Keamanan Siber: Memahami Pandangan Komprehensif dari Pengumpulan Data Cepat hingga Identifikasi Ancaman
- Pemahaman elemen keamanan dasar: permukaan serangan, kesalahan konfigurasi, pertahanan host sistem
- Infrastruktur jaringan, saluran data raksasa serta prosedur Respons ETL untuk analisis langsung
- Pembedaan tipe prediktif – berdasarkan aturan tetap atau penemuan otomatis pola ancaman dari Metadata
Hari-3: Sesi-4 – Big Data dalam Konteks USDA: Aplikasi di Sektor Pertanian
- Pendahuluan konsep IoT (Internet of Things) untuk sistem pertanian: sensor data raksasa serta kontrol lingkungan
- Pengenalan teknologi Penginderaan Jarak Jauh serta kegunaannya dalam sektor agrikultur
- Integrasi data hasil pengukuran sensor dan citra satelit guna mengevaluasi kesuburan tanah, rekomendasi budidaya, maupun prediksi hasil panen
- Asuransi pertanian dengan basis Big Data
- Prakiraan kerugian panen akibat bencana alam
Hari-4: Sesi-1 – Intelijen Bisnis Anti-Penipuan Berbasis Big Data di Sektor Publik: Analisis Kriminalitas Digital
- Klasifikasi utama metode analisis penipuan: berdasarkan aturan tetap atau pendekatan prediktif
- Pembelajaran mesin terawasi vs tak terawasi untuk mendeteksi pola kecurangan
- Fraud vendor – penggelapan dana proyek secara ilegal
- Analisis klaim kesehatan Medicare/Medicaid: teknik identifikasi modus penipuan saat penyetujuan klaim medis
- Pencegahan penggelapan biaya perjalanan dinas pegawai pemerintah
- Anti-Fraud pajak di Otoritas Pajak IRS
- Kasus studi konkret serta demonstrasi langsung akan disajikan jika tersedia data nyata.
Hari-4: Sesi-2 – Analisis Media Sosial: Pengumpulan Informasi Strategis & Analitiknya
- API ETL Big Data untuk ekstraksi konten media sosial secara masif
- Pengolahan teks, gambar, metadata interaktif maupun video
- Analisis Sentimen dalam umpan informasi publik online
- Filtering konten dengan atau tanpa konteks naratif
- Dashboard Media Sosial menyatukan sumber konten dari berbagai platform sekaligus
- Pemetaan profil otomatis pengguna jejaring sosial
- Demonstrasi langsung masing-masing alat analitik via Treeminer.
Hari-4: Sesi-3 – Aplikasi Analisis Big Data pada Pemrosesan Citra serta Video
- Metode penyimpanan gambar dalam ekosistem data raksasa – solusi gudang memuat puluhan petabyte
- Teknologi LTFS dan LTO
- Penerapan GPFS-LTFS sebagai lapisan pendukung pengarsipan citra digital massal
- Elemen dasar pemrosesan gambar komputerisasi
- Pengenalan objek visual
- Segmentasi area tertentu dalam gambar
- Tracking gerak subjek pada rekaman video
- Rekonstruksi tiga dimensi suatu obyek berdasarkan citra 2D
Hari-4: Sesi-4 – Pemanfaatan Big Data Intelijen Bisnis dalam Instansi NIH:
- Diversifikasi bidang Bioinformatika masa kini
- Isu-isu kunci analisis Genomik Metagenik dan penyelesaian hambatan dengan Big Data
- Analisis prediktif berbasis Big Data dalam farmakogenomika, metabolomika, serta proteomika
- Pemanfaatan sistem ini pada seluruh siklus pengolahan genetika pasca-eksperimen
- Aplikasi analitik prediktif guna kesehatan publik secara lebih menyeluruh
Dashboard Big Data: Fasilitas Akses dan Visualisasi Beragam Konten Digital
- Pengintegrasian platform operasional eksisting dengan Dashboard Big Data tersebut
- Manajemen sistem informasi skala raksasa
- Studi percontohan implementasi Dashboard: Tableau serta Pentaho
- Penerapan aplikasi Big Data dalam penyediaan layanan berbasis lokasi di lingkungan publik
- Sistem pemantauan dan manajemen operasional secara komprehensif.
Hari-5: Sesi-1 – Cara Membenarkan Investasi pada Implementasi Intelijen Bisnis Big Data:
- Penentuan ROI (Return on Investment) dari proyek penerapan sistem ini
- Studi kasus efisiensi waktu analis dalam mengumpulkan serta mempersiapkan data – dampak naiknya produktivitas kerja
- Tabel perbandingan pendapatan yang tercapai melalui penghematan belanja lisensi basis data komersial
- Kenaikan pendapatan lewat layanan geolokasi
- Penghematan anggaran berkat mekanisme pencegahan penipuan efektif
- Metode perhitungan manual sederhana: membandingkan total pengeluaran vs potensi kenaikan pendapatan/hemat kas negara.
Hari-5: Sesi-2 – Langkah-langkah Konkret Peralihan dari Infrastruktur Legacy ke Arsitektur Big Data:
- Memahami strategi migrasi data praktis
- Informasi esensial yang wajib diketahui sebelum membentuk rencana implementasi Big Data
- Metoda mengukur volume, kecepatan aliran, keragaman tipe sumber, serta tingkat akurasi data secara empiris
- Teknik memperkirakan pertumbuhan kapasitas penyimpanan data di masa depan
- Rangkuman studi percontohan implementasi.
Hari-5: Sesi-4 – Evaluasi Vendor Penyedia Solusi Big Data serta Tinjauan Produknya. Sesi Tanya Jawab:
- Accenture
- APTEAN (dulu CDC Software)
- Cisco Systems
- Cloudera
- Dell
- EMC
- GoodData Corporation
- Guavus
- Hitachi Data Systems
- Hortonworks
- HP
- IBM
- Informatica
- Intel
- Jaspersoft
- Microsoft
- MongoDB (dulu 10Gen)
- MU Sigma
- Netapp
- Opera Solutions
- Oracle
- Pentaho
- Platfora
- Qliktech
- Quantum
- Rackspace
- Revolution Analytics
- Salesforce
- SAP
- SAS Institute
- Sisense
- Software AG/Terracotta
- Soft10 Automation
- Splunk
- Sqrrl
- Supermicro
- Tableau Software
- Teradata
- Think Big Analytics
- Tidemark Systems
- Treeminer
- VMware (anak perusahaan EMC)
Persyaratan
- Pengetahuan dasar mengenai operasi bisnis serta sistem data di sektor pemerintahan
- Pemahaman awal tentang SQL/Oracle atau basis data relasional
- Pemahaman dasar mengenai Statistika (pada tingkat penggunaan spreadsheet)
35 Jam
Testimoni (1)
Kemampuan instruktur untuk menyelaraskan kursus dengan kebutuhan organisasi, bukan hanya memberikan kursus demi penyampaian materi semata.
Masilonyane - Revenue Services Lesotho
Kursus - Big Data Business Intelligence for Govt. Agencies
Diterjemahkan Mesin
