Kerangka Materi
Bagian 1 – Konsep Deep Learning dan DNN
Pendahuluan AI, Machine Learning & Deep Learning
-
Sejarah, konsep dasar dan aplikasi umum dari kecerdasan buatan jauh dari fantasi yang dibawa oleh domain ini
-
Inteligensi kolektif: mengumpulkan pengetahuan yang dibagikan oleh banyak agen virtual
-
Algoritma genetika: untuk mengembangkan populasi agen virtual melalui seleksi
-
Mesin Pembelajaran Biasa: definisi.
-
Jenis tugas: pembelajaran bersupervisi, pembelajaran tanpa pengawas, pembelajaran bertambah ganda
-
Jenis tindakan: klasifikasi, regresi, klastering, estimasi densitas, reduksi dimensi
-
Contoh algoritma Machine Learning: Linear regression, Naive Bayes, Random Tree
-
Machine learning VS Deep Learning: masalah di mana Machine Learning tetap menjadi state of the art hari ini (Random Forests & XGBoosts)
Konsep Dasar dari Jaringan Saraf (Aplikasi: Multi-layer Perceptron)
-
Pengenalan kembali dasar matematika.
-
Definisi dari jaringan neuron: arsitektur klasik, aktivasi dan
-
Penimbangan aktivasi sebelumnya, kedalaman sebuah jaringan
-
Definisi dari pembelajaran jaringan neuron: fungsi biaya, back-propagation, Stochastic gradient descent, maximum likelihood.
-
Modeling jaringan neuron: modeling data input dan output sesuai dengan jenis masalah (regression, klasifikasi ...). Curse of dimensionality.
-
Pembedaan antara data multi-fitur dan signal. Pilihan fungsi biaya sesuai dengan data.
-
Aproksimasi fungsi oleh jaringan neuron: presentasi dan contoh
-
Aproksimasi distribusi oleh jaringan neuron: presentasi dan contoh
-
Data Augmentation: cara untuk mengimbangi dataset
-
Generalisasi hasil dari jaringan neuron.
-
Inisialisasi dan regulasi dari jaringan neuron: L1 / L2 regularization, Batch Normalization
-
Algoritma optimasi dan konvergensi
Alat Standar ML / DL
Presentasi sederhana dengan keuntungan, kekurangan, posisi di ekosistem dan penggunaan direncanakan.
-
Alat pengelolaan data: Apache Spark, Apache Hadoop Tools
-
Machine Learning: Numpy, Scipy, Sci-kit
-
Frameworks DL tingkat tinggi: PyTorch, Keras, Lasagne
-
Frameworks DL tingkat rendah: Theano, Torch, Caffe, Tensorflow
Jaringan Saraf Konvolusi (CNN).
-
Presentasi dari CNNs: prinsip dasar dan aplikasi
-
Operasi dasar dari sebuah CNN: lapisan konvolusi, penggunaan kernel,
-
Padding & stride, pembuatan feature map, lapisan pooling. Ekstensi 1D, 2D dan 3D.
-
Presentasi dari berbagai arsitektur CNN yang membawa state of the art dalam klasifikasi
-
Gambar: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentasi dari inovasi yang dibawa oleh setiap arsitektur dan aplikasi yang lebih luas (Convolution 1x1 atau residual connections)
-
Penggunaan model perhatian.
-
Aplikasi untuk kasus klasifikasi umum (teks atau gambar)
-
CNNs untuk generasi: super-resolution, pixel-to-pixel segmentation. Presentasi dari
-
Strategi utama untuk meningkatkan feature maps untuk generasi gambar.
Jaringan Saraf Runtunan (RNN).
-
Presentasi dari RNNs: prinsip dasar dan aplikasi.
-
Operasi dasar dari RNN: aktivasi tersembunyi, back propagation melalui waktu, versi tergulung.
-
Perkembangan ke Gated Recurrent Units (GRUs) dan LSTM (Long Short Term Memory).
-
Presentasi dari berbagai keadaan dan perkembangan yang dibawa oleh arsitektur ini
-
Masalah konvergensi dan gradient hilang
-
Arsitektur klasik: Prediksi dari serial waktu, klasifikasi ...
-
Arsitektur Encoder Decoder jenis RNN. Penggunaan model perhatian.
-
Aplikasi NLP: enkoding kata / karakter, terjemahan.
-
Aplikasi Video: prediksi gambar berikutnya yang dihasilkan dari sebuah urutan video.
Model Generasi: Variational AutoEncoder (VAE) dan Generative Adversarial Networks (GAN).
-
Presentasi dari model generasi, hubungan dengan CNNs
-
Auto-encoder: reduksi dimensi dan generasi terbatas
-
Variational Auto-encoder: model generasi dan aproximasi distribusi dari yang diberikan. Definisi dan penggunaan ruang latente. Triks reparameterization. Aplikasi dan batas yang diamati
-
Generative Adversarial Networks: Dasar-dasar.
-
Arsitektur Jaringan Dual (Generator dan discriminator) dengan pembelajaran bergantian, fungsi biaya yang tersedia.
-
Konvergensi dari sebuah GAN dan kesulitan yang dialami.
-
Konvergensi yang lebih baik: Wasserstein GAN, Began. Earth Moving Distance.
-
Aplikasi untuk generasi gambar atau fotografi, generasi teks, super-resolution.
Deep Reinforcement Learning.
-
Presentasi dari pembelajaran bertambah ganda: pengendalian agen dalam lingkungan yang ditentukan
-
Dengan keadaan dan tindakan yang mungkin
-
Penggunaan jaringan neuron untuk mengaproksimasi fungsi keadaan
-
Deep Q Learning: experience replay, dan aplikasi untuk pengendalian game video.
-
Optimisasi kebijakan pembelajaran. On-policy & off-policy. Arsitektur actor critic. A3C.
-
Aplikasi: pengendalian game video tunggal atau sistem digital.
Bagian 2 – Theano untuk Deep Learning
Dasar Theano
-
Pendahuluan
-
Instalasi dan Konfigurasi
TheanoFungsi
-
inputs, outputs, updates, givens
Pelatihan dan Optimasi Jaringan Neuron Menggunakan Theano
-
Modeling Jaringan Neuron
-
Logistic Regression
-
Hidden Layers
-
Melatih jaringan
-
Menghitung dan klasifikasi
-
Optimasi
-
Log Loss
Menguji model
Bagian 3 – DNN Menggunakan Tensorflow
Dasar TensorFlow
-
Membuat, Mengo-initialisasi, Menyimpan, dan Memulihkan Variabel TensorFlow
-
Mengisi, Membaca dan Memuat Ulang Data TensorFlow
-
Bagaimana menggunakan infrastruktur TensorFlow untuk melatih model secara besar-besaran
-
Mengvisualisasikan dan Menilai model dengan TensorBoard
Mekanisme TensorFlow
-
Mempersiapkan Data
-
Mengunduh
-
Inputs dan Placeholders
-
Membangun Grafik
-
Inference
-
Loss
-
Pelatihan
-
-
Melatih Model
-
Grafik
-
Sesion
-
Loop Pelatihan
-
-
Menevaluasi Model
-
Membangun Grafik Evaluasi
-
Keluaran Evaluasi
-
The Perceptron
-
Fungsi aktivasi
-
Algoritma pembelajaran perceptron
-
Klasifikasi biner dengan perceptron
-
Klasifikasi dokumen dengan perceptron
-
Batasan dari perceptron
Dari Perceptron ke Support Vector Machines
-
Kernel dan trik kernel
-
Klasifikasi margin maksimum dan vektor dukungan
Jaringan Saraf Buatan
-
Batas keputusan nonlinear
-
Jaringan saraf buatan feedforward dan feedback
-
Multilayer perceptrons
-
Mengurangi fungsi biaya
-
Propagasi maju
-
Back propagation
-
Meningkatkan cara jaringan saraf belajar
Jaringan Saraf Konvolusi
-
Tujuan
-
Arsitektur Model
-
Prinsip
-
Organisasi Kode
-
Meluncurkan dan Melatih Model
-
Menevaluasi sebuah Model
Pendahuluan Dasar yang Harus Diberikan untuk Modul Berikut Ini (Pendahuluan Ringkas harus diberikan berdasarkan ketersediaan waktu):
Penggunaan Lanjut Tensorflow
-
Threading dan Antrian
-
TensorFlow Distributed
-
Menulis Dokumentasi dan Membagikan Model Anda
-
Mengkustomisasi Pembaca Data
-
Memanipulasi Berkas Model TensorFlow
TensorFlow Serving
-
Pendahuluan
-
Tutorial Pelayanan Dasar
-
Tutorial Pelayanan Lanjut
-
Tutorial Pelayanan Model Inception
Persyaratan
Latar belakang dalam fisika, matematika dan pemrograman. Terlibat dalam aktivitas pemrosesan gambar.
Para delegasi harus memiliki pemahaman awal tentang konsep machine learning dan sudah bekerja dengan pemrograman Python serta perpustakaan-pustakanya.
Testimoni (5)
Hunter luar biasa, sangat menarik, sangat berpengetahuan dan menarik. Bagus sekali.
Rick Johnson - Laramie County Community College
Kursus - Artificial Intelligence (AI) Overview
Diterjemahkan Mesin
The trainer explained the content well and was engaging throughout. He stopped to ask questions and let us come to our own solutions in some practical sessions. He also tailored the course well for our needs.
Robert Baker
Kursus - Deep Learning with TensorFlow 2.0
Tomasz really know the information well and the course was well paced.
Raju Krishnamurthy - Google
Kursus - TensorFlow Extended (TFX)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Kursus - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.