Kerangka Materi

Bagian 1 – Konsep Deep Learning dan DNN


Pendahuluan AI, Machine Learning & Deep Learning

  • Sejarah, konsep dasar dan aplikasi umum dari kecerdasan buatan jauh dari fantasi yang dibawa oleh domain ini

  • Inteligensi kolektif: mengumpulkan pengetahuan yang dibagikan oleh banyak agen virtual

  • Algoritma genetika: untuk mengembangkan populasi agen virtual melalui seleksi

  • Mesin Pembelajaran Biasa: definisi.

  • Jenis tugas: pembelajaran bersupervisi, pembelajaran tanpa pengawas, pembelajaran bertambah ganda

  • Jenis tindakan: klasifikasi, regresi, klastering, estimasi densitas, reduksi dimensi

  • Contoh algoritma Machine Learning: Linear regression, Naive Bayes, Random Tree

  • Machine learning VS Deep Learning: masalah di mana Machine Learning tetap menjadi state of the art hari ini (Random Forests & XGBoosts)

Konsep Dasar dari Jaringan Saraf (Aplikasi: Multi-layer Perceptron)

  • Pengenalan kembali dasar matematika.

  • Definisi dari jaringan neuron: arsitektur klasik, aktivasi dan

  • Penimbangan aktivasi sebelumnya, kedalaman sebuah jaringan

  • Definisi dari pembelajaran jaringan neuron: fungsi biaya, back-propagation, Stochastic gradient descent, maximum likelihood.

  • Modeling jaringan neuron: modeling data input dan output sesuai dengan jenis masalah (regression, klasifikasi ...). Curse of dimensionality.

  • Pembedaan antara data multi-fitur dan signal. Pilihan fungsi biaya sesuai dengan data.

  • Aproksimasi fungsi oleh jaringan neuron: presentasi dan contoh

  • Aproksimasi distribusi oleh jaringan neuron: presentasi dan contoh

  • Data Augmentation: cara untuk mengimbangi dataset

  • Generalisasi hasil dari jaringan neuron.

  • Inisialisasi dan regulasi dari jaringan neuron: L1 / L2 regularization, Batch Normalization

  • Algoritma optimasi dan konvergensi

Alat Standar ML / DL

Presentasi sederhana dengan keuntungan, kekurangan, posisi di ekosistem dan penggunaan direncanakan.

  • Alat pengelolaan data: Apache Spark, Apache Hadoop Tools

  • Machine Learning: Numpy, Scipy, Sci-kit

  • Frameworks DL tingkat tinggi: PyTorch, Keras, Lasagne

  • Frameworks DL tingkat rendah: Theano, Torch, Caffe, Tensorflow

Jaringan Saraf Konvolusi (CNN).

  • Presentasi dari CNNs: prinsip dasar dan aplikasi

  • Operasi dasar dari sebuah CNN: lapisan konvolusi, penggunaan kernel,

  • Padding & stride, pembuatan feature map, lapisan pooling. Ekstensi 1D, 2D dan 3D.

  • Presentasi dari berbagai arsitektur CNN yang membawa state of the art dalam klasifikasi

  • Gambar: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentasi dari inovasi yang dibawa oleh setiap arsitektur dan aplikasi yang lebih luas (Convolution 1x1 atau residual connections)

  • Penggunaan model perhatian.

  • Aplikasi untuk kasus klasifikasi umum (teks atau gambar)

  • CNNs untuk generasi: super-resolution, pixel-to-pixel segmentation. Presentasi dari

  • Strategi utama untuk meningkatkan feature maps untuk generasi gambar.

Jaringan Saraf Runtunan (RNN).

  • Presentasi dari RNNs: prinsip dasar dan aplikasi.

  • Operasi dasar dari RNN: aktivasi tersembunyi, back propagation melalui waktu, versi tergulung.

  • Perkembangan ke Gated Recurrent Units (GRUs) dan LSTM (Long Short Term Memory).

  • Presentasi dari berbagai keadaan dan perkembangan yang dibawa oleh arsitektur ini

  • Masalah konvergensi dan gradient hilang

  • Arsitektur klasik: Prediksi dari serial waktu, klasifikasi ...

  • Arsitektur Encoder Decoder jenis RNN. Penggunaan model perhatian.

  • Aplikasi NLP: enkoding kata / karakter, terjemahan.

  • Aplikasi Video: prediksi gambar berikutnya yang dihasilkan dari sebuah urutan video.


Model Generasi: Variational AutoEncoder (VAE) dan Generative Adversarial Networks (GAN).

  • Presentasi dari model generasi, hubungan dengan CNNs

  • Auto-encoder: reduksi dimensi dan generasi terbatas

  • Variational Auto-encoder: model generasi dan aproximasi distribusi dari yang diberikan. Definisi dan penggunaan ruang latente. Triks reparameterization. Aplikasi dan batas yang diamati

  • Generative Adversarial Networks: Dasar-dasar.

  • Arsitektur Jaringan Dual (Generator dan discriminator) dengan pembelajaran bergantian, fungsi biaya yang tersedia.

  • Konvergensi dari sebuah GAN dan kesulitan yang dialami.

  • Konvergensi yang lebih baik: Wasserstein GAN, Began. Earth Moving Distance.

  • Aplikasi untuk generasi gambar atau fotografi, generasi teks, super-resolution.

Deep Reinforcement Learning.

  • Presentasi dari pembelajaran bertambah ganda: pengendalian agen dalam lingkungan yang ditentukan

  • Dengan keadaan dan tindakan yang mungkin

  • Penggunaan jaringan neuron untuk mengaproksimasi fungsi keadaan

  • Deep Q Learning: experience replay, dan aplikasi untuk pengendalian game video.

  • Optimisasi kebijakan pembelajaran. On-policy & off-policy. Arsitektur actor critic. A3C.

  • Aplikasi: pengendalian game video tunggal atau sistem digital.

Bagian 2 – Theano untuk Deep Learning

Dasar Theano

  • Pendahuluan

  • Instalasi dan Konfigurasi

TheanoFungsi

  • inputs, outputs, updates, givens

Pelatihan dan Optimasi Jaringan Neuron Menggunakan Theano

  • Modeling Jaringan Neuron

  • Logistic Regression

  • Hidden Layers

  • Melatih jaringan

  • Menghitung dan klasifikasi

  • Optimasi

  • Log Loss

Menguji model


Bagian 3 – DNN Menggunakan Tensorflow

Dasar TensorFlow

  • Membuat, Mengo-initialisasi, Menyimpan, dan Memulihkan Variabel TensorFlow

  • Mengisi, Membaca dan Memuat Ulang Data TensorFlow

  • Bagaimana menggunakan infrastruktur TensorFlow untuk melatih model secara besar-besaran

  • Mengvisualisasikan dan Menilai model dengan TensorBoard

Mekanisme TensorFlow

  • Mempersiapkan Data

  • Mengunduh

  • Inputs dan Placeholders

  • Membangun Grafik

    • Inference

    • Loss

    • Pelatihan

  • Melatih Model

    • Grafik

    • Sesion

    • Loop Pelatihan

  • Menevaluasi Model

    • Membangun Grafik Evaluasi

    • Keluaran Evaluasi

The Perceptron

  • Fungsi aktivasi

  • Algoritma pembelajaran perceptron

  • Klasifikasi biner dengan perceptron

  • Klasifikasi dokumen dengan perceptron

  • Batasan dari perceptron

Dari Perceptron ke Support Vector Machines

  • Kernel dan trik kernel

  • Klasifikasi margin maksimum dan vektor dukungan

Jaringan Saraf Buatan

  • Batas keputusan nonlinear

  • Jaringan saraf buatan feedforward dan feedback

  • Multilayer perceptrons

  • Mengurangi fungsi biaya

  • Propagasi maju

  • Back propagation

  • Meningkatkan cara jaringan saraf belajar

Jaringan Saraf Konvolusi

  • Tujuan

  • Arsitektur Model

  • Prinsip

  • Organisasi Kode

  • Meluncurkan dan Melatih Model

  • Menevaluasi sebuah Model

Pendahuluan Dasar yang Harus Diberikan untuk Modul Berikut Ini (Pendahuluan Ringkas harus diberikan berdasarkan ketersediaan waktu):

Penggunaan Lanjut Tensorflow

  • Threading dan Antrian

  • TensorFlow Distributed

  • Menulis Dokumentasi dan Membagikan Model Anda

  • Mengkustomisasi Pembaca Data

  • Memanipulasi Berkas Model TensorFlow


TensorFlow Serving

  • Pendahuluan

  • Tutorial Pelayanan Dasar

  • Tutorial Pelayanan Lanjut

  • Tutorial Pelayanan Model Inception

Persyaratan

Latar belakang dalam fisika, matematika dan pemrograman. Terlibat dalam aktivitas pemrosesan gambar.

Para delegasi harus memiliki pemahaman awal tentang konsep machine learning dan sudah bekerja dengan pemrograman Python serta perpustakaan-pustakanya.

 35 Jam

Jumlah Peserta


Biaya per Peserta

Testimoni (5)

Kursus Mendatang

Kategori Terkait