Kursus Pelatihan Web Scraping dengan Python
Web Scraping adalah teknik untuk mengekstrak data dari sebuah situs web lalu menyimpannya ke file lokal atau database.
Pelatihan langsung (online atau onsite) ini ditujukan bagi para pengembang yang ingin menggunakan Python untuk mengotomatiskan proses crawling banyak situs web guna mengekstrak data untuk pemrosesan dan analisis.
Di akhir pelatihan ini, peserta akan dapat:
- Menginstal dan mengonfigurasi Python dan semua paket yang relevan.
- Mengambil dan mengurai data yang disimpan di banyak situs web.
- Memahami cara kerja situs web dan bagaimana HTML mereka terstruktur.
- Membuat spider untuk melakukan crawling web dalam skala besar.
- Menggunakan Selenium untuk melakukan crawling halaman web yang digerakkan oleh AJAX.
Format Kursus
- Ceramah dan diskusi interaktif.
- Banyak latihan dan praktik.
- Implementasi langsung di lingkungan lab langsung.
Opsi Kustomisasi Kursus
- Kursus ini mengasumsikan pengetahuan tentang pemrograman.
- Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk mengatur.
Kerangka Materi
Pengantar
Mengatur Lingkungan Pengembangan
Python Praktikum: Struktur Data, Kondisional, Penanganan File, dll.
Python Paket untuk Web Scraping: Scrapy dan BeautifulSoup
Bagaimana Sebuah Situs Web Berfungsi
Bagaimana HTML Terstruktur
Membuat Permintaan Web
Mengekstrak Data dari Halaman HTML
Bekerja dengan XPath dan CSS
Memfilter Data Menggunakan Regular Expressions
Membuat Penelusur Web
Menelusuri Halaman AJAX dan JavaScript dengan Selenium.
Praktik Terbaik Web Scraping
Pemecahan Masalah
Ringkasan dan Kesimpulan
Persyaratan
- Programming pengalaman, sebaiknya di Python. Jika peserta memiliki pengalaman pemrograman dalam bahasa selain Python, pelatihan dapat diperluas untuk mencakup latihan Python yang lebih pengantar.
Peserta
- Pengembang
Kursus Pelatihan Terbuka membutuhkan minimal 5 peserta.
Kursus Pelatihan Web Scraping dengan Python - Pemesanan
Kursus Pelatihan Web Scraping dengan Python - Penyelidikan
Web Scraping dengan Python - Permintaan Konsultasi
Permintaan Konsultasi
Testimoni (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Kursus - Web Scraping with Python
Kursus Mendatang
Kursus Terkait
Scaling Data Analysis with Python and Dask
14 JamPelatihan langsung oleh instruktur di Indonesia (online atau di tempat) ini ditujukan kepada ilmuwan data dan insinyur perangkat lunak yang ingin menggunakan Dask dengan ekosistem Python untuk membangun, meng skalakan, dan menganalisis dataset besar.
Setelah pelatihan ini selesai, peserta akan dapat:
- Mengatur lingkungan untuk memulai pengolahan data besar dengan Dask dan Python.
- Mengexploitasi fitur, perpustakaan, alat, dan API yang tersedia dalam Dask.
- Memahami bagaimana Dask mempercepat komputasi paralel di Python.
- Mempelajari cara meng skalakan ekosistem Python (Numpy, SciPy, dan Pandas) menggunakan Dask.
- Memaksimalkan lingkungan Dask untuk mempertahankan kinerja tinggi dalam menangani dataset besar.
Analisis Data dengan Python, Pandas dan Numpy
14 JamPelatihan ini, yang dibimbing oleh instruktur, dalam Indonesia (online atau tatap muka) ditujukan untuk pengembang Python dan analis data tingkat menengah yang ingin meningkatkan keterampilan mereka dalam analisis dan manipulasi data menggunakan Pandas dan NumPy.
Pada akhir pelatihan ini, peserta akan dapat:
- Mengatur lingkungan pengembangan yang mencakup Python, Pandas, dan NumPy.
- Membuat aplikasi analisis data menggunakan Pandas dan NumPy.
- Melakukan operasi pengaturan data, pengurutan, dan penyaringan tingkat lanjut.
- Melakukan operasi agregasi dan menganalisis data time series.
- Mengvisualisasikan data menggunakan Matplotlib dan perpustakaan visualisasi lainnya.
- Mendiagnosa dan mengoptimalkan kode analisis data mereka.
Pembangunan Full Stack FARM (FastAPI, React, dan MongoDB)
14 JamPelatihan ini yang dipimpin instruktur, langsung (online atau tatap muka) ini ditujukan untuk pengembang yang ingin menggunakan stack FARM (FastAPI, React, dan MongoDB) untuk membangun aplikasi web dinamis, berkinerja tinggi, dan dapat diskalakan.
Di akhir pelatihan ini, peserta akan mampu untuk:
- Menyusun lingkungan pengembangan yang diperlukan yang mengintegrasikan FastAPI, React, dan MongoDB.
- Memahami konsep kunci, fitur, dan manfaat stack FARM.
- Mempelajari cara membangun REST API dengan FastAPI.
- Mempelajari cara merancang aplikasi interaktif dengan React.
- Mengembangkan, menguji, dan mengimplementasikan aplikasi (front end dan back end) menggunakan stack FARM.
Mengembangkan APIs dengan Python dan FastAPI
14 JamPelatihan yang dipandu instruktur ini di Indonesia (pelatihan online langsung atau pelatihan langsung tatap muka) ditujukan kepada pengembang yang ingin menggunakan FastAPI dengan Python untuk membangun, menguji, dan men-deploy API RESTful lebih mudah dan cepat.
Setelah pelatihan ini, peserta akan dapat:
- Mengatur lingkungan pengembangan yang diperlukan untuk mengembangkan API dengan Python dan FastAPI.
- Membuat API lebih cepat dan mudah menggunakan perpustakaan FastAPI.
- Belajar cara membuat model data dan skema berdasarkan Pydantic dan OpenAPI.
- Menghubungkan API ke database menggunakan SQLAlchemy.
- Implementasikan keamanan dan autentikasi di API menggunakan alat-alat FastAPI.
- Membangun gambar kontainer dan men-deploy web API ke server cloud.
Machine Learning dengan Python – 2 Hari
14 JamTujuan dari kursus ini adalah untuk memberikan keterampilan dasar dalam menerapkan Machine Learning metode dalam praktek. Melalui penggunaan bahasa pemrograman Python dan berbagai perpustakaan, dan berdasarkan banyak contoh praktis, kursus ini mengajarkan bagaimana menggunakan blok bangunan yang paling penting Machine Learning, bagaimana membuat keputusan pemodelan data, menafsirkan output algoritma dan validasi hasil.
Tujuan kami adalah untuk memberi Anda keterampilan untuk memahami dan menggunakan alat-alat yang paling mendasar dari Machine Learning kotak alat dengan aman dan menghindari kegagalan umum dari Data Science aplikasi.
Pelatihan Machine Learning dengan Python – 4 Hari
28 JamTujuan dari kursus ini adalah untuk memberikan kemampuan umum dalam menerapkan metode Machine Learning secara praktis. Melalui penggunaan bahasa pemrograman Python dan berbagai perpustakaannya, serta berdasarkan banyak contoh praktis, kursus ini mengajarkan bagaimana menggunakan blok bangunan terpenting dari Machine Learning, membuat keputusan dalam pemodelan data, menafsirkan hasil algoritma, dan memvalidasi hasil.
Tujuan kami adalah memberikan keterampilan kepada Anda untuk memahami dan menggunakan alat-alat paling dasar dari kotak peralatan Machine Learning dengan percaya diri serta menghindari jebakan-jebakan umum dalam aplikasi Data Science.
Mempercepat Alur Kerja Python Pandas dengan Modin
14 JamPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan pengembang yang ingin menggunakan Modin untuk membangun dan menerapkan komputasi paralel dengan Pandas untuk analisis data yang lebih cepat.
Pada akhir pelatihan ini, peserta akan dapat:
- Siapkan lingkungan yang diperlukan untuk mulai mengembangkan Pandas alur kerja berskala dengan Modin.
- Memahami fitur, arsitektur, dan keuntungan Modin.
- Ketahui perbedaan antara Modin, Dask, dan Ray.
- Lakukan operasi Pandas lebih cepat dengan Modin.
- Terapkan seluruh API dan fungsi Pandas.
Python untuk Pengenalan Bahasa Alam (NLG)
21 JamDalam pelatihan bertutor langsung ini di Indonesia, peserta akan belajar menggunakan Python untuk menghasilkan teks bahasa alami berkualitas tinggi dengan membangun sistem NLG sendiri dari awal. Studi kasus juga akan dianalisis dan konsep-konsep yang relevan akan diterapkan pada proyek laboratorium langsung untuk menghasilkan konten.
Selesai pelatihan ini, peserta akan dapat:
- Menggunakan NLG untuk secara otomatis menghasilkan konten untuk berbagai industri, mulai dari jurnalistik, real estat, hingga laporan cuaca dan olahraga.
- Memilih dan menyusun konten sumber, merencanakan kalimat, dan mempersiapkan sistem untuk penghasilan konten asli secara otomatis.
- Mengerti pipa NLG dan menerapkan teknik yang tepat pada setiap tahapan.
- Mengerti arsitektur dari suatu sistem Natural Language Generation (NLG).
- Implementasi algoritma dan model paling sesuai untuk analisis dan pengejajaran.
- Mendapatkan data dari sumber data publik serta database yang dirawat untuk digunakan sebagai bahan teks yang dihasilkan.
- Menggantikan proses penulisan manual dan melelahkan dengan penciptaan konten otomatis oleh komputer.
Advanced Machine Learning dengan Python
21 JamDalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari teknik pembelajaran mesin yang paling relevan dan mutakhir di Python saat mereka membangun serangkaian aplikasi demo yang melibatkan gambar, musik, teks, dan data keuangan.
Pada akhir pelatihan ini, peserta akan dapat:
- Menerapkan algoritma dan teknik pembelajaran mesin untuk memecahkan masalah yang rumit.
- Terapkan pembelajaran mendalam dan pembelajaran semi-terawasi pada aplikasi yang melibatkan gambar, musik, teks, dan data keuangan.
- Dorong algoritma Python ke potensi maksimalnya.
- Gunakan pustaka dan paket seperti NumPy dan Theano.
Python: Mengautomasikan Hal-hal Mematikan
14 JamPelatihan langsung yang dipandu oleh instruktur ini, di Indonesia, didasarkan pada buku populer, "Automate the Boring Stuff with Python", oleh Al Sweigart. Ditujukan untuk pemula dan mencakup konsep pemrograman Python penting melalui latihan dan diskusi langsung yang praktis. Fokusnya adalah mempelajari cara menulis kode untuk secara dramatis meningkatkan produktivitas kantor.
Pada akhir pelatihan ini, peserta akan mengetahui cara memprogram dalam Python dan menerapkan keterampilan baru ini untuk:
- Mengotomatiskan tugas dengan menulis program Python sederhana.
- Menulis program yang dapat melakukan pengenalan pola teks dengan "regular expressions".
- Membuat dan memperbarui spreadsheet Excel secara terprogram.
- Mem-parsing PDF dan dokumen Word.
- Merayapi situs web dan mengambil informasi dari sumber online.
- Menulis program yang mengirimkan notifikasi email.
- Menggunakan alat debugging Python untuk menyelesaikan bug dengan cepat.
- Mengontrol mouse dan keyboard secara terprogram untuk mengklik dan mengetik untuk Anda.
Python Programming for Finance
35 JamPython adalah bahasa pemrograman yang telah mendapatkan popularitas besar di industri keuangan. Diadopsi oleh bank investasi dan hedge fund terbesar, bahasa ini digunakan untuk membangun berbagai aplikasi keuangan mulai dari program perdagangan inti hingga sistem manajemen risiko.
Dalam pelatihan langsung yang dipimpin oleh instruktur ini, peserta akan mempelajari cara menggunakan Python untuk mengembangkan aplikasi praktis untuk memecahkan sejumlah masalah terkait keuangan tertentu.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami dasar-dasar bahasa pemrograman Python
- Mengunduh, memasang, dan memelihara alat pengembangan terbaik untuk membuat aplikasi keuangan di Python
- Memilih dan menggunakan paket dan teknik pemrograman Python yang paling sesuai untuk mengatur, memvisualisasikan, dan menganalisis data keuangan dari berbagai sumber (CSV, Excel, database, web, dll.)
- Membangun aplikasi yang memecahkan masalah terkait alokasi aset, analisis risiko, kinerja investasi, dan lainnya
- Memecahkan masalah, mengintegrasikan, menerapkan, dan mengoptimalkan aplikasi Python
Target Peserta
- Pengembang
- Analis
- Quant
Format Kursus
- Sebagian kuliah, sebagian diskusi, latihan, dan praktik langsung yang intensif
Catatan
- Pelatihan ini bertujuan untuk memberikan solusi untuk beberapa masalah utama yang dihadapi oleh para profesional keuangan. Namun, jika Anda memiliki topik, alat, atau teknik tertentu yang ingin Anda tambahkan atau elaborasi lebih lanjut, silakan hubungi kami untuk mengatur.
Pelatihan Python Lanjutan - 4 Hari
28 JamPelatihan online langsung atau tatap muka di Indonesia ini, yang dipandu oleh instruktur, ditujukan bagi pengembang yang ingin mempelajari teknik pemrograman Python lanjutan, termasuk cara mengaplikasikan bahasa yang fleksibel ini untuk menyelesaikan masalah di bidang seperti aplikasi terdistribusi, analisis dan visualisasi data, pengembangan UI, dan scripting perawatan.
Kursus Pengenalan Python Programming - 4 hari
28 JamKursus ini dirancang bagi mereka yang ingin mempelajari bahasa pemrograman Python. Penekanannya adalah pada bahasa Python, pustaka inti, serta pemilihan pustaka terbaik dan paling berguna yang dikembangkan oleh komunitas Python. Python mendorong bisnis dan digunakan oleh para ilmuwan di seluruh dunia – ini adalah salah satu bahasa pemrograman paling populer.
Kursus ini dapat disampaikan menggunakan versi Python 3.x terbaru dengan latihan praktis yang memanfaatkan kekuatan penuhnya. Kursus ini dapat disampaikan pada sistem operasi apa pun (semua varian UNIX, termasuk Linux dan Mac OS X, serta Microsoft Windows).
Latihan praktis menyusun sekitar 70% dari waktu kursus, dan sekitar 30% adalah demonstrasi dan presentasi. Diskusi dan pertanyaan dapat diajukan sepanjang kursus.
Catatan: pelatihan dapat disesuaikan dengan kebutuhan spesifik atas permintaan sebelumnya sebelum tanggal kursus yang diusulkan.
Pemrosesan Otomatisasi Uji dengan Selenium dan Python
14 JamSelenium adalah kerangka kerja open-source untuk otomatisasi pengujian aplikasi web di berbagai browser. Dengan Selenium 4, API WebDriver yang ditingkatkan, locator relatif asli, dan dukungan grid yang lebih baik tersedia. Python menawarkan kesederhanaan dan integrasi kuat dengan kerangka kerja uji seperti Pytest, menjadikannya pilihan yang kuat untuk mengembangkan suite otomatisasi uji yang skalabel dan dapat dipelihara.
Pelatihan ini diarahkan kepada tester dan pengembang tingkat pemula hingga menengah yang ingin menggunakan Selenium dengan Python untuk melakukan otomatisasi pengujian aplikasi web dalam lingkungan dunia nyata. Pelatihan ini diselenggarakan secara langsung, baik online atau tatap muka.
Setelah pelatihan ini, peserta akan dapat:
- Menginstal dan mengonfigurasi Selenium dengan Python dalam lingkungan uji.
- Membangun skrip otomatisasi uji yang robust menggunakan Selenium WebDriver dan Pytest.
- Mengaplikasikan Model Objek Halaman (POM) untuk kerangka kerja uji yang dapat dipelihara.
- Menjalankan tes di berbagai browser menggunakan Selenium Grid.
- Mengintegrasikan tes otomatis dengan pipa CI/CD.
- Menyelesaikan masalah umum dan menerapkan praktik terbaik untuk stabilitas otomatisasi.
Format Pelatihan
- Ceramah interaktif dan diskusi.
- Banyak latihan dan praktik.
- Implementasi langsung dalam lingkungan live-lab.
Opsi Penyesuaian Pelatihan
- Untuk meminta pelatihan yang disesuaikan untuk kursus ini, silakan hubungi kami untuk membuat jadwal.
Ringkasan Teks dengan Python
14 JamDalam Python Machine Learning, fitur Text Summarization mampu membaca teks masukan dan menghasilkan ringkasan teks. Kemampuan ini tersedia dari baris perintah atau sebagai API/Library Python. Salah satu aplikasi menariknya adalah pembuatan ringkasan eksekutif yang cepat; ini sangat berguna bagi organisasi yang perlu meninjau sejumlah besar data teks sebelum menghasilkan laporan dan presentasi.
Dalam pelatihan langsung yang dipandu oleh instruktur ini, peserta akan belajar menggunakan Python untuk membuat aplikasi sederhana yang secara otomatis menghasilkan ringkasan dari teks masukan.
Pada akhir pelatihan ini, peserta akan mampu:
- Menggunakan alat baris perintah yang meringkas teks.
- Mendesain dan membuat kode Text Summarization menggunakan library Python.
- Mengevaluasi tiga library summarization Python: sumy 0.7.0, pysummarization 1.0.4, readless 1.0.17
Hadirin
- Pengembang
- Ilmuwan Data
Format kursus
- Sebagian ceramah, sebagian diskusi, latihan, dan praktik langsung yang berat