Büyük Veri Eğitimi

a. Eğitimin Amacı:

i. Büyük Veri alanında yetkinlik sağlamaktır.

b. Katılımcı Profili:

i. Yazılım alanında daha önce çalışmış olması,

ii. Veritabanı bilgisinin olması,

iii. Donanım bilgisinin olmasıdır.

 

 

c. Eğitim Kazanımları:

i. Python ile büyük veri üzerinde çalışabilmesi,

ii. Tüm donanım kaynaklarını verimli şekilde kullanabilmesi,

iii. Mikroservisler arası asenkron ve senkron çalışmayı sağlayabilmesi,

iv. Birden fazla sunucuyu tek bir işlem üzerinde çalıştırabilmesi,

v. ETL süreçlerinin geliştirebilmesidir.

 

 

d. Ölçme ve Değerlendirme:

i. Çoktan seçmeli sınav

 

e. Eğitim Teknik ve Araçları:

i. Sunumlar

f. Eğitim Ön Koşulu:

i. Temel Seviye Programlama Bilgisi

ii. Temel Seviye Veritabanı Bilgisi

iii. Temel Seviye Docker Bilgisi

 

g. Eğitim İçeriği:

 

Python

· Paralel Programlamanın Temelleri

· Python Ile Paralel Programlama (Multithreading)

· Python Ile Paralel Programlama (Multiprocessing)

· Python Ile Bulunduğu Bilgisayarın Tüm Kaynaklarını Kullanma

· Python Ile Birden Fazla Bilgisayarın Tüm Kaynaklarını Kullanma

 

Numpy

· Numpy Array Yapısı

· Numpy Veri Türleri

· Numpy Array İşlemleri

 

Pandas

· Pandas Series Yapısı

· Pandas Dataframes Yapısı

· Pandas Farklı Kaynaklara Veri Yazma

· Pandas Farklı Kaynaklardan Veri Okuma

 

Dask

· Temel Çalışma Prensipleri

· Dask Local Cluster Oluşturma

· Dask Dashboard Kullanımı

· Dask Array Yapısı

· Dask Bag Yapısı

· Dask Dataframes Yapısı

· Dask Dataframes İle Farklı Kaynaklara Veri Yazma

· Dask Dataframes İle Farklı Kaynaklardan Veri Okuma

· Dask Delayed Kullanımı

· Dask İle Cluster Oluşturma

 

Kafka

· Kafka Temelleri

· Kafka Zookeeper Yapısı

· Kafka Broker Yapısı

· Kafka Kurulumu

· Kafdrop Kurulumu

· Kafka Cluster Kurulumu

· Python İle Kafka Kullanımı

· Dask İle Kafka Kullanımı

 

Spark

· Spark Temelleri

· Spark Kurulumu

· Spark RDD Kullanımı

· Spark SQL Kullanımı

· Spark Datasets Kullanımı

· Spark Dataframes Kullanımı

· Spark UDF Kullanımı

· Spark İle Farklı Kaynaklara Veri Yazma

· Spark İle Farklı Kaynaklara Veri Okuma

 

S3

· S3 Temelleri

· Minio Kurulumu

· Python İle S3 Kullanımı

· Dask İle S3 Kullanımı

 

Kubernetes

· Çalışma Prensipleri

· Büyük Veri Alanında Temel Kullanımları