A'dan Z'ye Uygulamalı Hadoop ve Büyük Veri Eğitimi
5.0 (55 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
2,395 students enrolled

A'dan Z'ye Uygulamalı Hadoop ve Büyük Veri Eğitimi

Hadoop, Big Data, HDFS, Spark, Hive, Kafka, YARN, HBase, Presto, NiFi, Storm, Ambari, Sqoop, Tez
5.0 (55 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
2,395 students enrolled
Last updated 4/2019
Turkish
Current price: $9.99 Original price: $94.99 Discount: 89% off
30-Day Money-Back Guarantee
This course includes
  • 10.5 hours on-demand video
  • 3 articles
  • 5 downloadable resources
  • Full lifetime access
  • Access on mobile and TV
  • Certificate of Completion
Training 5 or more people?

Get your team access to Udemy's top 3,000+ courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • Hadoop büyük veri dünyasına hızlı ve kolay hazmedilebilir bir giriş yapacaksınız.
  • Hadoop bileşenlerini tanıyacak; üzerlerinde uygulama/pratikler yapacaksınız.

  • Kendi kendinize öğrenme gerçekleştirebilecek düzeye geleceksiniz.

  • Büyük veri dünyasında kendi ayaklarınızın üzerinde durabileceksiniz.
  • Büyük veri teorisi hakkında genel bir kavrayışa sahip olacaksınız.
  • Gerçek hayat problemlerini çözme konusunda Hadoop'un nasıl kullanılabileceğine dair bir anlayış kazanacaksınız.
  • Apache Spark ile veri hazırlığı ve Spark MLlib ile basit bir makine öğrenmesi (sınıflandırma) uygulaması yapacaksınız.
Requirements
  • Öğrenme motivasyonu (en önemlisi)
  • 10 GB'den daha büyük belleğe sahip bilgisayar
  • 60 GB boş harddisk alanı,
  • İnternet bağlantısı
Description

Büyük veri dünyasının yıldızı Apache Hadoop'u herkesin anlayabileceği basit ve sade bir yaklaşımla anlatmaya çalıştım. Kendim öğrenirken çok zorlandığım ve zaman kaybettiğim noktalarda sizlerin daha hızlı ve kolay öğrenmesi için derslerde bol bol benzetme, şekil ve animasyon kullandım. Sonra fark ettim ki bunlar kursu epey eğlenceli hale getirmiş. Ancak benzetmelerin anlatılan konuya bire bir uyduğunu düşünmemek gerekir. Benzetmelerin amacı olayın altında yatan mantığı kavramak ve konunun anlaşılmasını kolaylaştırmaktır.

Zamanında bazı konuların altında yatan temel mantığı anlayabileceğim şekilde düzgün anlatan biri olsaymış küçük küçük şeyleri öğrenmek için günler ve haftalar harcamak zorunda kalmazmışım. Bu noktada kursun size sağlayacağı en büyük katkı hızdır. Aynı şeyleri mutlaka kendiniz farklı kaynaklardan araştırarak öğrenirsiniz ancak bu kadar hızlı ilerlemeniz mümkün olmaz. İkinci olarak kurs sonunda kendi kendinize öğrenme olgunluğuna erişeceksiniz. Özet olarak bu kurstan alacağınız en büyük iki kazanım; "hız" ve "kendi ayaklarının üzerinde durabilme" olacaktır.

Yılardır bu alanda Türkçe kaynak sorunu yaşadık, halen de yok değil. Ancak umarım bu kurs ile beraber daha başka güzel Türkçe kaynaklar üretilir ve bütün dünyanın yaygın olarak kullanmaya başladığı bu teknolojiyi gençlerimiz daha fazla geç kalmadan hızla öğrenirler.

Bu kurs özellikle büyük veri konusunda ilerlemek isteyenler için güzel bir başlangıç noktası. Kursu bitirdikten sonra kendi kendinize öğrenme ve kendinizi daha ileri seviyelere taşıma yeteneği kazanacağınızı umuyorum. Birçok şeyde olduğu gibi büyük veri konusunda da zor olan aşama ilk öğrenme aşamasıdır. Daha yerli bir tabirle "olaya girme" aşamasıdır. Olaya girdikten sonra emin olun kendi kendinize ilerlemeye başlayacaksınız. Burada öğrendiklerinizin çeşitli versiyonlarını kendiniz deneyecek, hata alacak, çözmeye çalışacak ve farkında olmadan bu alandaki yeteneklerinizi geliştireceksiniz. Hatırlıyorum da ilk zamanlarımda Spark ile Hive'dan veri alıp basit dönüşümler yaptıktan sonra tekrar Hive'a tablo olarak yazmıştım ve ne kadar büyük ve zor bir iş yaptım diye sevinmiştim. Şimdilerde ise o halime gülümsüyorum, çünkü bu tür operasyonlar artık bana çok kolay geliyor.

Kursa içerik eklemeye devam edeceğim. Bazı konulara özellikle fazla yer vermedim. Bunların başında da Apache Pig ve MapReduce geliyor. Ben şimdiye kadar çok MapReduce kullandım ancak hiç yazmadım. Zor bir iş. Zaten bu zorluktan dolayı Hive, Pig ve Tez çıkmış ortaya. Son olarak Spark'ın çıkmasıyla beraber MapReduce artık müzelik olma yolunda ilerliyor. Tez'in ortaya çıkmasıyla beraber artık Hive ve Pig, MapReduce kullanmak zorunluluğundan kurtuldu. Geriye Sqoop gibi daha az ve alternatifleri olan küçük bileşenler kalıyor. Ancak, MapReduce üzerinde çalışmasına rağmen Sqoop hala çok güzel bir araç onu kullanıyorum. O yüzden ona kursta yer verdim. 

Kursun hedef kitlesi başlangıç ve orta seviyeli kursiyerlerdir. Yeni başlayanların öğreneceği şeyler daha çok olamasına rağmen muhakkak orta ve ileri seviye kursiyerlerin de içinden öğreneceği bir çok şey çıkacaktır. 

Büyük veri dünyasının kapısında dikilen sizleri tebrik ediyor ve bu heyecan verici yolculukta başarılar diliyorum.

Kurs boyunca desteğimle ve çoğalan kurs içeriğimle sizlerle olacağım zaten.

Kursta görüşmek üzere... 

Who this course is for:
  • Büyük veri öğrenmek isteyenler
  • Büyük veriyi kısmen bilen ancak bu konuda teorik ve pratik yeteneklerini geliştirmek isteyenler
  • "Hadoop, büyük veriyi öğrenmeyi çok istiyorum ancak nereden başlayacağımı bilemiyorum." diyenler
  • "Hadoop ve büyük veriyi çok duydum ancak bir türlü elimi kirletemedim." diyenler
  • Büyük veri ve veri bilimleri alanında kariyerini ilerletmek isteyenler
  • Büyük veri yöneticisi, büyük veri mühendisi ve veri bilimci gibi pozisyonlarda iş arayışında olanlar
  • Büyük veri sertifika sınavlarına hazırlananlar
  • "Tezim/ödevim big data ile ilgili ancak bir türlü ortam kuramadım, başlayamadım, verimi büyük veriye atamadım ve analiz edemedim" diyenler
Course content
Expand all 58 lectures 10:39:03
+ Giriş
6 lectures 26:48
Eski Versiyon HDP Sandbox'a Erişim
00:20

Windows bilgisayar üzerine;

1. Sanallaştırma yazılımı Oracle Virtualbox

2. Hadoop'u içinde barındıran Hortonworks tarafından hazırlanan HDP Sandbox

3. Sandbox içinde bulunan CentOS6 Linux işletim sistemine komut satırından erişimi sağlayacak olan Putty 

4. Kişisel bilgisayarımız ile Sandbox içinde gelen CentOS6 linux işletim sistemi arasıda komut kullanmadan dosya kopyalama işlemlerini yapmamızı sağlayacak WinSCP 

kurulumları yapılacaktır.

Kişisel bilgisayarda hosts dosyası içine Sandbox'ın IP ve isim bilgileri girilecektir.

Putty kullanarak root kullanıcısı ile Sandbox'a erişilecektir. Erişim kullanıcı:root, parolası:hadoop 

Linux komut satırında root kullanıcısı ile Ambari admin kullanıcısının parolası sıfırlanacaktır. Bunun için ambari-admin-password-reset kullanılacaktır.

Preview 15:49
Sandbox Kapatma Tavsiye
00:10
IIS Hatası Çözümü
00:15
[Uygulamalı] Kurulumlar-2 (Vmware Sandbox Import)
06:44
+ Büyük Veri ve Hadoop Giriş
3 lectures 40:43

Bir veri setini tablo formatında Hadoop'a yükleme uygulaması;

1. Açık kaynaklı adult veri setini indirme link: https://www.veribilimi.co/data/data_set/adult.data

2. Hive web arayüzü kullanılarak veri setini tablo olarak kaydetme

3. Kaydedilen tablo üzerinde basit sorgulamalar yapma

[Uygulamalı] Hadoop'a Hive Tablosu Olarak Veri Yüklemek
07:18

1. Büyük veri ve ortaya çıkış sebepleri

2. Büyük veri kaynakları

3. Büyük veri ile başa çıkmanın zorlukları

4. Büyük veri kullanım alanları

5. Büyük verinin karakteristikleri

6. Veri artış tahmini ve kritik veri trendi

7. Büyük veri işlemede kullanılan donanımları anlama

8. Bir çok bilgisayarı birlikte kullanmanın zorlukları

9. Büyük veriyi doğuran sebepler ve onu işlemeyi kolaylaştıran gelişmeler

10.Büyük veri tanımı

11. Büyük veri ve büyük veri yeteneklerine sahip olmanın önemi

[Teorik] Büyük Veri Giriş
18:38

1. Hadoop temel özellikleri

2. Hadoop ve klasik sistem mimarisi karşılaştırma

3. Hadoop'un hataya karşı dayanıklılığı (fault tolerance) nasıl oluyor?

4. Hadoop nasıl dağıtık işleme yapar?

5. Hadoop ölçekleme (scaling)

6. Hadoop Ekosistemini oluşturan bileşenlerin özet tanıtımı

[Teorik] Hadoop Giriş
14:47
+ Hadoop Temel Bileşenler
6 lectures 01:12:28
[Teorik] Hadoop Distributed File System (HDFS)
12:36

1. Temel linux komutları: dizin değiştirme, bulunduğu dizini yazdırma, kullanıcıları listeleme

2. Home dizinleri tanıma: Linux home dizini ve hdfs home dizini karşılaştırma

3. Linux ve Hadoop'da superuser kavramı

4. Ambari FilesView arayüzünden kişisel bilgisayardaki bir veriyi Hadoop'a yükleme

5. Linux ve Hadoop dosya/dizin erişim yetkilerini düzenleme, dosya sahipliğini değiştirme

6. Hadoop hdfs'ten bir dosyayı komut ile silme

7.Hadoop hdfs komutları ile linux dosya sisteminden hdfs'e veri aktarma


[Uygulamalı] HDFS Uygulama
16:59
[Uygulamalı] HDFS Uygulama Ödev Cevabı
02:18

1. YARN nedir, ne işe yarar?

2. Hadoop-1 ve Hadoop-2, YARN Hadoop'a neler kazandırdı?

3. YARN üzerinde çalışabilen çatılar (Frameworks)

4. ResurceManageri NodeManager ve ApplicationMaster nedir?

5. Animasyon ile bir uygulamanın örnek YARN yolculuğu gösterimi

6. Capasity Scheduler ile kaynak tahsisi nasıl yapılır?

7. YARN Kuyruk mekanizması nasıl çalışır? Örnek bir YARN kuyruğu

8. Kullanıcı ve gruplar YARN kuyrupunda nasıl sıraya girer?

9. Kim ne kadar, ne zaman kaynak alabilir?

Preview 21:51

MapReduce nedir? Kuruyemiş sayma örneği

[Uygulamalı] Apache YARN
13:08
[Teorik] MapReduce
05:36

Bu testte Hadoop'un temel bileşenleri olan HDFS ve YARN ile ilgili temel bilgiler ölçülecektir. Cevaplamakta güçlük çektiğiniz sorular için eğitimin ilgili bölümlerine tekrar bakabilirsiniz.

Hadoop Temel Bileşenler Test
6 questions
+ Büyük Veri Sorgulama
5 lectures 55:30
[Teorik] Apache Hive
04:49

1. Hive'a komut satırından erişim

2. Ambari HiveView ile Hive kullanımı

3. Mysql veritabanına bağlanıp Hive metadata şemasını inceleme

4. Hive external table yaratma

5. Örnek HiveQL sorguları

[Uygulamalı] Apache Hive
20:12

Bu dersimizin amacı; Apache Tez'in var oluş amacı, ekosistemdeki yeri ve MapReduce ile farklılıklarını temel düzeyde anlamaktır.

[Teorik] Apache Tez
06:54

1. Presto Nedir?

2. Öne çıkan özellikleri

3. Presto kullanan firmalar

4. Presto mimarisi

5. Presto bileşenleri

6. Bir presto sorgusu nasıl çalışır?

7. Hadoop cluster üzerinde Presto

[Teorik] Presto Büyük Veri Sorgulama Motoru
09:00

1. Presto'nun Sandbox üzerine kurulumu

2. Presto ile Hive catalog üzerinde SQL sorguları

3. Kullanılan veri setleri: 

https://www.veribilimi.co/data/iris.csv

https://www.veribilimi.co/data/adult_dataset/adult.data

Kursun diğer bölümlerinde bu veri setlerini Hive'a tablo olarak aktarmamış iseniz bu uygulamadan önce aktarmanız uygun olur. Ancak bunu yapmanız zorrunlu değil,  Hive'da bulunan diğer örnek tablolar üzerinde de uygulamayı gerçekleştirebilirsiniz.

[Uygulamalı] Presto Büyük Veri Sorgulama Motoru
14:35
+ Durağan Veri Analizi
13 lectures 02:52:33

Bu eğitimde özetle;

1. Sandbox internet bağlantı kontrolü ve bağlantı ayarları,

2. Spark-shell açma ve hive tablosunu okuyarak dataframe oluşturma,

3. Spark sayfası ziyaret ve Spark Dataframe API'ye göz gezdirme,

4. Apache Zeppelin Notebook interpreter tanıtımı,

5. Zeppelin Notebook çalıştırma ve alınan hataların çözümü,

6. Zeppelin Notebook'ta Spark ile Hive tablosu okuyarak dataframe oluşturma,

7. Ambari arayüzünden bir servisi yeniden başlatmak,

konularına değinilmiştir.

[Uygulamalı] Spark-shell ve Zeppelin Notebook Giriş
18:30

1. Spark genel giriş,

2. Spark Stack,

3. Spark ile kullanılabilen programlama dilleri,

4. Spark çalışma modları,

5. Spark cluster nedir?

6. Spark uygulaması başlatma ve temel kavramlar



[Teorik] Spark Giriş
14:52
[Teorik] Spark Structured (Dataframe) API
11:04
[Uygulamalı] Spark Structured (Dataframe) API - 1
09:28
[Uygulamalı] Spark Structured (Dataframe) API - 2
08:13
[Uygulamalı] PySpark - 1
10:42
[Uygulamalı] PySpark - 2
12:13
[Uygulamalı] PySpark - 3
12:14
[Uygulamalı] Spark Low Level(RDD) API
10:48
[Teorik] Spark Makine Öğrenmesi Giriş
20:02
[Uygulamalı] Spark Makine Öğrenmesi Örnek Sınıflandırma Uygulaması Bölüm-1
11:00
Spark Test
6 questions
+ Veri Aktarımı
3 lectures 30:30
[Uygulamalı] Apache Sqoop Import
17:21
[Uygulamalı] Apache Sqoop Export
07:27
Sqoop Test
3 questions
+ Veri Akışı
6 lectures 01:18:51
[Teorik] Apache Kafka
21:30
[Uygulamalı] Apache Kafka
10:45

Hadoop ekosisteminde "veri akışını düzenleme ve otomatize etme platformu" olan Apache NiFi tanıtılmıştır.

[Teorik] Apache NiFi: Tanıtım
11:30

Sandbox üzerine Ambari'den ayrı olarak Apache NiFi kurulumu adım adım uygulamalı olarak icra edilmiştir.

[Uygulamalı] Apache NiFi: Kurulum
10:00
[Uygulamalı] Apache NiFi: Mysql'den Kafka'ya Veri Akışı Bölüm-1
13:47
Kafka Test
5 questions
+ Büyük Veri Yönetimi, Güvenlik ve Kod Geliştirme
10 lectures 01:29:20
[Gösteri] Çok Sunuculu Hadoop ve Ambari
13:25
[Teorik] Hadoop Güvenlik Giriş
13:52
[Uygulamalı] Apache Ranger ile Hive Erişim Yetkileri Düzenleme
08:18
[Uygulamalı] Apache Ranger ile Hive Erişim Yetkileri Düzenleme (Sütun Bazlı)
08:18
[Uygulamalı] Windows 10 Java8 Kurulumu
04:33
[Uygulamalı] Windows 10 Git Giriş ve Kurulum
09:01
[Uygulamalı] Windows 10 Apache Maven Kurulumu
04:37
[Uygulamalı] Windows 10 Spark Kurulum
09:48
[Uygulamalı] Windows 10 IntelliJ IDEA Kurulum
09:49
[Uygulamalı] IntelliJ IDEA ile Basit Bir Spark Uygulaması
07:39
+ Gerçek Zamanlı/Akan Veri İşleme
3 lectures 28:51
[Teorik] Gerçek Zamanlı/Akan Veri İşleme Giriş
12:17
[Teorik] Apache Storm Giriş
11:44
[Uygulamalı] Apache Spark Streaming ile stream içinde geçen kelimeleri sayma
04:50
+ Büyük Veri Tabanları
3 lectures 43:32

Consistency, Availability ve Partition-tolerance kavramlarından oluşan CAP Teoremi bir örnek üzerinden anlatılmıştır.

[Teorik] CAP Teoremi
12:36

1. HBase niçin gerekli ve ilişkisel veri tabanlarından farkları

2. Row-store ve column-store kavramları açıklama

3. HBase'in Hadoop Cluster üzerindeki yerleşim

4. HBase mimari bileşenleri ve görevleri

5. HBase veri modeli kavramlarının açıklanması

6. Bir tablonun HBase'de saklanışı

7. HBase erişim yöntemleri


[Teorik] Apache HBase
15:28

1. Ambari ara yüzünden HBase çalıştırma

2. HBase shell

3. Shell kullanarak tablo oluşturma, 

4. Put komutu ile tabloya veri ekleme

5. Scan komutu ile tablo okuma

6. Get komutu ile bir satırı okuma

7. Disable, drop komutları ile tablo silme

8. HDFS’den HBase tablosuna veri yükleme

[Uygulamalı] Apache HBase Uygulama
15:28