Deep Learning A-Z™| Python ile Derin Öğrenme

Bir yapay sinir ağını matematiksel olarak modelleyebilmek için biyolojik yapısını iyi anlamak gerekir. Bir canlının sinir hücresindeki iletim aslında kimyasal ve elektriksel bir temele dayanmaktadır. Aslında bu sinir bilimi, matematik ve mühendisliğin kesiştiği harika noktadan yola çıkarak yapay bir sinir modelinin en basit haliyle oluşturulması hakkında bir ders.

Daha fazla detay isterseniz konuyla ilgili harika bir kitap:
Modelling Perception with Artificial Neural Networks

EDITORS:

• Colin R. Tosh, University of Leeds

• Graeme D. Ruxton, University of Glasgow

• ISBN: 9780521763950

Tek katmanlı algılayıcı çalışma prensibi, çözebildiği ve çözemediği problemler hakkında.

Bugün birçok modelin temeli olan çok katmanlı algılayıcılar (Multi-Layer Perceptron) çalışma presibi ve çoklu sınıf problemlerine genel yaklaşım nasıl olmalıdır.

Gözetimli (güdümlü - supervised) ve gözetimsiz (güdümsüz - unsupervised) öğrenme hakkında kısa bilgi.

Öğrendiğiniz ve öğreneceğiniz bilgiler ne tip problemlerin çözümü için kullanılabilir, temel örnekler.

Bir yapay sinir ağı modelinde öğrenme işlemi anlaşılması en güç kısımlardan biridir. Öğrenme nedir, nasıl gerçekleşir? Aktivasyon fonksiyonu dediğimiz matematiksel ifadenin öğrenme üzerindeki etkisi nedir? Bunları en basit haliyle anlatmaya çalıştım.

Geriye yayılım algoritması (backpropagation algorithm) insansa tecrübe ve edindiği deneyim gibi düşünülebilir. Tecrübelerimize göre bir sonraki adımımızı atarız. Yapay bir model de bunu yapabilir mi? Nasıl yapar?

Gelin biraz yapay sinir ağı modellerinin insansılığa ilk adımı olarak nitelendirilen geriye yayılım algoritmasını anlamaya çalışalım!

1.Matris Çarpımı
2. Başlangıç Koşullarını Neden Rastgele Seçmeliyiz?
3. Derin Sinir Ağları Neden Popüler Oldu?

Opsiyonel olan bu ders uygulamaya geçmeden önce küçük fakat önemli hatırlatma bilgileri içermektedir. Tadını çıkarın :)

Bu derste derin öğrenme çalışmalarımızı hangi çalışma ortamını kullanarak yapacağımızdan bahsettim. Ayrıca alternatif çalışma ortamları hakkında da bilgi bulabileceksiniz.

Sizin için bilgisayarınızın kapasitesinden bağımsız, kurulum konusunda sorun yaşamayacağınız ve doğrudan derin öğrenme modellerinizi geliştiştirebileceğiniz ücretsiz bir bulut servisi olan Google Colab çalışma ortamı olarak seçtim.

Programlama dili olarak Python kullanacağız, uygulamalarımızı TensorFlow ve Keras derin öğrenme kütüphanelerini kullanarak yapacağız. Bunun yanında gereken bir takım ek kütüphaneler hakkında da yeri geldikçe kurs kapsamında bahsedeceğim.

Dersin kaynaklarını lütfen inceleyiniz, sizin için faydalı olacağını düşündüğüm kaynaklarda dersi sürekli güncelliyor olacağım. Kolları sıvama vakti :)

GitHub'ta bulunan bir repoyu olduğu gibi Google Colab üzerine basitçe taşıyabilir ve Colab üzerinde çalışmalarınızı sürdürebilirsiniz. Derin Öğrenmeye Giriş kursu için de bu şekilde yaptığınızda parça parça dosya indirmenize gerek kalmadan drive'ınızda çalışma ortamınızı yaratmış olursunuz!  Bu kısa derste bu işlemi nasıl yapacağınızı anlatıyorum.

Veri biliminde ve makine öğrenmesi, derin öğrenme gibi konularda veri görselleştirme problemi anlamaya giden yolda ilk ve önemli bir adımdır. İkili sınıflandırma yapmak üzere çalışacağımız Titanic veri kümesinde öncelikle veri içeriğinde neler var anlamak için bir takım görselleştirme örneklerini bu ders içeriğinde bulabilirsiniz.

Ek kaynaklarını kullanarak kendinizi bu alanda da geliştirebilirsiniz.

Python dilinde Google Colab üzerinde direkt olarak nasıl çalışmaya başlayabilirsiniz. Temel olarak Python programlama dilinin yapısı ve bizim sık kullanacağımız Numpy kütüphanesi hakkında bilgiler.

Dersin kaynaklarında temel Python programlama dili hakkında ek kaynaklara ulaşabilirsiniz.

Titanic veri kümesi üzerinde temel bir sınıflandırma problemine bir yaklaşım yaparak çalışma ortamımıza ısınmaya başlayalım!

Derin öğrenme modeli geliştirme rehberinde aradığınız iyileştirme (optimizasyon) ve düzenleme (regularizasyon) yöntemlerinden bahsediyorum. Her biriyle ilgili pratik uygulama örnekleriyle ders zaman zaman güncellenecektir. 

• Temel fikir nedir?

• Derin öğrenme modeli tasarlarken sıklıkla karşılaşılan problemler nelerdir?

• Temel varsayımlar neler olmalıdır?

• Derin öğrenmede modelden bağımsız olarak başarımı artırma yolları nelerdir?

• Neden basit model seçmeliyiz?

• Açıklanabilirlik ve genelleştirilebilirlik nedir, neden önemlidir?

Dersin bu aşamasında veri kümeleriyle ilgili olan sorunlar ve çözümlerine değiniyorum:

• Dengesiz veri kümesi problemi

• Veri artırma (data augmentation)

• Sentetik veri üretme (synthetic data generation)

• Test / Geçerleme / Eğitim kümeleri nasıl seçilmelidir?

• Doğruluk değerlendirirken performans metriği nasıl seçilmeli?

• Öğrenmede optimizasyon nedir?

• Küçük-kümeleme yöntemi (mini-batch)

• Optimizasyon algoritması nasıl seçilmelidir?

• Aktivasyon fonksiyonu seçerken dikkat edilmesi gerekenler nelerdir?

• Sigmoid, hiperbolik tanjant, ReLU, leaky ReLU ve swish aktivasyon fonksiyonları karşılaştırması

• Eğitim tur sayısı (Epoch) nasıl belirlenir?

• Başlangıçta ağırlık değerleri nasıl seçilmeli ve ağırlık güncelleme stratejileri?

  
  

• Bias - Varyans ilişkisi nedir?

• Bias - Varyans optimizasyonu nasıl yapılır?

• Düğüm seyreltme (dropout) ne işe yarar?

• Gürültü ekleme nasıl işe yarar?

• Yoğun - Seyrek - Yoğun (dense-sparse-dense) eğitim nasıl çalışır?

• Aşırı uydurma (overfitting) ve az uydurma (underfitting) problemi nedir, nasıl önüne geçilir?

• Erken durdurma (early stopping) yöntemi kullanmaya nasıl karar verilir?

• Transfer Öğrenme ve Fine-Tuning ne işe yarar? Nasıl kullanabiliriz?

• Çoklu Öğrenme (Multi-Task Learning) nedir? Faydaları nelerdir?

Hatayı minimize edecek olan optimizasyon algoritmasına etki eden fonksiyonun parametrelerinin minimizasyonu nasıl etkilediğiyle ilgili dikkat çekici bir kaynak.

Keras kütüphanesini kullanarak veri artırmanın ne kadar kolay olabileceğiniz göstermeye çalıştım.

Tekil görüntüler için çoklu versiyonlar artırıp bunları bir dosyaya istediğiniz formatta nasıl kaydedebileceğinizi bu örnekle anlayabilirsiniz.

Web üzerinden CIFAR 10 veri kümesine rastgele 4 görüntü alıp bunlar üzerinde veri artırma tekniklerinin etkinin incelendiği bir örnektir. Daha kapsamlı versiyonuna kaynak kodları dosyasından ulaşabilirsiniz.

Evrişimli sinir ağları konusuna geçerken öncelikli olarak klasik sinir ağları ile derin sinir ağları arasındaki benzerlik ve farklılıklara dikkat çekerek bilgisayarlı görü konusuna doğru motivasyon niteliğinde bir giriş dersidir.

Derin sinir ağlarında ileri ve geri yayılım algoritmalarının çalışma şekli hakkında hem tekrar hem de gelecekteki derslere hazırlık niteliğindedir.

Bilgisayarlı görü nedir?

Evrişmli sinir ağı ile ilgisi nedir? 

Kullanım alanları nelerdir? 

Evrişimli sinir ağlarına teorik olarak giriş yapmadan önce öğreneceğiniz bilgilerin ne işe yarayacağına dair ipuçları.

Piksel artırma (padding) dediğimiz işlem görüntünün ya da öznitelik matrislerinin boyutlarının ayarlanması için önemli bir konudur. Bu derste neden ve nasıl piksel ekleme yapılır anlatıyorum!

Kaydırma adımı (stride) görüntülere uygulanan filtre çıkışlarının hassasiyetini doğrudan etkileyen bu hiper parametreyi neden ve nasıl uyguluyoruz, sonucunda ne elde ediyoruz öğrenelim.

Bir tür boyut azaltma adımı olan ortaklama (pooling) görüntülerden elde edilen özniteliklerde çok gerekli olmayacağını düşündüğümüz bilgileri azaltarak hesap yükümüzü azaltmayı amaçlamaktadır. Avantaj ve dezavantajları elbette vardır. Bakalım bu işlem nasıl yapılıyor!

Derin öğrenmeye doğru ilerledikçe özellikle bilgisayarlı görü konusunda tensor kavramıyla sürekli karşılaşacaksınız. Bu yüzden bu tanımı anlamak önemli ve üstelik çok basit! Çok kanallı evrişim işlemi yapmayı deneyelim.

Evrişim işlemi, kenar bulma, piksel ekleme, adım kaydırma ve ortaklama işlemlerinden sonra derin evrişimli sinir ağı modeli oluşturmadan önce kısa bir özet.

Bilgisayarlı görünün temeli olan evrişimli sinir ağı ile bir model nasıl tasarlanır? Derslerin en başlarında öğrendiğimiz yapay sinir ağları modeline nasıl da çok benzediğini göstermeye çalışıyorum.

Evrişimli sinir ağında katmanları oluşturma ve öğrenme işlemi nasıl gerçekleşiyor, kavramanıza destek olacak şekilde görselleştirdiğim bir ders.

Evrişim, adım kaydırma, piksel ekleme ve ortaklama işlemlerini ileri ve geriye yayılım işlemlerini kendi tanımlayacağınız fonksiyonlarla adım adım evrişimli bir sinir ağı katmanı oluşturmanız için hazırlanmış bir uygulamadır. Python dilinde Numpy kütüphanesi kullanılarak,GoogleColab üzerinde yazılmıştır. Hazırlamış olduğum .ipynb dosyasını github hesabımda bu ders için açtığım repo'da bulabilirsiniz. Ayrıca bu dersin kaynaklarında da .py olarak mevcut olacak. Kolaylıklar dilerim :)

1980'li yıllarda derin öğrenmenin temelleri atılmıştır demek yanlış olmaz. O yıllardan bu yana klasikleşmiş ve başarılı sonuçlarıyla ses getirmiş modellere değinelim.

• LeNet

• AlexNet

• VGG

Bilgisayarlı görünün temel taşlarından olan AlexNet modeline detaylı bir bakış.

Ders kaynağından makaleye ulaşabilirsiniz!

VGG-16

Basit bir ağ modeli olup öncesindeki modellerden en önemli farkı evrişim katmalarının 2’li ya da 3’li kullanılmasıdır. Tam bağlantı (FC) katmanında 7x7x512=4096 nöronlu bir öznitelik vektörüne dönüştürülür. İki FC katmanı çıkışında 1000 sınıflı softmax başarımı hesaplanır. Yaklaşık 138 milyon parametre hesabı yapılmaktadır. Diğer modellerde olduğu gibi girişten çıkışa doğru matrislerin yükseklik ve genişlik boyutları azalırken derinlik değeri (kanal sayısı) artmaktadır.

Modelin her evrişim katmanı çıkışında farklı ağırlıklara sahip filtreler hesaplanır ve katman sayısı artıkça filtrelerde oluşan öznitelikler görüntünün ‘derinliklerini’ simgelemektedir. 

Sınıflandırma dışında ilgi çekici bir uygulama da Artistik Stil Transferidir. Kursun bu dersinin kaynaklarında stil transferi ile ilgili hem video anlatımına hem de blog yazısına ulaşabilirsiniz!

0-9'a el yazısı rakamları tanıyan derin evrişimli sinir ağı ile derin öğrenme konusundaki ilk tanıma/sınıflandırma problemimizi çözelim :)

Ağ modelinin gerçek anlamda derinleşmeye başladığı kendinden önceki modellerden farklı bir mantığı barındıran ResNet; artık değerlerin (residual value) sonraki katmanlara besleyen blokların (residual block) modele eklenmesiyle oluşmaktadır. ResNet bu özelliği ile klasik bir model olmaktan çıkmaktadır. 

2013 yılında Min Lin ve arkadaşlarının “Network in Network” makalesi ile modellerdeki hesaplama karmaşıklığına yeni ve ses getiren bir çözüm önermiştir. Google, bu öneri sayesinde altın tepsiyle sunulan modeli hemen kullanmıştır ve başarıya ulaşmıştır. Hesaplamada esneklik sağlanmış ve başarımı artırmak için varyasyonlu modellerin tasarlanmasına olanak tanınmıştır.

Peki ağ içinde ağ ne demek? Birçok kişinin neden yapıldığını anlamamasına karşın son derece basit bir matematiktir: 1x1 evrişim işlemi!

Bu uygulamada eğitilmiş bir veri kümesini nasıl kullanabileceğinizi ve Kaggle üzerinden açık kaynak olarak paylaşılan etiketli insan yüz görüntülerinden yola çıkarak kendi test işlemlerinizi nasıl gerçekleştirebileceğinizi öğreneceksiniz.

Bu uygulamada iki farklı problem için hazırlanmış iki farklı veri kümesi ve iki farklı modelin eğitilmesi sonucu birlikte tek bir adımda kullanılması ile çözüme ulaşmayı öğreneceksiniz. Kendi test görüntüleriniz üzerinde deneyebileceksiniz. Duygu ve cinsiyet tanıma uygulamasını günlük hayatta nasıl ve nerelerde kullanabileceğiniz ile ilgili fikir de edineceksiniz.

Özyinelemeli Sinir Ağları (RNN), özellikle dizi olarak ifade edilen, doğal dil işleme, müzik üretimi, öngörücü bakım, medikal verilerin işlenmesi ve kestirimi, duygu analizi gibi bir çok kullanım alanına sahip ve çok eski bir yapay sinir ağı yaklaşımıdır. Kullanıldığı alana göre karşılaşılan problemlere çeşitli çözümler üreten alt konuları mevcuttur. Derin özyinelemeli sinir ağları da bu konuların içindedir. Dersin bu aşamasında önce RNN nedir, neden ve ne zaman tercih edilmelidir konusuna değindikten sonra motivasyon kazandırılması hedeflenmektedir. Ayrıca dersin bu aşamasında sizi destekleyebilecek kaynaklar da eklenmiştir.

RNN genel olarak nasıl modellenir, bilinen yapay sinir ağından farkı ve yaklaşımını nasıl olur temel seviye anlatımıdır.

Öyinelemeli sinir ağlarında ileri ve geri yayılım nasıl gerçekleşir?

Karşılaşılan problemler nelerdir?

Bu problemlere ilişkin çözüm yollarından bahsedilmektedir.

Bir dil modeli nasıl oluşturulur özetleyen bu derste kelime ve harf temelli dizi üretimi anlatılmaktadır.

Gradyanların yok olması yapay sinir ağlarında geriye yayılım sırasında oluşan ve sıklıkla karşılaşılan bir problemdir. Aynı şekilde RNN'de nasl gerçekleşir ve çözüm için nelere başvurmak gerekir bu derste bunlar incelenmektedir.

GRU gradyanların yok olması problemine çözüm olarak önerilen özyinelemeli sinir ağları modellerinden biridir.

Özyinelemeli sinir ağı modellerinin en bilinen ve eskilerinden olan Uzun-Kısa Vadeli Bellek (LSTM) konusuna GRU'dan farkına bakarak avantaj ve dezavantajlarının değerlendirilmesi.

Özellikle gelecekteki bilgilerin şuan ki duruma pozitif katkısı olacak durumlarda tercih edilen çift yönlü özyinelemeli sinir ağı modeli de sıklıkla kullanılan güçlü modellerden biridir.

Tüm özyinelemeli sinir ağı modellerini derin olarak tasarlamak mümkündür. Bunun için kullanılması gereken notasyon ve yapının anlatıldığı bir video.

GAN yani Üretici Çekişmeli Ağları kullarak sentetik veri üretme konulu dersin detaylı anlatımlı GitHub reposu eklendi!

https://github.com/ayyucekizrak/GAN_UreticiCekismeliAglar_ile_SentetikVeriUretme