Derinlemesine Python 4 : AI Natural Language Processing

Bu eğitimde Python ile Artificial Ingelligence (Yapay Zeka) ve Natural Language Processing (Doğal Dil Süreçleme) anlatılmaktadır. NLTK , Spacy & Gensim gibi seçenekler de anlatılmaktadır. Corpus (Bütünce/Derlem), N-Grams (N-Basıçlar), Parts Of Speech (Sözcük Türleri), Bag of Words (Sözcük Torbası) gibi konular kapsanmaktadır. Yazı özelliklerinin sökülmesi gibi Machine Learning konuları da içerikte yer almaktadır. Skit-Learn, TensorFlow & Keras araçlarının yazı ile ilgili kesimleri açıklanmaktadır.

Eğitim, doğal dil süreçleme işlevlerini kapsadığı gibi yazı türü verilerin yapay zeka için hazırlanması anlamına gelen yazı özellik sökme (text feature extraction) konularını da içermektedir. Bir yönüyle yapay zekanın yazı türü veriler için uygulanması anlamında ileri bir konusu olarak işlev görmektedir.

NLTK ile konulara başlanmaktadır. Temel özelliklerden dizgecikleme (tokenization), süzme (filter), olağanlaştırma (normalization), eşanlamı (synonym) ve karşıtanlamlı (antonym), n-basıç (n-gram), sıklık dağılımı (frequency distribution) anlatılmaktadır.

İçerikte POS (Part of Speech - Sözcük Türleri) ile ilgili işlemler kapsanmaktadır. Ek olarak topaklama / chunking gibi konular anlatılmaktadır.

Bir Corpus (Bütünce/Derlem) oluşturma, kategorisiz (uncategorized) ve kategorili (categorized) kullanım, koşullu sıklık (conditional frequency) ve koşulsuz sıklık (uncondiontal frequency) gibi konular işlenmektedir. Buna ek olarak uyarlı bütünce / custom corpus oluşturulması da gösterilmektedir.

NLTK ile özelllik / feature elde edilmesi anlatılmaktadır. Sonrasında özellik takımları (feature sets) için gerek ikilik / binary gerekse sıklık / frequency ile çalışılması gösterilmektedir.

NLTK ile sınıflandırma / classification konusu işlenmektedir. Burada NLTK içinde bulıuna Naive Baesian gösterilmekte  ve tüm kökleşileme algoritmalarıyla işlemler anlatılmaktadır. NLTK ile SKLearn kütüphanesindeki sınıflandırıcıların kullanımı gösterilmektedir.

İçerikte NLTK içe bir proje koyulmuştur. İçinde en yaygınlar / top common bulma, kökleşileme / classification, BOW (Bag of Words - Sözcükler Torbası) , N-Grams (N-Basıçlar) konuları uygulamalı olarak gösterilmektedir.

NLTK dışında Spacy ile işlemler gösterilmektedir. Burada dizgecik / token, nesneler / objects, ayrıştırma / parsing ve görsellik / displacy gibi temel konular kapsanmaktadır. Sonrasında ileri konulardan eşleştirici / matcher kullanımı dizgecik / token; çağrılabilir / callable ve deyiş / phrase anlatılmaktadır. Son olarak ayrıştırma / parsing ve yöney / vector işlenmektedir.

İçeriğe NLTK dışındaki araçlardan Gensim de eklenmiştir. Burada sözlük / dictionary; BOW (Bag of Words - Sözcükler Torbası) ve TF*IDF (Adalgı Sıklığ * Evrik Belge Sıklığı) anlatılmaktadır. Gensim ile ileri konulardan Doc2Vec (Belgeden Yöneye) ve LDA (Latent Drichlet Allocation - Örtülü Driklet Yerayırması) işlenmektedir.

SKLearn adlı kütüphanede yazı / text işlemleriyle ilgili konular içeriğe koyulmuştur. Yöneyleyici (Vectorizer), SKLearn & NLTK Birlikte Kullanımı ve TF*IDF (Adalgı Sıklığ * Evrik Belge Sıklığı)  gibi konular bulunmaktadır. İleri konulardan Kökleşileyici (Classifier),  Boruyolu (Pipeline) ve Değerlendirme (Evaluation)  anlatılmaktadır.

İçerikte Tensorflow - Yazı Özellikleri (Text Features) & Sinir Ağı (Neural Network) yer almaktadır. Buradaki konular şunlardır: Yazı Yükleme (Text Loading),  Hazır Veritakımı Yükleme İşlevleri, Özyineleyen Sinir Ağı (Recurrent Neural Network - RNN) ve Önsüreçleme (Preprocessing).

Son bölümde Requests / İstekler adlı kütüphane kullanılarak kazıma / scraping işlemleri anlatılmaktadır. Burada HTTP üzerinden veri edinme (GET); HTML içerisindeki bağ (link) öğelerinin ayrıştırılması; emekleme / crawling ile bağlanarak içine girip o belgeleri de derinlemesine alma ve yerel bilgisayarda belli bir konuma indirme (downoad) işlemleri göstirilmektedir.

Eğitim tümüyle uygulamaları olarak yapılmaktadır. Kuramsal/Teorik konular yeri geldikçe, özet olarak verilmektedir. Python dilindeki betikliklerle yazı türü verilerle yapay zeka uygulamalarının nasıl geliştirildiği anlatılmakta; kullanılan algoritmaların nasıl geliştirildiği ve nasıl çalıştığı konusu, yalnızca onları kullanabilmek için gerektiği ölçüde anlatılmaktadır. Her yöntemin ya da algoritmanın çalışması kendi başına, bilgisayar bilimi ve matematiğin konusu olduğu için burada çok ayrıntılı olarak gösterilmemektedir.

Eğitimde Python dili ve Veri Bilimi (Data Science) en başından anlatılmamakta, temel düzeyde bilindiği var sayılmaktadır. Öte yandan bu konular yeri geldikçe uygulama olarak gösterildiği için, bu eğitimle Python ve Veri Bilimi bilgilerinin ilerletilmesi sağlanmaktadır. Bu nedenle, yapay zekayla ilgilenmeyenleri de Python dilini geliştirmek için bu eğitimi almalarını öneriyoruz. Başlardaki doğal dil süreçleme konuları için yapay zeka ya da makine öğrenmesi bilgileri gerekmese de son bölümde bu konulara girildiği için Machine Learning konusu, an azından temel düzeyde bilinmesi yararlı olur.

Eğitimdeki örnekleri GitHub sitesinde godoro-education kullanıcısı altında python-natural-language-processing adlı depoya katıldıktan sonra görebilirsiniz.