Apache Kafka. Əsasları və Data Prosesslər üçün Kafka Streams

Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications.

Bəli, mən məhz Kafkanı öz rəsmi saytında olduğu kimi təqdim etdim. Ancaq Kafkanı rəsmi dokumentasiyadan dərin öyrənmək o qədər də asan deyil. Bu səbəbdən qərar verdim ki, öz təcrübələrim əsasında bu kursu hazırlayım.
Kurs boyu müxtəlif problemlərə toxunmuşam və teoriya-praktika yanaşması ilə kursu darıxdırıcı etməmişəm.

Belə ki, kurs boyu Consumer Group -un daxilən necə işlədiyini, öz xüsusi partitioner -larımız yaratmaqla daha yüksək performansa çatmağı oyrənəcəyik. Həmçinin, mesajların çatdırılma semantikalarına yaxından baxacayıq. Çünki Streamin processing-də ən böyük problem və eyni anda ən vacib amil, mesajlarda duplikatlara yol verməmək və həmçinin mesajların itirilməsinin qarşısını almaqdır.

Ümumiyyətlə kurs 2 hissədən ibarətdir. Kafkanın əsasları və Kafka Streaming. Adətən bu 2 mövzu özləri ayrı bir mövzudur. Qərara aldım ki, bu 2 kursu 1 kurs şəklində sizə təqdim edim.

2ci hissədə Kafka Streams API ilə tanış olacayıq. KStream nümunəyə baxacayıq, stateless və statefull operation-larla işləyəcəyik. terminal və intermediate stream funksiyaların nə olduğunu öyrənəcəyik və State -lərdən istifadə edəcəyik.
Həmçinin KTable -ilə KStream fərqinə, nə zaman KTable istifadə edilməlidi və GlobalKTable -in nə olduğunu öyrənəcəyik.

Kursun sonunda, siz artıq partitionlardan necə istifadə etmək lazım olduğunu, böyük dataların ani anda necə filtirlənməyini oyrənəcəksiz. Nümunə kimi isə Tranzaksiya based strams application -a baxacayıq.