Apache Kafka er en beskedstreamingtjeneste, der tillader forskellige applikationer i et distribueret system at kommunikere og dele data gennem beskeder.
Det fungerer som et pub/undersystem, hvor producentapplikationer udgiver beskeder, og forbrugersystemer abonnerer på dem.
Apache Kafka giver dig mulighed for at indføre en løst koblet arkitektur mellem de dele af dit system, der producerer og forbruger data. Dette gør det nemmere at designe og administrere systemet. Kafka er afhængig af Zookeeper til metadatastyring og synkronisering af forskellige elementer i klyngen.
Indholdsfortegnelse
Funktioner af Apache Kafka
Apache Kafka er blevet populær blandt andet for at være til
- Skalerbar gennem klynger og partitioner
- Hurtig i stand til at udføre 2 millioner skrivninger i sekundet
- Vedligeholder rækkefølgen, som beskeder sendes i
- Pålidelig gennem sit system af replikaer
- Den kan opgraderes uden nedetid
Lad os nu udforske nogle af de almindelige anvendelsestilfælde af Kafka.
Almindelige tilfælde af Apache Kafka
Kafka bruges ofte til at behandle big data, registrering og aggregering af hændelser såsom knapklik til analyser og kombination af logfiler fra forskellige dele af et system til én central placering.
Det hjælper med at muliggøre kommunikation mellem forskellige applikationer i et system og realtidsbehandling af data fra IoT-enheder.
Lad os nu tjekke de detaljerede trin for at installere Kafka på Windows og Linux.
Installation af Kafka på Windows
Tjek først, om Java er installeret på din maskine for at installere Apache Kafka på Windows. Åbn kommandoprompten i administratortilstand og indtast kommandoen:
java --version
Hvis Java er installeret, bør du få JDK-versionsnummeret installeret i øjeblikket.
Hvis du får en fejlmeddelelse om, at kommandoen ikke blev genkendt, var Java ikke installeret, og du skal installere Java. For at installere Java skal du gå til Adoptium.net og klikke på download-knappen.
Dette skulle downloade Java-installationsfilen. Når overførslen er færdig, skal du køre installationsprogrammet. Dette skulle åbne installationsprompten.
Tryk på Næste gentagne gange for at vælge standardindstillingerne. Installationen bør derefter begynde. Bekræft installationen ved at lukke kommandoprompten, genåbne en anden kommandoprompt i administratortilstand og indtaste kommandoen:
java --version
Denne gang skal du få den JDK-version, du lige har installeret. Når installationen er fuldført, kan vi begynde at installere Kafka.
For at installere Kafka skal du først gå til Kafka-webstedet.
Klik på linket, og det skulle føre dig til siden Downloads. Download de seneste tilgængelige binære filer.
Dette vil downloade Kafka-scripts og binære filer pakket i .tgz-fil. Efter download skal du udpakke filerne fra .tgz-arkivet. For at udtrække, vil jeg bruge WinZip, som kan downloades fra WinZip hjemmesiden.
Efter udpakning af filen skal du flytte den til C:, så filstien bliver C:kafka
Åbn derefter kommandoprompten i administratortilstand og start Zookeeper ved først at navigere til Kafka-biblioteket. Og kører zookeeper-server-start.bat filen med zookeeper.properties som konfigurationsfilen
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Når Zookeeper kører, skal vi tilføje den eksekverbare wmic-fil, som Kafka bruger i vores system PATH,
set PATH=C:WindowsSystem32wbem;%PATH%;
Start derefter Apache Kafka-serveren ved at åbne en anden kommandopromptsession i administratortilstand og navigere til C:kafka-mappen
cd C:kafka
Start derefter Kafka med at løbe
binwindowskafka-server-start.bat configserver.properties
Med dette burde Kafka løbe. Du kan tilpasse serveregenskaber, såsom hvor logfilerne er skrevet i server.properties-filen.
Installation af Kafka på Linux
Først skal du sikre dig, at dit system er opdateret ved at opdatere alle pakker
sudo apt update && sudo apt upgrade
Derefter skal du kontrollere, om Java er installeret på din maskine ved at køre
java --version
Hvis java er installeret, vil du se versionsnummeret. Men hvis det ikke er det, kan du installere det ved hjælp af apt.
sudo apt install default-jdk
Herefter kan vi installere Apache Kafka ved at downloade de binære filer fra hjemmesiden.
Åbn din terminal, og naviger til den mappe, hvor overførslen blev gemt. I mit tilfælde skal jeg navigere til mappen Downloads.
cd Downloads
Når du er i downloadmappen, skal du udpakke de downloadede filer ved hjælp af tar:
tar -xvzf kafka_2.13-3.3.1.tgz
Naviger til den udpakkede mappe
cd kafka_2.13-3.3.1.tgz
Liste over mapper og filer.
Når du er i mappen, skal du starte en Zookeeper-server ved at køre scriptet zookeeper-server-start.sh, der findes i bin-mappen i den udpakkede mappe.
Scriptet kræver en Zookeeper-konfigurationsfil. Standardfilen hedder zookeeper.properties og er placeret i config-undermappen.
Så for at starte serveren, brug kommandoen:
bin/zookeeper-server-start.sh config/zookeeper.properties
Når Zookeeper kører, kan vi starte Apache Kafka-serveren. Kafka-server-start.sh-scriptet er også placeret i bin-mappen. Kommandoen forventer også en konfigurationsfil. Standarden er server.properties gemt i konfigurationsfilen.
bin/kafka-server-start.sh config/server.properties
Dette burde få Apache Kafka til at køre. Inde i bin-biblioteket finder du mange scripts til at gøre ting som at oprette emner, administrere producenter og administrere forbrugere. Du kan også tilpasse serveregenskaber i filen server.properties.
Afsluttende ord
I denne guide gik vi igennem, hvordan du installerer Java og Apache Kafka. Mens du kan installere og administrere Kafka-klynger manuelt, kan du også bruge administrerede muligheder såsom Amazon Web Services og Confluent.
Dernæst kan du lære databehandling med Kafka og Spark.