Indholdsfortegnelse
Sådan installeres Apache Kafka på Ubuntu 20.04
Apache Kafka er en distribueret streamingplatform, der er designet til at håndtere store mængder data i realtid. Kafka er et populært valg til applikationer, der kræver pålidelig og skalerbar databehandlingsmuligheder. I denne vejledning vil vi guide dig gennem den trinvise proces til at installere Apache Kafka på Ubuntu 20.04.
Introduktion
Apache Kafka er en åben kildekode-streamingsoftware, der oprindeligt blev udviklet af LinkedIn. Siden da er Kafka blevet vedtaget af en lang række virksomheder, herunder Google, Apple og Amazon. Kafka er baseret på en distribueret arkitektur, der gør det muligt for det at håndtere store datamængder med lav latens og høj gennemløb.
Kafka er designet til at være skalerbar, fejltolerant og i stand til at håndtere en bred vifte af datatyper, herunder tekst, binære data og JSON. Det bruges ofte til at bygge realtidsdatabehandlingssystemer, såsom streaminganalyser, maskinlæring og IoT-løsninger.
Forudsætninger
Før du installerer Apache Kafka, skal du sørge for, at din Ubuntu 20.04-server opfylder følgende forudsætninger:
* Mindst 2 GB RAM
* Mindst 50 GB ledig diskplads
* Et domænenavn eller en offentlig IP-adresse
* En firewall, der muliggør indkommende forbindelser på TCP-porte 9092 og 9093
Installation
1. Opdater systempakker
Først skal du opdatere dine systempakker ved at køre følgende kommando:
sudo apt update
2. Installer Java
Kafka kræver Java til at fungere. Installer Java ved at køre følgende kommando:
sudo apt install openjdk-11-jdk
3. Opret en bruger til Kafka
Opret en dedikeret bruger til at køre Kafka-tjenesten:
sudo adduser --system --group kafka
4. Download Kafka
Download den seneste stabile version af Apache Kafka fra den officielle hjemmeside:
wget https://downloads.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
5. Pak Kafka ud
Pak den downloadede Kafka-komprimerede fil ud:
tar -xzvf kafka_2.13-3.1.0.tgz
6. Flyt Kafka-mappen
Flyt den udpakkede Kafka-mappe til /opt-biblioteket:
sudo mv kafka_2.13-3.1.0 /opt/kafka
7. Konfigurer miljøvariabler
Tilføj Kafka-bibliotekstien til din miljøvariabel:
echo 'export PATH=$PATH:/opt/kafka/bin' | sudo tee -a /etc/profile
source /etc/profile
8. Opret en Kafka-tjeneste
Opret en systemd-tjenestefil for Kafka:
sudo nano /etc/systemd/system/kafka.service
Og tilføj følgende indhold:
[Unit]
Description=Apache Kafka
After=network.target
[Service]
Type=simple
User=kafka
Group=kafka
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abort
[Install]
WantedBy=multi-user.target
9. Start Kafka-tjenesten
Start Kafka-tjenesten:
sudo systemctl start kafka
10. Kontroller Kafka-status
Kontroller, om Kafka-tjenesten kører:
sudo systemctl status kafka
Konfiguration
1. Konfigurer firewallen
Tillad indkommende forbindelser på TCP-porte 9092 og 9093:
sudo ufw allow 9092/tcp
sudo ufw allow 9093/tcp
2. Konfigurer server.properties
Kafka-konfigurationsfilen er placeret i /opt/kafka/config/server.properties. Du kan redigere denne fil for at justere Kafka-indstillingerne efter dit behov.
Test Kafka
1. Opret et emne
Opret et Kafka-emne med navnet “test” ved hjælp af kommandoen kafka-topics:
kafka-topics --create --topic test --partitions 1 --replication-factor 1
2. Producer data
Producer data til emnet “test” ved hjælp af kafka-console-producer:
kafka-console-producer --topic test --message "Hello Kafka!"
3. Consumer data
Consumer data fra emnet “test” ved hjælp af kafka-console-consumer:
kafka-console-consumer --topic test --from-beginning
Konklusion
I denne vejledning har vi taget dig gennem en trinvis proces for at installere og konfigurere Apache Kafka på Ubuntu 20.04. Apache Kafka er et kraftfuldt værktøj til behandling af store data i realtid. Ved at følge de trin, der er beskrevet i denne vejledning, kan du nu drage fordel af Kafka’s funktioner til at bygge skalerbare og pålidelige databehandlingsløsninger.
Ofte stillede spørgsmål (FAQs)
1. Hvad er Apache Kafka?
Apache Kafka er en distribueret streamingplatform designet til at håndtere store mængder data i realtid.
2. Hvorfor skal jeg bruge Apache Kafka?
Kafka er et godt valg til applikationer, der kræver pålidelig og skalerbar databehandling, såsom realtidsanalyser, maskinlæring og IoT-løsninger.
3. Hvilke forudsætninger er nødvendige for at installere Kafka?
Du skal have en Ubuntu 20.04-server med mindst 2 GB RAM og 50 GB ledig diskplads.
4. Hvordan opretter jeg et Kafka-emne?
Du kan oprette et Kafka-emne ved hjælp af kommandoen kafka-topics.
5. Hvordan producerer jeg data til et Kafka-emne?
Du kan producere data til et Kafka-emne ved hjælp af kommandoen kafka-console-producer.
6. Hvordan consumer jeg data fra et Kafka-emne?
Du kan consumer data fra et Kafka-emne ved hjælp af kommandoen kafka-console-consumer.
7. Hvordan konfigurerer jeg Kafka?
Du kan konfigurere Kafka ved at redigere konfigurationsfilen server.properties.
8. Hvilke sikkerhedsforanstaltninger kan jeg implementere med Kafka?
Kafka understøtter forskellige sikkerhedsfunktioner, såsom TLS-kryptering, SASL-godkendelse og Access Control Lists (ACL’er).
9. Hvilken version af Java skal jeg bruge med Kafka?
Kafka kræver Java 8 eller senere.
10. Hvilke ressourcer er tilgængelige for at lære mere om Kafka?
Der er mange dokumentationsressourcer, tutorials og eksempler tilgængelige på den officielle Apache Kafka-hjemmeside.