Hvordan bruger man proxy med cURL og wget?

Er du træt af at blive blokeret fra at få adgang til bestemte websteder eller tjenester?

Vil du omgå disse begrænsninger og få adgang til det indhold, du ønsker?

Hvis dit svar er ja, så kan du overveje at bruge en proxyserver via kommandolinjegrænsefladen ved hjælp af cURL- eller wget-værktøjer.

Lad os først se, hvad der præcist er proxy, og hvordan det virker.

Hvad er en proxyserver?

En proxyserver fungerer som mellemmand mellem din enhed (som din computer eller telefon) og internettet.

Når du vil have adgang til et websted eller en tjeneste, går din anmodning til proxyserveren først i stedet for direkte til destinationen.

Proxyserveren sender derefter din anmodning til destinationsserveren på dine vegne og modtager svaret tilbage fra destinationsserveren. Til sidst sender proxyserveren svaret tilbage til din enhed.

Det er lidt ligesom at have en personlig assistent, der tager sig af al kommunikation mellem dig og destinationsserveren.

Men hvorfor bruge en proxy-server i første omgang?

Nå, der er en række grunde.

Brug af en proxyserver kan hjælpe med at beskytte dit privatliv og din anonymitet. Når du opretter forbindelse til et websted eller en tjeneste via en proxyserver, er din IP-adresse skjult fra destinationsserveren. I stedet ser serveren kun proxy-IP-adressen. Dette kan gøre det sværere for websteder at spore dine onlineaktiviteter.

Og…

En anden grund til at bruge en proxyserver er at filtrere indhold. Dette kan være særligt nyttigt for organisationer, der ønsker at kontrollere eller begrænse adgangen til bestemte typer indhold.

Proxyservere kan konfigureres til at blokere adgang til bestemte websteder baseret på specifikke kriterier såsom søgeord eller URL-kategorier. Dette kan hjælpe med at sikre, at medarbejderne ikke får adgang til upassende eller distraherende websteder i arbejdstiden.

Hvis du vil kende de vigtigste forskelle mellem proxy og VPN, er du velkommen til at besøge denne artikel.

Hvordan bruger man en proxy med cURL?

cURL er et open source-kommandolinjeværktøj designet til at overføre data mellem servere, hvilket gør det til et go-to-valg for tekniske guider verden over. Takket være dens imponerende kompatibilitet med et omfattende udvalg af protokoller såsom HTTP, FTP og SMTP.

  Hvordan sletter man AWS ECR umærkede og ældre billeder?

Den kan håndtere selv de mest komplekse dataoverførselsopgaver med lethed. Derudover er dette innovative værktøj udstyret med en række sikre krypteringsmetoder, der hjælper med at holde data sikkert og sikkert under hele overførselsprocessen.

cURL er let tilgængelig til brug på de fleste operativsystemer. Hvis du opdager, at det ikke er installeret på dit system, skal du ikke bekymre dig – du kan nemt downloade det manuelt. Du skal blot følge nedenstående trin for at installere cURL og låse op for dets fulde potentiale.

Windows

  • Download den eksekverbare curl fra den officielle hjemmeside.
  • Udpak zip-filen til en mappe på din computer.
  • Tilføj mappestien til systemets PATH-miljøvariabel.

Mac OS

  • Åbn terminalapplikationen.
  • Installer Homebrew (hvis du ikke allerede har gjort det) ved at køre følgende kommando.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  • Installer nu cURL ved at køre følgende kommando.
brew install curl

Linux

På de fleste Linux-distributioner er cURL installeret som standard. I tilfælde af at den mangler, skal du installere den ved hjælp af pakkehåndteringen, der er specifik for din distribution.

For eksempel på Ubuntu eller Debian kan du installere cURL ved at køre følgende kommando.

sudo apt-get install curl

På CentOS eller Fedora kan du bruge nedenstående kommando.

sudo yum install curl

Når du har installeret cURL, kan du teste det ved at køre kommandoen “curl –version” i din terminal/kommandoprompt.

Lad os gå videre til vores hovedemne.

Du kan bruge en proxy med cURL ved at angive proxyserveren og portnummeret i cURL-kommandoen ved at bruge -x eller -proxy-indstillingen.

Her er en grundlæggende syntaks for en cURL-kommando, der bruger en proxy.

curl -x <proxy-server>:<port-number> <url>

Erstat med værtsnavnet eller IP-adressen på proxyserveren, med portnummeret, der bruges af proxyen, og med URL’en på webstedet eller API-slutpunktet, du vil have adgang til.

Her er et eksempel.

curl -x 5.189.184.6:80  ipinfo.io

Denne kommando sender en anmodning til ipinfo.io-webstedet via proxyserveren på 5.189.184.6 på port 80. Denne prøveproxyadresse har jeg taget fra den offentligt tilgængelige proxyliste. Du er velkommen til at besøge denne hjemmeside, hvis du leder efter en midlertidig proxy-adresse. Prøv på eget ansvar!☢️

Bemærk, at du nogle gange også skal give autentificeringsoplysninger til proxyserveren, i hvilket tilfælde du kan bruge “–proxy-user” og “–proxy-password” mulighederne til at inkludere dit brugernavn og din adgangskode. For eksempel:

curl -x  5.189.184.6:80 --proxy-user username:password  <target-url>

Erstat “brugernavn” og “adgangskode” med dine faktiske autentificeringsoplysninger for proxyserveren.

Test af proxyforbindelsen med cURL

Før du bruger proxy

  Hvad er Denuvo, og hvorfor hader spillere det?

Her kan du se, at cURL viser min originale IP-adresse og placering. Af sikkerhedsmæssige årsager var jeg nødt til at skjule min IP-adresse.

Efter at have brugt en proxy

Her viser cURL proxy-adressen i stedet for min oprindelige IP-adresse.

Hvordan bruger man proxy med wget?

wget er et kommandolinjeværktøj, der bruges til at downloade filer fra internettet. Den leveres forudinstalleret på de fleste Linux-, Unix- og macOS-systemer og er også tilgængelig til Windows.

For at installere wget på et Linux-system kan du bruge pakkehåndteringen til din distribution.

For eksempel på Debian eller Ubuntu kan du bruge følgende kommando:

sudo apt-get install wget

På CentOS eller Fedora

sudo yum install wget

På macOS kan du installere wget ved hjælp af Homebrew.

brew install wget

På Windows kan du installere wget ved at downloade den binære eksekverbare fra det officielle GNU-websted og tilføje den til din systemsti.

Når du har installeret wget, kan du bruge det til at downloade filer fra kommandolinjen ved at angive URL’en på den fil, du vil downloade. For eksempel, for at downloade en fil med navnet “example.zip” fra et websted, kan du bruge følgende kommando:

wget http://example.com/example.zip

Du kan også bruge yderligere muligheder til at tilpasse download, såsom at angive outputfilnavnet eller mappen, begrænse downloadhastigheden og genoptage afbrudte downloads. For at lære mere om de tilgængelige muligheder, er du velkommen til at bruge wget-manualen ved at skrive “man wget” i din terminal.

Lad os tage et dyk ned i konfigurationen af ​​proxy ved hjælp af denne wget.

Indstil først miljøvariablerne for proxyserveren ved at køre følgende kommando i terminalen.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Test om proxyserveren er korrekt konfigureret ved at køre følgende kommando:

wget <target-url>

Erstat med URL’en på den fil eller webside, du vil downloade ved hjælp af proxyserveren. Hvis kommandoen lykkes med at downloade filen eller websiden, er proxyserveren korrekt konfigureret. Hvis det mislykkes, skal du muligvis kontrollere dine proxyserverindstillinger og legitimationsoplysninger.

(Valgfrit) For at gøre proxyserverindstillingerne permanente, kan du tilføje miljøvariablerne til shell-profilfilen såsom ~/.bashrc eller ~/.bash_profile. Du kan tilføje følgende linjer i slutningen af ​​filen:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Hvis din proxyserver kræver godkendelse, kan du inkludere dit brugernavn og din adgangskode i variablerne “http_proxy” og “https_proxy environment”.

export http_proxy=http://<username>:<password>@<proxy_server>:<port>
export https_proxy=https://<username>:<password>@<proxy_server>:<port>

Bemærk: Nogle proxyservere kan bruge et andet protokolskema, såsom sokker i stedet for “http” eller “https”. I så fald skal du justere skemaet i overensstemmelse hermed i miljøvariablerne og URL’erne.

  A Vintage Atari er en fantastisk vejrterminal i 2020

Tester proxyforbindelse med wget

Før du bruger proxy

wget viser min originale IP-adresse, før jeg bruger en proxy-adresse. Af sikkerhedsmæssige årsager var jeg nødt til at skjule min IP-adresse.

Efter brug af proxy

Her kan du se, wget forsøger at oprette forbindelse til en proxy-server, før du får adgang til webstedet.

Fejlfinding af almindelige problemer

Brug af en proxyserver med cURL og wget kan nogle gange resultere i problemer. Frygt ikke, vi har nogle almindelige fejlfindingstip for at få dig tilbage på sporet!

#1. Proxyserver svarer ikke

Hvis din proxyserver ikke reagerer, kan den være nede eller have problemer. For at finde ud af, hvad der sker, prøv følgende.

  • Tjek, om proxyserveren er oppe ved at pinge serverens IP-adresse.
  • Sørg for, at du har indtastet den korrekte proxyserveradresse og portnummer.
  • Prøv at bruge en anden proxyserver for at se, om problemet fortsætter.

#2. Forbindelse nægtet

Åh, forbindelsen nægtet?

Det er ikke godt.

Denne fejl angiver typisk, at proxyserveren ikke accepterer forbindelser. Her er nogle trin til fejlfinding af dette problem:

  • Tjek først, om proxyserveren er konfigureret til at acceptere forbindelser fra din IP-adresse eller undernet.
  • Sørg for, at proxyserveren ikke blokeres af en firewall eller antivirussoftware.
  • Og derefter skal du kontrollere, om proxyserveren kræver godkendelsesoplysninger, og sørg for, at du har indtastet de korrekte legitimationsoplysninger.

Glem ikke at prøve en anden proxyserver, hvis ingen af ​​disse tips virker.

#3. SSL/TLS-certifikatbekræftelse mislykkedes

certifikatbekræftelse mislykkedes?

Det lyder som et problem med SSL/TLS-certifikatet på proxyserveren.

For at fejlfinde dette problem, prøv følgende:

  • Tjek proxyserverens certifikat for at sikre, at det er gyldigt og ikke er udløbet.
  • Hvis certifikatet er ugyldigt, skal du kontakte proxyserveradministratoren for at få et gyldigt SSL/TLS-certifikat.
  • Hvis certifikatet er gyldigt og stadig ikke virker. Du kan deaktivere SSL/TLS-certifikatbekræftelse, men vær forsigtig med, at det kan bringe din sikkerhed i fare.

#4. Godkendelse mislykkedes

Hvis proxyserveren kræver godkendelse, og du ikke er i stand til at godkende, er det sandsynligvis fordi du har indtastet det forkerte brugernavn og kodeord, eller proxyserveren bruger en anden godkendelsesmetode.

Prøv at justere dine autentificeringsoplysninger i overensstemmelse hermed, eller kontakt proxyserveradministratoren for at få hjælp.

Forfatterens note✍️

Der er mange gratis og betalte proxy-udbydere tilgængelige på internettet, men en anbefalet mulighed til kommerciel brug er IPRoyal. IPRoyal tilbyder en bred vifte af proxy-løsninger til virksomheder, herunder bolig- og datacenterproxyer med flere lokationer og IP-typer at vælge imellem.

Det giver pålidelige og sikre proxy-tjenester til forskellige brugssager, såsom web-skrabning, datamining og automatisering.

Jeg håber, at du fandt denne artikel nyttig til at lære om brug af proxy med cURL og wget kommandolinjeværktøjer. Du kan også være interesseret i at lære, hvordan du anonymiserer Linux-trafik ved hjælp af proxy-kæder og Tor-netværket.