Et paradigmeskifte inden for kunstig intelligens og maskinlæring

Federated repræsenterer et brud fra den traditionelle måde at indsamle data og træne maskinlæringsmodeller på.

Med fødereret læring drager udvikling af maskinlæring fordele af billigere uddannelse, der respekterer databeskyttelse. Denne artikel guider, hvad fødereret læring er, hvordan det fungerer, applikationer og rammer.

Hvad er Federated Learning?

Kilde: Wikipedia

Federated Learning er et skift i, hvordan maskinlæringsmodeller trænes. I de fleste maskinlæringsmodeller samles data i et centralt lager fra flere klienter. Fra dette centrale lager trænes maskinlæringsmodeller og bruges derefter til at lave forudsigelser. Federated Learning gør det modsatte. I stedet for at sende data til et centralt lager, træner klienter modeller på deres data. Dette hjælper dem med at holde deres private data private.

Læs også: Top Machine Learning-modeller forklaret

Hvordan fungerer fødereret læring?

Læring i fødereret læring omfatter en række atomare trin, der producerer en model. Disse trin kaldes læringsrunder. En typisk læringsopsætning gentager disse runder og forbedrer modellen ved hvert trin. Hver læringsrunde involverer følgende trin.

En typisk læringsrunde

Først vælger serveren den model, der skal trænes, og hyperparametre såsom antallet af runder, klientknudepunkter, der skal bruges, og andelen af ​​knudepunkter, der bruges ved hver knude. På dette tidspunkt initialiseres modellen også med de indledende parametre for at danne basismodellen.

Dernæst får kunderne kopier af en basismodel at træne. Disse klienter kan være mobile enheder, personlige computere eller servere. De træner modellen på deres lokale data og undgår dermed at dele følsomme data med serverne.

Når klienter har trænet modellen på deres lokale data, sender de den tilbage til serveren som en opdatering. Når den modtages af serveren, beregnes gennemsnittet af opdateringen sammen med opdateringer fra andre klienter for at skabe en ny basismodel. Da klienter kan være upålidelige, sender nogle klienter muligvis ikke deres opdateringer på dette tidspunkt. På dette tidspunkt vil serveren håndtere alle fejl.

Før basismodellen kan omplaceres, skal den testes. Serveren gemmer dog ikke data. For at teste modellen sendes den derfor tilbage til klienterne, hvor den testes mod deres lokale data. Hvis den er bedre end den tidligere basismodel, tages den i brug og bruges i stedet.

Her er en hjælpsom guide om, hvordan fødereret læring fungerer fra Federated Learning-teamet hos Google AI.

Centraliseret vs. Fødereret vs. Heterogen

I denne opsætning er der en central server, der er ansvarlig for at styre læringen. Denne type opsætning er kendt som Centralized Federated Learning.

Det modsatte af centraliseret læring ville være decentraliseret fødereret læring, hvor klienter koordinerer sig peer-to-peer.

Det andet setup hedder Heterogen Learning. I denne opsætning har klienter ikke nødvendigvis den samme globale modelarkitektur.

Fordele ved Federated Learning

• Den største fordel ved at bruge fødereret læring er, at det hjælper med at holde private data private. Klienter deler resultaterne af træningen, ikke de data, der bruges i træningen. Protokoller kan også sættes på plads for at aggregere resultater, så de ikke kan linkes til en bestemt klient.
• Det reducerer også netværksbåndbredden, da ingen data deles mellem klienten og serveren. I stedet udveksles modeller mellem klienten og serveren.
• Det reducerer også omkostningerne til træningsmodeller, da der ikke er behov for at købe dyrt træningshardware. I stedet gør udviklere brug af klientens hardware til at træne modeller. På grund af de få data, der er involveret, belaster det ikke klientens enhed.

Ulemper ved Federated Learning

• Denne model afhænger af deltagelse af mange forskellige noder. Nogle af dem er ikke kontrolleret af udvikleren. Derfor er deres tilgængelighed ikke garanteret. Dette gør træningshardwaren upålidelig.
• De klienter, som modeller trænes på, er ikke just kraftige GPU’er. I stedet er de normale enheder såsom telefoner. Disse enheder, selv samlet set, er muligvis ikke kraftige nok sammenlignet med GPU-klynger.
• Fødereret læring forudsætter også, at alle klientknudepunkter er troværdige og arbejder for det fælles bedste. Nogle kan dog ikke, og de kan udstede dårlige opdateringer for at forårsage modeldrift.

Anvendelser af Federated Learning

Federated Learning muliggør læring, samtidig med at privatlivets fred bevares. Dette er nyttigt i mange situationer, såsom:

• Forudsigelser om næste ord på smartphone-tastaturer.
• IoT-enheder, der kan træne modeller lokalt på de specifikke krav i den situation, de er i.
• Lægemiddel- og sundhedsindustrien.
• Forsvarsindustrien ville også drage fordel af træningsmodeller uden at dele følsomme data.

Rammer for fødereret læring

Der er mange rammer for implementering af Federated Learning-mønstre. Nogle af de bedste inkluderer NVFlare, FATE, Flower og PySft. Læs denne guide for en detaljeret sammenligning af de forskellige rammer, du kan bruge.

Konklusion

Denne artikel var en introduktion til Federated Learning, hvordan det fungerer, samt fordele og ulemper ved at implementere det. Derudover dækkede jeg også de populære applikationer og rammer brugt til at implementere Federated Learning i produktionen.

Læs derefter en artikel om de bedste MLOps-platforme for at træne dine Machine Learning-modeller.