Hvad er Zero Shot Learning, og hvordan kan det forbedre AI

Nøgle takeaways

• Generalisering er afgørende i dyb læring for at sikre præcise forudsigelser med nye data. Zero-shot learning hjælper med at opnå dette ved at tillade AI at bruge eksisterende viden til at lave præcise forudsigelser om nye eller usete klasser uden mærkede data.
• Zero-shot learning efterligner, hvordan mennesker lærer og behandler data. Ved at give yderligere semantisk information kan en præ-trænet model nøjagtigt identificere nye klasser, ligesom et menneske kan lære at identificere en hulkrop-guitar ved at forstå dens egenskaber.
• Zero-shot learning forbedrer AI ved at forbedre generalisering, skalerbarhed, reducere overfitting og være omkostningseffektiv. Det gør det muligt for modeller at blive trænet på større datasæt, få mere viden gennem transfer learning, have en bedre kontekstuel forståelse og reducere behovet for omfattende mærkede data. Efterhånden som kunstig intelligens udvikler sig, vil nul-skudslæring blive endnu vigtigere for at løse komplekse udfordringer på forskellige områder.

Et af de største mål med deep learning er at træne modeller, der har opnået generaliseret viden. Generalisering er afgørende, fordi det sikrer, at modellen har lært meningsfulde mønstre og kan foretage nøjagtige forudsigelser eller beslutninger, når den står over for nye eller usete data. Træning af sådanne modeller kræver ofte en betydelig mængde mærkede data. Sådanne data kan dog være dyre, arbejdskrævende og nogle gange umulige.

Zero-shot læring er implementeret for at bygge bro over dette hul, hvilket giver AI mulighed for at bruge sin eksisterende viden til at lave ret præcise forudsigelser på trods af manglen på mærkede data.

Hvad er Zero-Shot Learning?

Zero-shot learning er en specifik type overførselslæringsteknik. Den fokuserer på at bruge en præ-trænet model til at identificere nye eller aldrig før sete klasser blot ved at give ekstra information, der beskriver detaljerne i den nye klasse.

Ved at bruge en models generelle viden om bestemte emner og give den ekstra semantik om, hvad den skal kigge efter, burde den være i stand til ret præcist at udpege, hvilket emne den har til opgave at identificere.

Lad os sige, at vi skal identificere en zebra. Vi har dog ikke en model, der kan identificere sådanne dyr. Så vi får en allerede eksisterende model trænet til at identificere heste og fortælle modellen, at heste med sorte og hvide striber er zebraer. Når vi begynder at udlede modellen ved at levere billeder af zebraer og heste, er der en god chance for, at modellen vil identificere hvert dyr korrekt.

Som mange deep learning-teknikker efterligner zero-shot learning, hvordan mennesker lærer og behandler data. Mennesker er kendt for at være naturlige nul-skudslærere. Hvis du fik til opgave at finde en hulkrop-guitar i en musikbutik, kan du have problemer med at lede efter en. Men når jeg først fortæller dig, at en hul krop dybest set er en guitar med et f-formet hul på den ene eller begge sider, vil du sikkert finde en med det samme.

For et eksempel fra den virkelige verden, lad os bruge nul-skuds klassificeringsappen fra open source LLM-hosting-webstedet Hugging Face ved hjælp af clip-vit-large-modellen.

Dette foto portrætterer et billede af brød i en indkøbspose fastspændt på en høj stol. Da modellen blev trænet på et stort datasæt af billeder, kan modellen sandsynligvis identificere hvert enkelt element på billedet, såsom brød, dagligvarer, stole og sikkerhedsseler.

Nu vil vi have modellen til at klassificere billedet ved hjælp af tidligere usete klasser. I dette tilfælde ville romanen eller de usete klasser være “Afslappet brød”, “Sikkert brød”, “Siddende brød”, “Køre købmand” og “Sikker købmand.”

Bemærk, at vi med vilje har brugt usædvanlige usete klasser og billeder til at demonstrere effektiviteten af ​​nul-shot-klassificering på et billede.

Efter at have udledt modellen, var den i stand til at klassificere med omkring 80 % sikkerhed, at den mest passende klassificering for billedet var “Safe Bread”. Dette skyldes sandsynligvis, at modellen mener, at en høj stol er mere for sikkerheden end at sidde, slappe af eller køre bil.

Fantastisk! Jeg er personligt enig i modellens output. Men hvordan kom modellen helt præcist frem til et sådant output? Her er et generelt bud på, hvordan nul-skudslæring fungerer.

Sådan fungerer Zero-Shot Learning

Zero-shot learning kan hjælpe en præ-trænet model med at identificere nye klasser uden at levere mærkede data. I sin enkleste form udføres nul-skudslæring i tre trin:

1. Forberedelse

Zero-shot læring starter med at forberede tre typer data

• Set klasse: Data brugt til træning af den præ-trænede model. Modellen giver allerede set klasser. De bedste modeller til nul-skudslæring er modeller, der er trænet i klasser, der er tæt relateret til den nye klasse, du ønsker, at modellen skal identificere.
• Unseen/Novel Class: Data, der aldrig blev brugt under træningen af ​​modellen. Du bliver nødt til selv at kurere disse data, da du ikke kan få dette fra modellen.
• Semantiske/hjælpedata: Ekstra datastykker, der kan hjælpe modellen med at identificere den nye klasse. Dette kan være i ord, sætninger, ordindlejringer eller klassenavne.

2. Semantisk kortlægning

Det næste trin er at kortlægge funktionerne i den usete klasse. Dette gøres ved at skabe ordindlejringer og lave et semantisk kort, der forbinder den usete klasses attributter eller karakteristika til de angivne hjælpedata. AI-overførselslæring gør processen meget hurtigere, da mange attributter relateret til den usete klasse allerede er blevet kortlagt.

3. Inferencing

Inferencing er brugen af ​​modellen til at generere forudsigelser eller output. I nul-shot billedklassificering genereres ordindlejringer på det givne billedinput og plottes derefter og sammenlignes med hjælpedataene. Sikkerhedsniveauet vil afhænge af ligheden mellem input og hjælpedata.

Hvordan Zero-Shot Learning forbedrer AI

Zero-shot learning forbedrer AI-modeller ved at løse flere udfordringer inden for maskinlæring, herunder:

• Forbedret generalisering: Ved at reducere afhængigheden af ​​mærkede data kan modeller trænes i større datasæt, hvilket forbedrer generaliseringen og gør modellen mere robust og pålidelig. Efterhånden som modeller bliver mere erfarne og generaliserede, kan det endda være muligt for modeller at lære sund fornuft frem for den typiske måde at analysere information på.
• Skalerbarhed: Modeller kan løbende trænes og få mere viden gennem overførselslæring. Virksomheder og uafhængige forskere kan løbende forbedre deres modeller for at være dygtigere i fremtiden.
• Reduceret chance for overfitting: Overfitting kan ske på grund af, at modellen trænes på et lille datasæt, der ikke indeholder nok variation til at repræsentere alle mulige input. Træning af modellen gennem nul-skudslæring reducerer chancerne for overfitting ved at træne modellen til at få en bedre kontekstuel forståelse af emner.
• Omkostningseffektiv: At levere en stor mængde mærkede data kan tage tid og ressourcer. Ved at bruge nul-skuds overførselslæring kan træning af en robust model udføres med meget mindre tid og mærkede data.

Efterhånden som AI udvikler sig, vil teknikker som nul-skudslæring blive endnu vigtigere.

Fremtiden for Zero-Shot Learning

Zero-shot learning er blevet en væsentlig del af maskinlæring. Det gør det muligt for modeller at genkende og klassificere nye klasser uden eksplicit træning. Med løbende fremskridt inden for modelarkitekturer, egenskabsbaserede tilgange og multimodal integration, kan nul-skudslæring markant hjælpe med at gøre modellerne meget mere tilpasningsdygtige til at håndtere komplekse udfordringer inden for robotteknologi, sundhedspleje og computersyn.