Indholdsfortegnelse
Nøgle takeaways
- Google Gemini 1.5 introducerer et kontekstvindue på en million tokens, der overgår konkurrenter som Claude og ChatGPT.
- Et større kontekstvindue forbedrer en AI-models ydeevne og reducerer fejl, men garanterer muligvis ikke overordnet succes.
- Gemini 1.5’s større kontekstvindue kunne i høj grad forbedre nøjagtigheden, reducere fejl og forbedre forståelsen.
Google Gemini 1.5 kommer nu med et massivt kontekstvindue på en million tokens, hvilket overskygger dens direkte konkurrence i ChatGPT, Claude og andre AI-chatbots.
Det lyder som en massiv opgradering og kunne adskille Gemini. Det er lidt svært at forstå dets fulde omfang – men Geminis enorme kontekstvindue kunne være en game changer.
Hvad er et kontekstvindue?
Mens de svarer på dine forespørgsler, som at forklare et koncept eller opsummere en tekst, har AI-modeller en grænse for, hvor meget data de kan overveje for at generere et svar. Grænsen for den tekststørrelse, den kan overveje, kaldes et kontekstvindue.
Her er en anden måde at se det på. Lad os sige, at du går til en købmand for at få dagligvarer uden din indkøbsliste. Grænsen for, hvor mange dagligvarer du husker, når du handler, er dit kontekstvindue. Jo flere dagligvarer du kan huske, jo større er chancerne for ikke at ødelægge dine indkøbsplaner. På samme måde, jo større kontekstvinduet er for en AI-model, jo større er chancerne for, at modellen husker alt, hvad den skal bruge for at give dig de bedste resultater.
I skrivende stund er Anthropics Claude 2.1’s 200k kontekstvindue det største kontekstvindue af enhver almindeligt tilgængelig AI-model. Dette efterfølges af GPT-4 Turbo med et 128k kontekstvindue. Google Gemini 1.5 bringer et en million kontekstvindue, fire gange større end noget andet på markedet. Dette fører til det store spørgsmål: hvad er den store sag med et kontekstvindue på en million tokens?
Hvorfor Gemini 1.5’s kontekstvindue er en stor ting
For at sætte det i et klarere perspektiv betyder Claude AI’s 200k kontekstvindue, at den kan fordøje en bog på omkring 150.000 ord og give svar på den. Det er massivt. Men Googles Gemini 1.5 ville være i stand til at fordøje 700.000 ord ad gangen!
Når du fodrer en stor tekstblok ind i AI-chatbots som ChatGPT eller Gemini, forsøger den at fordøje så meget af teksten som muligt, men hvor meget den kan fordøje afhænger af dets kontekstvindue. Så hvis du har en samtale, der løber op i 100.000 ord på en model, der kun kan klare 28.000 og derefter begynder at stille spørgsmål, der kræver, at den har fuldstændig viden om hele samtalen på 100.000 ord, sætter du den op til at mislykkes.
Forestil dig, at du kun ser 20 minutter af en en time lang film, men bliver bedt om at forklare hele filmen. Hvor gode ville dine resultater være? Du nægter enten at svare eller finder på ting, hvilket er præcis, hvad en AI-chatbot ville gøre, hvilket fører til AI-hallucinationer.
Hvis du nu tænker, at du aldrig har skullet indlæse 100.000 ord i en chatbot, er det ikke hele overvejelsen. Kontekstvinduet overskrider kun den tekst, du feeder en AI-model i en enkelt prompt. AI-modeller overvejer hele den samtale, du har haft under en chatsession, for at sikre, at deres svar er så relevante som muligt.
Så selvom du ikke fodrer den med en 100.000 ordbog, tilføjer dine frem og tilbage samtaler og de svar, den giver, alt sammen beregningen af kontekstvinduet. Undrer du dig over, hvorfor ChatGPT eller Googles Gemini bliver ved med at glemme de ting, du har fortalt den tidligere i en samtale? Det løb sandsynligvis tør for kontekst af vinduesplads og begyndte at glemme ting.
Et større kontekstvindue er særligt vigtigt for opgaver, der kræver en dyb forståelse af konteksten, såsom at opsummere lange artikler, besvare komplekse spørgsmål eller opretholde en sammenhængende fortælling i den genererede tekst. Vil du skrive en roman på 50.000 ord, der har en konsekvent fortælling hele vejen igennem? Vil du have en model, der kan “se” og besvare spørgsmål på en en-times videofil? Du har brug for et større kontekstvindue!
Kort sagt kan Gemini 1.5’s større kontekstvindue forbedre ydeevnen af dens AI-model væsentligt, reducere hallucinationer og markant øge nøjagtigheden og evnen til at følge instruktionerne bedre.
Vil Gemini 1.5 leve op til forventningerne?
Hvis alt går som planlagt, kan Gemini 1.5 potentielt overgå de bedste AI-modeller på markedet. Men i betragtning af Googles mange fejl med at bygge en stabil AI-model, er det vigtigt at tage fejl af forsigtighed. At støde op i kontekstvinduet for en model alene gør ikke automatisk modellen bedre.
Jeg har brugt Claude 2.1’s 200k kontekstvindue i flere måneder siden dets udgivelse, og én ting står klart for mig – et større kontekstvindue kan faktisk forbedre kontekstfølsomheden, men problemer med kernemodellens ydeevne kan gøre større kontekst til et problem med dens egen.
Vil Google Gemini 1.5 give os en game-changer? Sociale medier er i øjeblikket fyldt med strålende anmeldelser af Gemini 1.5 fra brugere med tidlig adgang. De fleste 5-stjernede anmeldelser stammer dog fra forhastede eller forenklede brugssager. Et godt sted at tjekke, hvordan Gemini 1.5 ville klare sig i naturen, er inde i Googles Gemini 1.5 teknisk rapport [PDF]. Rapporten viser, at selv under “kontrolleret test” kunne modellen ikke hente alle de små detaljer i dokumenter inden for størrelsen af sit kontekstvindue.
Et en million tokens kontekstvindue er faktisk en imponerende teknisk bedrift, men uden at være i stand til at hente detaljerne i et dokument pålideligt, så er et større kontekstvindue af ringe praktisk værdi og kan endda blive en årsag til faldende nøjagtighed og hallucinationer.