Indholdsfortegnelse
Nøgle takeaways
- Le Chat, en AI-chatbot fra Mistral AI, viser løfte, men halter bagefter ChatGPT med hensyn til kreativitet og programmeringsevner.
- Le Chats kodningsevner er ringere end ChatGPT, fejler grundlæggende opgaver, men den udmærker sig ved sund fornuft ræsonnement.
- Selvom Le Chat kan have potentiale, har det brug for yderligere forfining, før det konkurrerer med top AI-chatbots som ChatGPT.
Mistrals Le Chat har vundet indpas i AI-chatbot-fællesskabet, hvor nogle iagttagere mærker den som en potentiel rival til ChatGPT.
Men er denne spæde AI-chatbot virkelig titlen værd? Er Mistral’s Le Chat bedre end ChatGPT?
Hvad er Mistral AI’s Le Chat?
Le Chat er en samtale-AI-chatbot udviklet af den franske AI-startup Mistral AI. Den er drevet af flere Mistral-ejede store sprogmodeller, inklusive Mistral Large, Mistral Small og Mistral Next, som du alle kan vælge at bruge, når du interagerer med AI-chatbot. Selvom det er en relativt ny deltager i AI-chatbot-området, bliver den vurderet højt på grund af ydeevnen af dens AI-modeller på trods af deres mindre størrelse sammenlignet med industriens sværvægtere som Gemini og GPT-4.
For at forstå, hvad dette betyder, skal du forestille dig, at du leger med byggeklodser. Jo flere blokke du har, jo mere komplekse og detaljerede strukturer kan du bygge, ikke? AI Language-modeller er lidt sådan. De kommer i størrelser, normalt udtrykt i parameterantal. Så du har måske hørt udtryk som “7B-parametre” eller “70B-parametre” i AI-modeller. Parameterantallet svarer til antallet af byggeklodser, som modellen skal forstå og generere svar. Så hvis en sprogmodel har flere parametre, kan den forstå og generere mere komplekse og bedre svar.
Nu, mens GPT-4 har anslået 1,76 billioner parametre, anslås Mistral AI’er at have mellem 7 og 56 milliarder parametre. Kan du se størrelsesforskellen? Så Mistral AI’s evne til at levere anstændig ydeevne er en af grundene til hypen.
Selvom Le Chat ikke nyder niveauet af omtale, som ChatGPT nyder, eller brand equity hos folk som Gemini, har det arbejdet sig ind i samtalen, hver gang en potentiel ChatGPT-konkurrence diskuteres. Men fortjener den en plads på bordet?
Jeg har undret mig over det samme, og for at finde ud af det testede jeg Le Chat grundigt for at se, hvordan det kan sammenlignes med ChatGPT.
Le Chat vs. ChatGPT: Kreativitet
Kreativitet er en af de vigtigste målinger til at bedømme ydeevnen af en samtale-AI-chatbot. Husk, formålet med en AI-chatbot er at replikere eller efterligne menneskers samtaleevner og kreative flair i stor skala. Dette gør kreativitet til en meget vigtig styrke for enhver AI-chatbot. Verden har eksperimenteret med ChatGPT i over et år, og dens kreative evner er ubestridelige. Men hvordan sammenligner Le Chat sig? Vi satte begge chatbots til en række kreativitetstests.
Jeg startede med at spørge begge chatbots: “Hvordan vil du beskrive dig selv for en kunstner?” at teste deres evne til at bruge kreative og fantasifulde ord til at konceptualisere sig selv.
Sådan vil ChatGPT beskrive sig selv for en kunstner:
Og her er hvordan Le Chat også ville beskrive sig selv:
Begge svar var passende på hver deres unikke måde. ChatGPT var mere investeret i at bruge levende billeder og metaforer til at beskrive sig selv, hvilket demonstrerede kreativ flair. På den anden side er Le Chats svar meget informativt og fokuseret på at beskrive dets essens som en AI-chatbot. Nogle vil måske sige, at det mangler den kreative flair og kunstneriske tilgang, som ChatGPTs svar udviser. Jeg vil dog gå ud og sige, at jeg foretrækker Le Chats lettere at forestille sig svar på ChatGPTs abstrakte beskrivelse.
Jeg bad derefter ChatGPT og Le Chat om at skrive en rapsang om at blive rig af at dyrke agurker – en vanskelig anmodning, vi har brugt til at teste kreativiteten i andre chatbots. Hvor mange rapsange kan du finde om agurker på nettet?
Her er ChatGPTs svar:
Og her er Le Chats svar:
Det kan være et subjektivt problem, men ChatGPTs svar virkede som den bedre mulighed her. Le Chats tekster virkede ret ordrige og læste ikke rigtig som noget, en rapper ville udgive. For at teste, hvordan begge tekster ville lyde, hvis de skulle laves om til musik, brugte vi Suno AI-musikgenerator til at generere musik ud fra teksterne. Tre ud af tre forsøg lød ChatGPTs tekster meget bedre. Nedenfor er to eksempler fra begge AI-chatbots, du kan bedømme, hvilken chatbot der klarede sig bedre.
Prøver genereret fra ChatGPT’s sangtekster
Eksempel 1:
Eksempel 2:
Prøver genereret fra Mistral Le Chats tekster
Eksempel 1:
Eksempel 2:
Jeg prøvede et par andre kreative opgaver, såsom digte, artikelskrivning og udarbejdelse af vanskelige arbejdsmails med AI-chatbots. På trods af at han viste stort løfte, blev Le Chat klart overgået af ChatGPT i alle tilfælde. Det er vigtigt at påpege, at et område, Le Chat var særlig stærk på, var at lave artikler, dog med nogle vanskelige stilarter. Men hvad angår kreativitet, går medaljen til ChatGPT.
Le Chat vs. ChatGPT: Programmeringsfærdigheder
Færdighed i kodning er blevet et nøglekrav for store AI-chatbots. At skrive anstændig kode er en grundlæggende færdighed, men for virkelig at skille sig ud blandt eliten skal en AI-chatbot demonstrere sin dygtighed til at lave kode, der effektivt kan løse en bred vifte af komplekse problemer. Vi har tidligere bygget en hel webapp fra bunden ved hjælp af ChatGPT, som demonstrerer dens bemærkelsesværdige evner som et programmeringsværktøj. Men hvor god er Le Chat til at skrive kode?
Jeg gav begge chatbots til opgave at skrive en simpel opgaveliste-app ved hjælp af CSS, HTML og JavaScript. ChatGPT havde ingen problemer med at producere gode resultater. Jeg kopierede den genererede kode og viste den i en browser, og her er, hvad ChatGPT oprettede:
Hver gang vi gentog prompten, oprettede ChatGPT en funktionel to-do liste-app ved hjælp af forskellige stilarter. I intet tilfælde virkede den genererede kode ikke.
Da jeg prøvede den samme prompt med Le Chat, genererede den, hvad der så ud til at være forståelig kode, men da vi prøvede at køre den på en browser, fungerede den ikke. Efter at have gentaget prompten tre gange, producerede ingen forekomst kode, der kunne fuldføre den indstillede opgave. Det mislykkedes i en af de mest grundlæggende kodningsopgaver – rødt flag!
Selvfølgelig vil jeg ikke dømme Le Chat på én mislykket test. Dernæst bad jeg begge chatbots om at generere JavaScript og PHP-kode til kryptering og dekryptering af tekst. I denne anden test producerede både ChatGPT og Le Chat funktionel kode, der kunne udføre den indstillede opgave. Le Chats version virkede dog som det, en uerfaren programmør på begynderniveau ville skrive. ChatGPTs kode var derimod mere komplet og så ud som om den var skrevet af en erfaren programmør.
Jeg gentog et par flere programmeringstests, der involverede at finde og rette fejl, og ChatGPT klarede sig konsekvent bedre end Le Chat. I nogle tilfælde vidste Le Chat ikke engang, hvad den skulle gøre. Der er en god chance for, at Le Chat kan måle sig med ChatGPT på nogle områder, men kodningsfærdigheder ser ikke ud til at være en af dem.
Le Chat vs. ChatGPT: Sund fornuft og logisk ræsonnement
Et interessant twist med AI-chatbots er deres evne til at løse komplekse opgaver med lethed, men fejler simple opgaver, der kræver grundlæggende sund fornuft at fuldføre. Mange chatbots, både etablerede som ChatGPT og nye deltagere som Le Chat, kæmper, når det kommer til at løse opgaver, der kræver menneskelig sund fornuft og logisk ræsonnement. Så hvordan sammenligner Le Chat og ChatGPT på denne front?
Jeg spurgte begge chatbots: “Hvis du har en 3-liters flaske og en 5-liters flaske. Hvordan kan du måle 4 liter vand ved at bruge 3-liters og 5-liters flaskerne?”
ChatGPT løste problemet med flair:
Le Chat prøvede den samme opgave og var i stand til at løse problemet, selvom han brugte en anden tilgang.
Begge chatbots klarede sig sammenligneligt på denne test.
Dernæst stillede vi begge chatbots et trick-spørgsmål: “Hvis et rumskib fra Mars bryder i to, hvor den ene del styrter ind i Atlanterhavet nær Brasilien og den anden i Stillehavet nær Japan, hvor begraver man så de overlevende?”
ChatGPT gennemskuede tricket og svarede i overensstemmelse hermed:
Le Chat var også i stand til at gennemskue tricket og svarede også i overensstemmelse hermed:
Jeg prøvede flere trick-spørgsmål, og det så ud til, at både ChatGPT og Le Chat er ret dygtige til at håndtere fornuft og logiske ræsonnementsprompter. Men med mere komplekse logiske spørgsmål var det kun ChatGPT, der kunne give de rigtige svar.
Mens Le Chat har genereret noget buzz som en potentiel “ChatGPT-dræber”, viser vores test, at det stadig skal vokse, før det virkelig kan gå tå-til-tå med sværvægterne i AI-chatbot-verdenen. Selvom Le Chat demonstrerede imponerende evner inden for områder som sund fornuft, haltede dets kreative output og kodningsevner mærkbart efter ChatGPT. Den franske AI-opkomling viser bestemt lovende, men hypemaskinen er måske ved at være lidt foran sig selv.
Som mange håbefulde kandidater før det, har Le Chat brug for fortsat raffinement og træning, før det er klar til de store ligaer. For nu er AI-chatbots som ChatGPT stadig klart de ubestridte konger af AI-chatbot-verdenen. Men feltet af konkurrenter bliver kun mere fyldt, så lederne har ikke råd til at hvile på laurbærrene.