Med flere tilgængelige chatbots online, kan det blive ekstremt svært at vælge den, der opfylder dine behov. Selvom du kan sammenligne to chatbots manuelt, vil det tage betydelig tid og kræfter.
En bedre og enklere måde er at bruge Chatbot Arena til at sammenligne de forskellige LLM’er, der driver populære chatbots. Det tilbyder et par tilstande til at sammenligne de forskellige modeller, som vi forklarer nedenfor.
Indholdsfortegnelse
Hvad er Chatbot Arena?
Chatbot Arena er skabt af LMSYS Org og er en platform til at benchmarke forskellige LLM’er. Den bruger Elo Rating-systemet til at rangere de forskellige modeller.
Chatbot Arena tilbyder et par måder for brugere at sammenligne og bedømme LLM’er. Baseret på den indsendte feedback rangerer Chatbot Arena de forskellige LLM’er på den offentlige rangliste. Projektet er sponsoreret af HuggingFace, et open source-alternativ til ChatGPT.
Sådan sammenlignes anonyme LLM’er med Chatbot Arena
Chatbot Arenas kamptilstand lader dig sammenligne LLM’er anonymt. For eksempel kan du sammenligne ChatGPT (GPT 3.5) og Claude. Det betyder, at Chatbot Arena selv vælger to sprogmodeller og, uden at afsløre deres navne, lader dig sammenligne dem.
Når du indtaster den første prompt, henter Chatbot Arena svar fra begge modeller og præsenterer dem side om side. Platformen giver dig mulighed for at genskabe svar (for begge LLM’er) og rydde historik for at starte en anden samtale. Du kan blive ved med at stille flere spørgsmål, indtil du har valgt en klar vinder.
Derefter kan du vælge, om model A er bedre eller B. Når du vælger vinderen, afslører Chatbot Arena navnene på begge bots. Denne tilstand fungerer godt, da din beslutning ikke er påvirket af din tidligere opfattelse eller popularitet af modellerne. Chatbot Arena lader dig også justere parametre som temperatur, Top P og max output tokens.
Sådan sammenligner du udvalgte LLM’er med Chatbot Arena
Hvis du vil sammenligne to specifikke LLM’er, kan du skifte til Chatbot Arenas side-by-side-tilstand. Bortset fra det faktum, at du selv kan vælge LLM’erne, fungerer denne tilstand næsten det samme som kamptilstand. Du kan justere parametre, genskabe svar, rydde historik og til sidst vælge en vinder.
Imidlertid er antallet af tilgængelige LLM’er i denne tilstand begrænset. Du kan vælge forskellige versioner af Llama 2, Vicuna og ChatGLM. Selvom de populære LLM’er, som GPT-4, GPT-3.5, Claude 1, Claude 2 osv., i øjeblikket ikke er tilgængelige i denne tilstand, planlægger Chatbot Arena at tilføje dem.
Sammenlign LLM’er ved hjælp af Chatbot Arena
Uanset om du leder efter at finde en passende chatbot til dine behov eller bare vil teste forskellige LLM’er, er Chatbot Arena en fantastisk platform.
Det giver en forenklet måde at sammenligne forskellige sprogmodeller side om side. Og da den vedligeholder en rangliste baseret på brugernes feedback, kan du direkte se placeringerne af forskellige modeller uden selv at køre testene.