Fra stemmer til en rangering af modeller
Tak for jeres bidrag!
Rangeringen AI-arenaen er baseret på alle stemmer og reaktioner fra den blinde sammenligning af modellerne og indsamlet siden tjenestens offentlige lancering i oktober 2024.
Bygget i partnerskab med Pôle d'Expertise de la Régulation Numérique (PEReN), er modelrangeringen etableret baseret på tilfredshedsscore beregnet ud fra den statistiske model Bradley Terry, en udbredt metode til at konvertere binære stemmer til probabilistisk rangering.
AI-arenaens-rangeringen har ikke til formål at udgøre en officiel anbefaling eller evaluere modellernes tekniske ydeevne. Den afspejler platformens brugeres subjektive præferencer og ikke svarenes faktualitet eller sandfærdighed.
Updateret 2/11/2026
Download dataModel | BT tilfredshedsscore Tip Estimeret statistisk score i henhold til Bradley-Terry-modellen, som afspejler sandsynligheden for, at en model foretrækkes frem for en anden. Denne score beregnes ud fra alle brugernes stemmer og reaktioner. For at lære mere, gå til metodefanen. | Konfidens (±) Tip Interval, der angiver pålideligheden af rangordningen: jo smallere intervallet er, jo mere pålidelig er rangestimat. Der er 95% sandsynlighed for, at modellens sande rang ligger i dette spænd. | Samlet antal stemmer | Gns. forbrug (1.000 tokens) Tip Målt i watttimer repræsenterer det forbrugte energi den elektricitet, som modellen bruger til at behandle en forespørgsel og generere det tilsvarende svar. Modellernes energiforbrug afhænger af deres størrelse og arkitektur. Vi vælger at vise de proprietære modeller, som vi ikke har gennemsigtig information om størrelse og arkitektur for, som gråtonede ikke-analyserede (N/A). | Størrelse (parametre) Tip Modellens størrelse i milliarder af parametre, kategoriseret i fem klasser. For proprietære modeller oplyses denne størrelse ikke. | Arkitektur Tip Et LLM-models arkitektur refererer til designprincipperne, der definerer, hvordan komponenterne i et neuralt netværk er arrangeret og interagerer for at transformere inputdata til prædiktive outputs, herunder måden hvorpå parametre aktiveres (dense vs. sparse), komponentspecialisering og informationsbehandlingsmekanismer (transformers, konvolutionsnetværk, hybride arkitekturer). | Udgivelsesdato | Organisation | Licens | |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 1128 | -2/+1 | 1262 | N/A | XL - (estimering) | Proprietær | 12/25 | |||
| 2 | 1122 | -1/+2 | 3140 | 50 Wh | XL - 675 mia. | MoE | 12/25 | Mistral AI | ||
| 3 | 1118 | -0/+2 | 6358 | N/A | L - (estimering) | Proprietær | 8/25 | Mistral AI | ||
| 4 | 1106 | -3/+1 | 4927 | N/A | XL - (estimering) | Proprietær | 6/25 | |||
| 5 | 1101 | -3/+1 | 3210 | N/A | XL - (estimering) | Proprietær | 11/25 | |||
| 6 | 1101 | -2/+2 | 3283 | N/A | XL - (estimering) | Proprietær | 9/25 | Alibaba | ||
| 7 | 1100 | -1/+3 | 8684 | N/A | XL - (estimering) | Proprietær | 12/24 | |||
| 8 | 1091 | -2/+2 | 4385 | 47 Wh | XL - 685 mia. | MoE | 3/25 | DeepSeek | ||
| 9 | 1089 | -4/+3 | 2207 | N/A | L - (estimering) | Proprietær | 6/25 | Mistral AI | ||
| 10 | 1082 | -4/+1 | 8583 | 6 Wh | S - 27 mia. | Dense | 3/25 | |||
| 11 | 1078 | -7/+2 | 5388 | 47 Wh | XL - 671 mia. | MoE | 12/24 | DeepSeek | ||
| 12 | 1077 | -7/+3 | 2527 | 47 Wh | XL - 685 mia. | MoE | 8/25 | DeepSeek | ||
| 13 | 1075 | -7/+3 | 3189 | N/A | L - (estimering) | Proprietær | 11/25 | OpenAI | ||
| 14 | 1074 | -8/+5 | 1843 | 47 Wh | XL - 685 mia. | MoE | 12/25 | DeepSeek | ||
| 15 | 1072 | -5/+3 | 6519 | N/A | XL - (estimering) | Proprietær | 9/25 | Anthropic | ||
| 16 | 1072 | -8/+6 | 2178 | 21 Wh | L - 355 mia. | MoE | 7/25 | Zhipu | ||
| 17 | 1069 | -8/+5 | 2832 | N/A | L - (estimering) | Proprietær | 12/25 | OpenAI | ||
| 18 | 1068 | -10/+8 | 1304 | 57 Wh | XL - 1000 mia. | MoE | 11/25 | Moonshot AI | ||
| 19 | 1066 | -8/+6 | 2553 | N/A | XL - (estimering) | Proprietær | 11/25 | xAI | ||
| 20 | 1065 | -8/+7 | 2315 | 3 Wh | L - 117 mia. | MoE | 8/25 | OpenAI | ||
| 21 | 1063 | -7/+7 | 2623 | N/A | XL - (estimering) | Proprietær | 9/25 | xAI | ||
| 22 | 1063 | -4/+5 | 8288 | 4 Wh | XS - 12 mia. | Dense | 3/25 | |||
| 23 | 1063 | -5/+9 | 2540 | N/A | XL - (estimering) | Proprietær | 5/25 | Anthropic | ||
| 24 | 1060 | -7/+10 | 1537 | N/A | L - (estimering) | Proprietær | 4/25 | xAI | ||
| 25 | 1059 | -4/+6 | 5510 | 6 Wh | S - 24 mia. | Dense | 6/25 | Mistral AI | ||
| 26 | 1057 | -6/+9 | 1746 | 57 Wh | XL - 1000 mia. | MoE | 9/25 | Moonshot AI | ||
| 27 | 1055 | -6/+8 | 2097 | 47 Wh | XL - 685 mia. | MoE | 5/25 | DeepSeek | ||
| 28 | 1055 | -2/+6 | 7866 | 18 Wh | L - 111 mia. | Dense | 3/25 | Cohere | ||
| 29 | 1049 | -5/+4 | 3147 | 6 Wh | S - 24 mia. | Dense | 6/25 | Mistral AI | ||
| 30 | 1048 | -4/+5 | 3907 | N/A | XL - (estimering) | Proprietær | 2/25 | Anthropic | ||
| 31 | 1047 | -5/+8 | 1557 | 30 Wh | XL - 480 mia. | MoE | 7/25 | Alibaba | ||
| 32 | 1045 | -4/+5 | 2769 | 21 Wh | L - 357 mia. | MoE | 9/25 | Zhipu | ||
| 33 | 1043 | -2/+4 | 6709 | 12 Wh | M - 70 mia. | Dense | 10/24 | Nvidia | ||
| 34 | 1036 | -9/+8 | 820 | 21 Wh | L - 357 mia. | MoE | 12/25 | Zhipu | ||
| 35 | 1035 | -3/+2 | 9361 | 3 Wh | XS - 4 mia. | Dense | 3/25 | |||
| 36 | 1033 | -4/+3 | 4676 | 3 Wh | XS - 8 mia. | Matformer | 5/25 | |||
| 37 | 1031 | -3/+3 | 7173 | N/A | M - (estimering) | Proprietær | 4/25 | OpenAI | ||
| 38 | 1030 | -3/+4 | 7387 | N/A | XL - (estimering) | Proprietær | 9/24 | |||
| 39 | 1025 | -5/+4 | 3510 | 47 Wh | XL - 671 mia. | MoE | 1/25 | DeepSeek | ||
| 40 | 1020 | -6/+3 | 2352 | 7 Wh | S - 32 mia. | Dense | 4/25 | Alibaba | ||
| 41 | 1015 | -5/+4 | 3849 | 15 Wh | XL - 400 mia. | MoE | 4/25 | Meta | ||
| 42 | 1014 | -5/+5 | 2719 | 3 Wh | S - 21 mia. | MoE | 8/25 | OpenAI | ||
| 43 | 1014 | -3/+5 | 4934 | N/A | S - (estimering) | Proprietær | 2/25 | Mistral AI | ||
| 44 | 1012 | -3/+5 | 4459 | N/A | S - (estimering) | Proprietær | 8/25 | OpenAI | ||
| 45 | 1010 | -3/+5 | 6565 | 5 Wh | L - 109 mia. | MoE | 4/25 | Meta | ||
| 46 | 1004 | -4/+3 | 5079 | 6 Wh | S - 24 mia. | Dense | 3/25 | Mistral AI | ||
| 47 | 1002 | -5/+3 | 2830 | N/A | S - (estimering) | Proprietær | 4/25 | OpenAI | ||
| 48 | 999 | -3/+4 | 3843 | N/A | L - (estimering) | Proprietær | 8/25 | OpenAI | ||
| 49 | 996 | -5/+4 | 2276 | 3 Wh | XS - 8 mia. | MoE | 10/25 | Liquid | ||
| 50 | 990 | -6/+2 | 5113 | 7 Wh | S - 32 mia. | Dense | 12/24 | Cohere | ||
| 51 | 988 | -7/+3 | 3825 | 3 Wh | S - 30 mia. | MoE | 5/25 | Alibaba | ||
| 52 | 988 | -7/+4 | 3245 | 4 Wh | XS - 8 mia. | Dense | 7/25 | Alibaba | ||
| 53 | 986 | -5/+3 | 9845 | 12 Wh | M - 70 mia. | Dense | 12/24 | Meta | ||
| 54 | 984 | -6/+5 | 3318 | 6 Wh | S - 24 mia. | Dense | 1/25 | Mistral AI | ||
| 55 | 981 | -9/+6 | 1619 | N/A | S - (estimering) | Proprietær | 11/24 | OpenAI | ||
| 56 | 981 | -5/+4 | 6990 | N/A | S - (estimering) | Proprietær | 7/24 | OpenAI | ||
| 57 | 978 | -7/+6 | 2415 | 12 Wh | M - 70 mia. | Dense | 9/25 | Swiss AI | ||
| 58 | 977 | -5/+4 | 5717 | N/A | S - (estimering) | Proprietær | 4/25 | OpenAI | ||
| 59 | 976 | -6/+8 | 2160 | 8 Wh | L - 230 mia. | MoE | 10/25 | MiniMax | ||
| 60 | 973 | -8/+8 | 1302 | 4 Wh | XS - 8 mia. | Dense | 10/24 | Cohere | ||
| 61 | 971 | -4/+4 | 5583 | 12 Wh | M - 70 mia. | Dense | 7/24 | Meta | ||
| 62 | 970 | -3/+5 | 5683 | N/A | XL - (estimering) | Proprietær | 10/24 | Anthropic | ||
| 63 | 966 | -3/+3 | 9968 | 5 Wh | XS - 14 mia. | Dense | 12/24 | Microsoft | ||
| 64 | 961 | -3/+4 | 5896 | N/A | XL - (estimering) | Proprietær | 8/24 | OpenAI | ||
| 65 | 956 | -2/+4 | 9973 | 238 Wh | XL - 405 mia. | Dense | 7/24 | Meta | ||
| 66 | 952 | -2/+4 | 5115 | 4 Wh | XS - 9 mia. | Dense | 6/24 | |||
| 67 | 947 | -5/+5 | 1566 | 7 Wh | S - 32 mia. | Dense | 4/25 | Alibaba | ||
| 68 | 945 | -3/+4 | 3583 | N/A | XS - (estimering) | Proprietær | 4/25 | OpenAI | ||
| 69 | 944 | -2/+5 | 2981 | 12 Wh | M - 70 mia. | Dense | 1/25 | DeepSeek | ||
| 70 | 934 | -4/+4 | 3199 | 12 Wh | M - 70 mia. | Dense | 8/25 | Nous | ||
| 71 | 932 | -2/+3 | 10444 | 4 Wh | XS - 8 mia. | Dense | 7/24 | Meta | ||
| 72 | 925 | -1/+6 | 1417 | 4 Wh | XS - 7 mia. | Dense | 9/24 | Alibaba | ||
| 73 | 883 | -2/+0 | 2560 | 5 Wh | S - 56 mia. | MoE | 12/23 | Mistral AI | ||
| 74 | 880 | -1/+1 | 3578 | N/A | S - (estimering) | Proprietær | 9/24 | Liquid | ||
| 75 | 868 | -2/+2 | 1196 | 7 Wh | S - 32 mia. | Dense | 11/25 | Ai2 | ||
| 76 | 860 | -1/+1 | 2535 | 3 Wh | XS - 3.8 mia. | Dense | 8/24 | Microsoft | ||
| 77 | 850 | -1/+1 | 6251 | 4 Wh | XS - 12 mia. | Dense | 7/24 | Mistral AI | ||
| 78 | 840 | -1/+1 | 5455 | 18 Wh | L - 176 mia. | MoE | 4/24 | Mistral AI | ||
| 79 | 816 | -1/+0 | 1796 | 4 Wh | XS - 14 mia. | Dense | 2/25 | jpacifico | ||
| 80 | 764 | -2/+3 | 65 | 4 Wh | XS - 9 mia. | Dense | 5/24 | 01-ai | ||
| 81 | 749 | -1/+1 | 309 | 5 Wh | XS - 14 mia. | Dense | 9/24 | jpacifico | ||
| 82 | 727 | -0/+2 | 80 | 4 Wh | XS - 7 mia. | Dense | 7/24 | Alibaba |
Er de mest populære modeller energieffektive?
Denne graf viser for hver model sammenhængen mellem tilfredshedsscore (Bradley Terry-score) og det estimerede gennemsnitlige energiforbrug pr. 1000 tokens. Energiforbruget estimeres ved hjælp af Ecologits-metodologien, som tager højde for to faktorer: modellernes størrelse (antal parametre) og deres arkitektur. Da proprietære modeller ikke offentliggør disse oplysninger - eller kun gør det delvist - er de ikke medtaget i grafen nedenfor.
Bradley-Terry (BT) tilfredshedsscore VS Gennemsnitsforbrug for 1000 tokens
Vælg en model for at kende dens Bradley-Terry (BT) score og energiforbrug
Model arkitektur
- MoE Tip Mixture of Experts (MoE) arkitekturen bruger en routingmekanisme til kun at aktivere visse specialiserede delmængder ("eksperter") af det neurale netværk, afhængigt af input. Dette gør det muligt at konstruere meget store modeller, samtidig med at beregningsomkostningerne holdes lave, da kun en del af netværket bruges ved hvert trin.
- Dense Tip Den dense arkitektur betegner en type neuralt netværk, hvor hver neuron i et lag er forbundet til alle neuroner i det næste lag. Dette gør det muligt for alle parametrene i laget at bidrage til beregningen af outputtet.
- Matformer Tip Forestil dig russiske matryoshka dukker (matryoshkas → matryoshka transformer → Matformer): hver blok indeholder flere indlejrede undermodeller af stigende størrelser, som deler de samme parametre. Dette gør det muligt ved hver forespørgsel at vælge en model med passende kapacitet, afhængigt af den tilgængelige hukommelse eller latens, uden behov for at genoptræne forskellige modeller.
Hvordan finder man den rette balance mellem opfattet performance og energieffektivitet? Eksempler på læsning af grafen
- Jo højere oppe i grafen en model er placeret, desto højere er dens Bradley-Terry-tilfredshedsscore. Jo længere til venstre i grafen en model er placeret, desto mindre energi forbruger den i forhold til de andre modeller.
- Øverst til venstre finder man de modeller, som er populære og forbruger relativt lidt energi sammenlignet med de andre modeller.
- Ud over størrelsen har arkitekturen også indflydelse på modellernes gennemsnitlige energiforbrug: for eksempel forbruger Llama 3 405B-modellen (tæt arkitektur, 405 milliarder parametre) i gennemsnit 10 gange mere energi end GLM 4.5-modellen (MOE-arkitektur, 355 milliarder parametre og 32 milliarder aktive parametre), selv om de har en lignende størrelse.
Hvorfor vises de proprietære modeller ikke i grafen?
Estimeringen af energiforbruget ved inferens af modellerne bygger på Ecologits metode, som tager højde for modellernes størrelse og arkitektur. Disse oplysninger offentliggøres imidlertid ikke af modeludviklerne for såkaldte "proprietære" modeller.
Vi har derfor valgt ikke at medtage de proprietære modeller i grafen, så længe oplysningerne om energiforbrugsberegningen ikke er gennemsigtige.
Hvordan beregnes modellernes energipåvirkning?
compar:IA bruger metodologien udviklet af Ecologits (GenAI Impact) til at give et estimat af energiforbruget forbundet med inferens af konversationelle generative AI-modeller. Dette estimat gør det muligt for brugerne at sammenligne forskellige AI-modellers miljøpåvirkning for den samme forespørgsel. Denne gennemsigtighed er afgørende for at fremme udviklingen og anvendelsen af mere miljøansvarlige AI-modeller.
Ecologits anvender principperne for livscyklusanalyse (LCA) i overensstemmelse med ISO 14044-standarden ved i første omgang at fokusere på påvirkningen fra inferens (dvs. brugen af modeller til at besvare forespørgsler) og fremstillingen af grafikkort (udvinding af ressourcer, produktion og transport).
Modellens elektricitetsforbrug estimeres under hensyntagen til forskellige parametre såsom størrelsen og arkitekturen af den anvendte AI-model, placeringen af de servere, hvor modellerne er implementeret, samt antallet af output-tokens. Beregningen af indikatoren for global opvarmningspotentiale udtrykt i CO2-ækvivalenter udledes af målingen af modellens elektricitetsforbrug.
Det er vigtigt at bemærke, at metoderne til vurdering af AI's miljøpåvirkning stadig er under udvikling.
Grafdata i tabelform
Updateret 2/11/2026
Download dataModel | BT tilfredshedsscore Tip Estimeret statistisk score i henhold til Bradley-Terry-modellen, som afspejler sandsynligheden for, at en model foretrækkes frem for en anden. Denne score beregnes ud fra alle brugernes stemmer og reaktioner. For at lære mere, gå til metodefanen. | Gns. forbrug (1.000 tokens) Tip Målt i watttimer repræsenterer det forbrugte energi den elektricitet, som modellen bruger til at behandle en forespørgsel og generere det tilsvarende svar. Modellernes energiforbrug afhænger af deres størrelse og arkitektur. Vi vælger at vise de proprietære modeller, som vi ikke har gennemsigtig information om størrelse og arkitektur for, som gråtonede ikke-analyserede (N/A). | Størrelse (parametre) Tip Modellens størrelse i milliarder af parametre, kategoriseret i fem klasser. For proprietære modeller oplyses denne størrelse ikke. | Arkitektur Tip Et LLM-models arkitektur refererer til designprincipperne, der definerer, hvordan komponenterne i et neuralt netværk er arrangeret og interagerer for at transformere inputdata til prædiktive outputs, herunder måden hvorpå parametre aktiveres (dense vs. sparse), komponentspecialisering og informationsbehandlingsmekanismer (transformers, konvolutionsnetværk, hybride arkitekturer). | Organisation | Licens |
|---|---|---|---|---|---|---|
| 1065 | 3 Wh | L - 117 mia. | MoE | OpenAI | Open-weight | |
| 1035 | 3 Wh | XS - 4 mia. | Dense | Open-weight | ||
| 1033 | 3 Wh | XS - 8 mia. | Matformer | Open-weight | ||
| 1014 | 3 Wh | S - 21 mia. | MoE | OpenAI | Open-weight | |
| 996 | 3 Wh | XS - 8 mia. | MoE | Liquid | Open-weight | |
| 988 | 3 Wh | S - 30 mia. | MoE | Alibaba | Open-weight | |
| 860 | 3 Wh | XS - 3.8 mia. | Dense | Microsoft | Open-weight | |
| 1063 | 4 Wh | XS - 12 mia. | Dense | Open-weight | ||
| 988 | 4 Wh | XS - 8 mia. | Dense | Alibaba | Open-weight | |
| 973 | 4 Wh | XS - 8 mia. | Dense | Cohere | Open-weight | |
| 952 | 4 Wh | XS - 9 mia. | Dense | Open-weight | ||
| 932 | 4 Wh | XS - 8 mia. | Dense | Meta | Open-weight | |
| 925 | 4 Wh | XS - 7 mia. | Dense | Alibaba | Open-weight | |
| 850 | 4 Wh | XS - 12 mia. | Dense | Mistral AI | Open-weight | |
| 816 | 4 Wh | XS - 14 mia. | Dense | jpacifico | Open-weight | |
| 764 | 4 Wh | XS - 9 mia. | Dense | 01-ai | Open-weight | |
| 727 | 4 Wh | XS - 7 mia. | Dense | Alibaba | Open-weight | |
| 1010 | 5 Wh | L - 109 mia. | MoE | Meta | Open-weight | |
| 966 | 5 Wh | XS - 14 mia. | Dense | Microsoft | Open-weight | |
| 883 | 5 Wh | S - 56 mia. | MoE | Mistral AI | Open-weight | |
| 749 | 5 Wh | XS - 14 mia. | Dense | jpacifico | Open-weight | |
| 1082 | 6 Wh | S - 27 mia. | Dense | Open-weight | ||
| 1059 | 6 Wh | S - 24 mia. | Dense | Mistral AI | Open-weight | |
| 1049 | 6 Wh | S - 24 mia. | Dense | Mistral AI | Open-weight | |
| 1004 | 6 Wh | S - 24 mia. | Dense | Mistral AI | Open-weight | |
| 984 | 6 Wh | S - 24 mia. | Dense | Mistral AI | Open-weight | |
| 1020 | 7 Wh | S - 32 mia. | Dense | Alibaba | Open-weight | |
| 990 | 7 Wh | S - 32 mia. | Dense | Cohere | Open-weight | |
| 947 | 7 Wh | S - 32 mia. | Dense | Alibaba | Open-weight | |
| 868 | 7 Wh | S - 32 mia. | Dense | Ai2 | Open source | |
| 976 | 8 Wh | L - 230 mia. | MoE | MiniMax | Open-weight | |
| 1043 | 12 Wh | M - 70 mia. | Dense | Nvidia | Open-weight | |
| 986 | 12 Wh | M - 70 mia. | Dense | Meta | Open-weight | |
| 978 | 12 Wh | M - 70 mia. | Dense | Swiss AI | Open source | |
| 971 | 12 Wh | M - 70 mia. | Dense | Meta | Open-weight | |
| 944 | 12 Wh | M - 70 mia. | Dense | DeepSeek | Open-weight | |
| 934 | 12 Wh | M - 70 mia. | Dense | Nous | Open-weight | |
| 1015 | 15 Wh | XL - 400 mia. | MoE | Meta | Open-weight | |
| 1055 | 18 Wh | L - 111 mia. | Dense | Cohere | Open-weight | |
| 840 | 18 Wh | L - 176 mia. | MoE | Mistral AI | Open-weight | |
| 1072 | 21 Wh | L - 355 mia. | MoE | Zhipu | Open-weight | |
| 1045 | 21 Wh | L - 357 mia. | MoE | Zhipu | Open-weight | |
| 1036 | 21 Wh | L - 357 mia. | MoE | Zhipu | Open-weight | |
| 1047 | 30 Wh | XL - 480 mia. | MoE | Alibaba | Open-weight | |
| 1091 | 47 Wh | XL - 685 mia. | MoE | DeepSeek | Open-weight | |
| 1078 | 47 Wh | XL - 671 mia. | MoE | DeepSeek | Open-weight | |
| 1077 | 47 Wh | XL - 685 mia. | MoE | DeepSeek | Open-weight | |
| 1074 | 47 Wh | XL - 685 mia. | MoE | DeepSeek | Open-weight | |
| 1055 | 47 Wh | XL - 685 mia. | MoE | DeepSeek | Open-weight | |
| 1025 | 47 Wh | XL - 671 mia. | MoE | DeepSeek | Open-weight | |
| 1122 | 50 Wh | XL - 675 mia. | MoE | Mistral AI | Open-weight | |
| 1068 | 57 Wh | XL - 1000 mia. | MoE | Moonshot AI | Open-weight | |
| 1057 | 57 Wh | XL - 1000 mia. | MoE | Moonshot AI | Open-weight | |
| 956 | 238 Wh | XL - 405 mia. | Dense | Meta | Open-weight |
Hvordan vælger man metoden til rangordning af modeller?
Siden 2024 har tusindvis af brugere brugt compar:IA til at sammenligne forskellige modellers svar, hvilket har genereret hundredtusindvis af stemmer. At tælle antallet af sejre er ikke nok til at etablere en rangordning. Et retfærdigt system skal være statistisk robust, justere sig efter hver sammenligning og reelt afspejle værdien af de opnåede præstationer.
Det er i dette perspektiv, at der er blevet etableret en rangordning baseret på Bradley-Terry-modellen, udarbejdet i samarbejde med teamet fra Pôle d'Expertise de la Régulation numérique (PEReN), ud fra alle de stemmer og reaktioner, der er indsamlet på platformen. For at gå videre, se vores metodologiske notesbog.
To måders at opdele modeller
Rangordning efter sejrsrate
Definition: Empirisk rangordningssystem for modeller baseret på procentdelen af kampe vundet af en model mod alle andre modeller.
Hovedproblemer
- Bias fra antal kampe: en model, der har vundet tre sejre ud af tre "kampe", viser en sejrsrate på 100%, men denne score er lidt signifikant, da den er baseret på meget lidt data.
- Ingen hensyntagen til sværhedsgraden af kampene: at slå en "begynder"-model eller en "ekspert"-model tæller det samme. Sejrsraterne er ikke retfærdige, da de ikke tager højde for sværhedsgraden af kampene.
- Stagnation: på lang sigt ender mange gode modeller omkring 50% sejrsrate, fordi de møder modeller på deres niveau, hvilket gør rangordningen mindre diskriminerende.
Bradley-Terry (BT) rangordning
Definition: Rangordningssystem, hvor gevinst eller tab af point afhænger af resultatet (sejr/nederlag/uafgjort) og det estimerede niveau af modstanderen: hvis en svagere model slår en stærkere model, er dens fremgang i rangordningen større.
Fordele
- Probabilistisk model: man kan estimere det sandsynlige resultat af enhver sammenligning, selv mellem modeller, der aldrig er blevet direkte sammenlignet.
- Hensyntagen til sværhedsgraden af kampene: de estimerede scores fra Bradley Terry-modellen tager højde for niveauet af de mødte modstandere, hvilket muliggør en retfærdig sammenligning mellem modeller.
- Bedre håndtering af usikkerhed: konfidensintervallet integrerer hele netværket af sammenligninger. Dette muliggør et mere præcist estimat af usikkerheden, især for modeller med få direkte sammenligninger, men mange fælles modstandere.
Indvirkningen af valget af metode på rangordningen af modeller
10 første modeller i rangordningen ifølge den "empiriske" sejrsrate
Ved kun at basere sig på den gennemsnitlige sejrsrate kan man opnå en global rangordning, men denne beregning forudsætter, at hver model har spillet mod alle andre.
Denne metode er ikke ideel, da den kræver data fra alle kombinationer af modeller, og så snart man øger antallet af modeller, bliver det hurtigt dyrt og tungt at vedligeholde.
10 første modeller i rangordningen ifølge den estimerede sejrsrate med Bradley-Terry-modellen
Bradley-Terry-modellen omdanner et sæt af lokale og potentielt ufuldstændige sammenligninger til et sammenhængende og statistisk robust globalt rangordningssystem, der hvor den empiriske sejrsrate forbliver begrænset til direkte observationer.