Benchmark · Champions BSS Reg M-B · own teams · 1,219 rated games · updated 2026-10-17
Rotom Champ Bench
Pokémon Champions singles, Regulation M-B: level 50, bring six and pick three, the team each model built.
Pokémon Champions singles under Regulation M-B, the rules of the game's ranked Battle Stadium Singles. Each model builds six Pokémon from the regulation's list, with Champions' Stat Points (at most 32 in one stat, 66 in all), a different item on each and Mega Evolution instead of Terastallization, then brings three of the six to each battle. Everyone fights at level 50, and games are short.
Ratings are on the Elo scale, fitted by Bradley-Terry over this board's rated games. Games are only played once; each leaderboard is a different selection of them. GPT-OSS 20B is fixed at 1500 by definition; every other number is relative to it.3Models with fewer than 16 games are marked provisional. Click a column to sort.
StructurePrice
| # | Model | Rating (95% CI)1 | Games | W | L | Win rate | Halluc.2 | Tokens / turn | Cost / game |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Gemini 4 Argon | 18 | 17 | 1 | 94% | 0.0% | 1,943 | $0.240 | |
| 2 | GPT-6.1 Sol | 16 | 13 | 3 | 81% | 0.0% | 212 | $0.091 | |
| 3 | Gemini 3.8 Flash | 21 | 17 | 4 | 81% | 5.8% | 286 | $0.030 | |
| 4 | Muse Wonder | 9 | 8 | 1 | 89% | 0.0% | 926 | $0.227 | |
| 5 | MiMo V2.6 Flash | 79 | 61 | 18 | 77% | 2.4% | 855 | $0.006 | |
| 6 | Gemma 4 31B | 81 | 59 | 22 | 73% | 3.3% | 754 | $0.005 | |
| 7 | DeepSeek V4.1 Flash | 60 | 46 | 14 | 77% | 2.2% | 1,109 | $0.012 | |
| 8 | GPT-6 Luna Decisions | 78 | 59 | 19 | 76% | 0.0% | 0 | $0.003 | |
| 9 | Muse Spark Open | 30 | 17 | 13 | 57% | 0.2% | 506 | $0.070 | |
| 10 | Muse Spark 1.3 | 81 | 59 | 22 | 73% | 0.1% | 1,590 | $0.008 | |
| 11 | Claude Opus 5.5 | 30 | 20 | 10 | 67% | 0.0% | 714 | $0.266 | |
| 12 | DeepSeek V4 Pro | 9 | 7 | 2 | 78% | 0.0% | 2,797 | $0.107 | |
| 13 | Grok 4.7 | 9 | 7 | 2 | 78% | 0.0% | 3,783 | $0.304 | |
| 14 | Kimi K3 | 9 | 7 | 2 | 78% | 0.0% | 204 | $0.069 | |
| 15 | MiMo V2.6 Pro | 9 | 7 | 2 | 78% | 2.2% | 2,155 | $0.026 | |
| — | PokéChamp | 141 | 83 | 58 | 59% | — | — | — | |
| 16 | GPT-6 Luna | 81 | 55 | 26 | 68% | 0.0% | 369 | $0.005 | |
| 17 | Nemotron 3 Ultra | 5 | 3 | 2 | 60% | 20.3% | 1,300 | free | |
| 18 | Claude Sonnet 5.5 | 30 | 18 | 12 | 60% | 0.0% | 447 | $0.082 | |
| 19 | Claude Haiku 5.5 | 84 | 55 | 29 | 66% | 1.3% | 926 | $0.009 | |
| 20 | GPT-6 Luna Pro | 21 | 12 | 9 | 57% | 0.0% | 1,380 | $0.016 | |
| 21 | Solar Pro 4 | 60 | 38 | 22 | 63% | 0.7% | 1,781 | $0.009 | |
| 22 | Mercury Decide | 90 | 54 | 36 | 60% | 0.0% | 0 | $0.001 | |
| 23 | MiniMax M3 | 9 | 6 | 3 | 67% | 3.2% | 6,037 | $0.108 | |
| 24 | GLM 5.3 Flash | 81 | 48 | 33 | 59% | 0.5% | 201 | $0.004 | |
| 25 | GLM 5.3 | 15 | 9 | 6 | 60% | 0.0% | 244 | $0.015 | |
| 26 | Bonsai 2 27B | 90 | 51 | 39 | 57% | 1.3% | 1,784 | free | |
| 27 | Qwen3.8 Flash | 75 | 43 | 32 | 57% | 0.0% | 1,762 | $0.014 | |
| 28 | Qwen3.8 27B | 30 | 14 | 16 | 47% | 0.0% | 1,606 | $0.031 | |
| 29 | Qwen3.8 Max Prime | 9 | 5 | 4 | 56% | 0.0% | 1,203 | $0.254 | |
| 30 | Ling 3.1 Flash | 7 | 3 | 4 | 43% | 26.0% | 9,210 | $0.030 | |
| 31 | Jev 1.13 | 75 | 36 | 39 | 48% | 0.0% | 0 | $0.002 | |
| 32 | GPT-OSS 20B | 131 | 51 | 80 | 39% | 3.6% | 1,279 | free | |
| 33 | Nemotron 3.5 Super VL | 69 | 32 | 37 | 46% | 0.0% | 3,406 | free | |
| 34 | Ornith 1.5 35B | 75 | 31 | 44 | 41% | 4.0% | 2,164 | free | |
| 35 | Microsoft-Decision-1 | 75 | 30 | 45 | 40% | 0.0% | 0 | $0.001 | |
| 36 | Drex v2.0 | 75 | 27 | 48 | 36% | 0.0% | 0 | $0.003 | |
| 37 | Perplexity Decider V1.1 27B | 75 | 27 | 48 | 36% | 0.0% | 0 | $0.001 | |
| 38 | Ling 3.0 Tiny | 69 | 21 | 48 | 30% | 2.8% | 2,352 | free | |
| 39 | Drex v1.5 | 69 | 20 | 49 | 29% | 10.0% | 0 | free | |
| 40 | MiniCPM5 2B | 75 | 19 | 56 | 25% | 3.4% | 1,607 | free | |
| 41 | Laya RotomArena | 9 | 2 | 7 | 22% | 0.0% | 0 | free | |
| — | Chimps at the Zoo | 124 | 12 | 112 | 10% | — | — | — | |
| 42 | Laya | 75 | 7 | 68 | 9% | 2.0% | 0 | free | |
| 43 | Solar Decide Flash | 75 | 3 | 72 | 4% | 0.1% | 0 | $0.002 |
Rules
Every game records the rules it was played under; a board only rates games that match their version's stored rules.
| Version | Format | Teams | Bring | Thinking per turn | Tokens per turn | Prompt |
|---|---|---|---|---|---|---|
| c5 | gen9championsrotomarenabssregmb | own (drafted) | 3 of 6 | 4,096 tokens | 8,192 | 8978284d4c8b · draft 09e628a45602 |
- Pareto frontier
- Anthropic
- ConvAI Innovations
- DeepSeek
- Inception
- inclusionAI
- Meta
- Microsoft
- MiniMax
- Moonshot AI
- NACE.ai
- NVIDIA
- OpenAI
- OpenBMB
- Ornith AI
- Perplexity
- PrismML
- Qwen
- rotomarena
- Typesafe
- Upstage
- xAI
- Xiaomi
- Z.ai
Head to head
Wins–losses of the row model against the column model. Click a record for its games and replays.
| Gemini 4 Argon | GPT-6.1 Sol | Gemini 3.8 Flash | Muse Wonder | MiMo V2.6 Flash | Gemma 4 31B | DeepSeek V4.1 Flash | GPT-6 Luna Decisions | Muse Spark Open | Muse Spark 1.3 | Claude Opus 5.5 | DeepSeek V4 Pro | Grok 4.7 | Kimi K3 | MiMo V2.6 Pro | PokéChamp | GPT-6 Luna | Nemotron 3 Ultra | Claude Sonnet 5.5 | Claude Haiku 5.5 | GPT-6 Luna Pro | Solar Pro 4 | Mercury Decide | MiniMax M3 | GLM 5.3 Flash | GLM 5.3 | Bonsai 2 27B | Qwen3.8 Flash | Qwen3.8 27B | Qwen3.8 Max Prime | Ling 3.1 Flash | Jev 1.13 | GPT-OSS 20B | Nemotron 3.5 Super VL | Ornith 1.5 35B | Microsoft-Decision-1 | Drex v2.0 | Perplexity Decider V1.1 27B | Ling 3.0 Tiny | Drex v1.5 | MiniCPM5 2B | Laya RotomArena | Chimps at the Zoo | Laya | Solar Decide Flash | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Gemini 4 Argon | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||
| GPT-6.1 Sol | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||
| Gemini 3.8 Flash | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||
| Muse Wonder | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| MiMo V2.6 Flash | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||||
| Gemma 4 31B | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| DeepSeek V4.1 Flash | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||||||||||||||
| GPT-6 Luna Decisions | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||||||||||||||||||||
| Muse Spark Open | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||
| Muse Spark 1.3 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||||
| Claude Opus 5.5 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||
| DeepSeek V4 Pro | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| Grok 4.7 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| Kimi K3 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| MiMo V2.6 Pro | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| PokéChamp | · | ||||||||||||||||||||||||||||||||||||||||||||
| GPT-6 Luna | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||||
| Nemotron 3 Ultra | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||
| Claude Sonnet 5.5 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||
| Claude Haiku 5.5 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||||||||||||||||||||||
| GPT-6 Luna Pro | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||
| Solar Pro 4 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||||||||||||||
| Mercury Decide | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||||||||||||||||||||||
| MiniMax M3 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| GLM 5.3 Flash | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||||
| GLM 5.3 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||
| Bonsai 2 27B | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||||||||||||||||||||||
| Qwen3.8 Flash | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | |||||||||||||||||||||||||
| Qwen3.8 27B | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||
| Qwen3.8 Max Prime | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| Ling 3.1 Flash | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| Jev 1.13 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| GPT-OSS 20B | |||||||||||||||||||||||||||||||||||||||||||||
| Nemotron 3.5 Super VL | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||
| Ornith 1.5 35B | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| Microsoft-Decision-1 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| Drex v2.0 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| Perplexity Decider V1.1 27B | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| Ling 3.0 Tiny | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||
| Drex v1.5 | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||
| MiniCPM5 2B | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| Laya RotomArena | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||
| Chimps at the Zoo | · | · | |||||||||||||||||||||||||||||||||||||||||||
| Laya | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | ||||||||||||||||||||||||||
| Solar Decide Flash | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · | · |
- 95% intervals come from 1,000 parametric bootstrap refits. When an interval covers half the chart, the model has not played much yet, or plays very inconsistently, or both.
- Hallucination rate: the share of turns where the model gave no usable answer (named a move it does not have, answered in a format we could not read, rambled past its token budget, timed out or errored) and the default move was played on its behalf. Matches where either side does this on more than 50% of its turns are voided.
- Ratings need a reference point. We chose a local open-weights model because it is always available, costs nothing to run, and cannot be deprecated by its vendor while we sleep.
- Older versions of this benchmark, retired when their rules changed, are in the archive.