SPSP のランキングはどれくらい当たっているか

2026-09-07 · 簡易版 · 技術版は 「実データでの方式比較」

前の記事 「ランキングの良さはどうすれば測れる？」 で、ランキングの良さを測る 4 つの指標と、その使い分けを説明しました。この記事はその指標を実際のデータに当てて、SPSP のランキングが Elo、Glicko-2、UltRank などと比べてどれくらい当たっているか、実力帯ごとに見るとどうか、を確かめた結果です。

1. 比べ方

対象は篝火 (国内最大級の大会) で区切った 4 シーズン、100 人以上の大会 180 件です。各大会について「大会直前のランキング」で予想を作り、その大会の結果と突き合わせます。指標は前の記事の 4 つ、ペア一致率 (PA)、平均絶対 SPR (MASPR)、上位シード勝率 (FWR)、アップセット幅 (ULG) です。PA と FWR は高いほど、MASPR と ULG は低いほど良い値で、優劣の判定は ULG と FWR を軸に行い、PA と MASPR はシードバイアスを受けるので併せて見るだけにします。2 つのランキングの予想を同じ大会・同じ結果に当てて差を取り、その差が運の揺れより大きいかを見ます。

2. 方式の比較

同じ 180 大会で、いろいろな方式に同じ条件で予想させて比べました (素の Elo や Glicko-2 は過去のデータを見ていない状態から学習するので、学習が浅い最初のシーズンを除いた 3 シーズンで比べています)。値は、ペア一致率と上位シード勝率は高いほど良く、アップセット幅は低いほど良いです。

方式の順位は、13 種類の指標のうち 11 種類で同じ (SPSP の 2 つ > 順位評価 > Glicko-2 > Elo) になり、ずれたのは順位を見る指標だけでした。SPSP の総合が他の方式より当たっているのは、シードバイアスのせいではないと言えます。

3. UltRank との比較 (掲載 200 人の中で)

UltRank 2025 Japan の集計期間は 2024 年 12 月 17 日から 2025 年 12 月 15 日です。掲載選手 200 人の中だけで測るので、他の方式と同じ表には載せられません。集計期間の前・中・後とシーズンで分けたのが次の表です。太字は SPSP 総合と UltRank のうち良かった側です。

集計期間の中では、UltRank は SPSP と同程度で、アップセット幅では上回っています。その期間の結果を見て作られた順位表なので、その期間の結果に対してはある程度の説明精度があります。これは UltRank の本来の目的に沿ったもので、UltRank は 1 年間の実績をまとめる順位表であって、次の大会を予想する道具ではありません。一方、期間の前と後、つまりまだ結果を知らない大会に対しては、どのシーズンでも 3 つの指標すべてで SPSP を下回りました。UltRank は「その年に何を成し遂げたか」の記録としてはある程度の説明精度がありますが、これからの強さの予想には向かず、シーディングに使うのは不向きです。逆に SPSP は、結果を知らずに予想しているのに、結果を知って作られた UltRank とその期間で同程度だった、ということでもあります。

4. 実力帯ごとに見ると

ランキング全体の当たり具合は 2 節のとおりですが、「トップ層の並びは正しいか」「裾野は正しいか」は別の問いです。そこで大会の最終順位の帯 (1〜16 位、17〜64 位、…) ごとに、その帯の選手同士の試合と組だけを取り出して、4 つの指標で測りました (タブで切り替えられます)。前の記事で見たとおり、帯別の一次指標はアップセット幅です。深い帯ほどシード番号の近い選手同士の試合や組になるので、値そのものは帯によって変わります。帯をまたいで値を比べず、同じ帯の中で方式の間の差を見てください。

装飾は総合と直対評価だけの比較です。太字は、その帯で相手より良い側 (目安で、運だけでこの差が出る確率がおよそ 7% 以下)。太字の斜体は、両者がほぼ同等のもの。他の方式は装飾していません。運の範囲を超えるかどうかの厳密な判定は、次の表を見てください。

上の表の差が運の範囲を超えているかを、同じ 4 つの帯で厳密に判定した表です。勝敗を見る 2 つが判定材料で、順位を見る 2 つは参考です。各欄は良かった側で、太字は運の範囲を超えたものです。

読み方と、分かったこと:

• トップ帯 (1〜16 位) は直対評価だけのほうが強い。 4 つの指標すべてで直対が上で、3 シーズン同じ向きです。上位の選手は週末大会の試合が豊富で、試合の勝ち負けだけで十分に測れます。
• 17〜64 位は互角から直対有利。 アップセット幅では直対が運の範囲を大きく超えて上で、3 シーズンとも同じ向きですが、他の 3 つの指標では差がありません。
• 65〜1024 位は互角から総合有利。 勝敗を見る指標では運の範囲の差しかなく、順位を見る指標では総合が上です。順位の差はシードバイアス (前の記事の軸 4) の向きと同じなので割り引いて読みますが、それでも総合が下回る指標はありません。
• 裾野 (1025 位以下) は総合有利。 4 つの指標すべてで総合が上で、3 シーズンとも同じ向きです。ただし 1025 人以上の大会は 5 つしかないので、勝敗を見る指標では単独では運の範囲を超えません。513 位以下をまとめると、上位シード勝率で総合が運の範囲を超えて上になります (これも 3 シーズンとも)。組み合わせる方式の利益が出ているのはここです。裾野の選手は対戦の記録が少なく、対戦の網も地域ごとに分かれているので、試合だけから強さを決めるのが難しく、大会の順位という別の情報を混ぜる意味があります。
• 裾野では順位評価だけでも Glicko-2 より当たる。 1025 位以下で順位評価だけ 0.138 に対し Glicko-2 は 0.181 で、素のレート方式は裾野に行くほど崩れます。

この結果から、SPSP の総合ランキングは「トップ層は直対評価、裾野は順位評価も混ぜる」という今の組み合わせ方が、実力帯ごとの性質に合っていると言えます。

まとめ

• SPSP の総合ランキングは Elo、Glicko-2 より当たっている。
• UltRank はその年の実績をまとめる順位表で、集計期間の結果はある程度説明するが、まだ結果を知らない大会の予想では SPSP を下回る。シーディングには向かない。
• 実力帯で分けると、トップ層は直対評価だけが強く、裾野では順位評価を混ぜた総合が有利。

数値つきの検定結果と再現手順は 「実データでの方式比較」 に、指標そのものの説明は 「ランキングの良さはどうすれば測れる？」 にあります。