あるサッカークラブがAIを導入した翌年、勝率が45％から50％へ上がったとします。数字だけを見ると、AIで5％勝率が改善したと言いたくなるかもしれません。しかし正確にはこれは5パーセントポイントの上昇であり、45％を基準にした相対増加率は約11.1％です。そして、もっと重要なのは、その5パーセントポイントがAIによって生じたとはまだ分からないことです。
新加入選手が活躍したのかもしれません。監督が戦術を変えたのかもしれません。負傷者が減った、対戦相手が前年より弱かった、ホームゲームが多い期間だった、あるいは単なる偶然だった可能性もあります。「AI導入後に勝率が上がった」と、「AIによって勝率が上がった」は別の主張です。
因果効果を知りたいなら、本当に比較したいのはAI導入前とAI導入後ではありません。同じチームが同じ条件で、AIを使った世界と使わなかった世界でどうなったかです。しかし現実には、同じ試合を二つの世界で同時に行うことはできません。だからこそ、比較群、ランダム化、差の差分析、合成コントロール法などを使い、観測できなかったAIなしの世界をできるだけ妥当に推定する必要があります。
この記事ではさらに、「勝率45％から46％」、つまり1パーセントポイントだけ本当に改善した架空クラブを作り、38試合のシーズンを10万回シミュレーションします。そこで見えてくるのは、AIの価値を測るうえで大切なのは最終成績だけではなく、AIが情報を出し、人間の判断を変え、行動を変え、局所的なプレーを変え、その効果が得点・失点を経て勝点へ届く経路を一つずつ確かめることだ、という視点です。
AI導入後に勝率が上がっても「AIのおかげ」とは言えない理由
AI導入後の勝率上昇は、AIの効果を示唆する証拠にはなっても、それだけで因果効果の証明にはなりません。
最初に数字の言葉を整理しておきます。45％から50％は「5パーセントポイント上昇」です。相対的な増加率なら、
です。一方、この記事でいう「勝率1％改善」は原則として1パーセントポイント改善、たとえば45％から46％への変化を指します。「45％が相対的に1％増える」なら、
です。
では、AI導入前の勝率が45％、導入後が50％なら何が分かるでしょうか。分かるのはAI導入という出来事の前後で、観測勝率に5パーセントポイントの差があったということだけです。
勝率は最終結果です。その手前には、選手の能力、移籍、成長、監督、コーチ、戦術、負傷、出場停止、対戦相手、ホーム・アウェー、休養、日程、審判判断、シュートのわずかなずれなど、多数の変数があります。AI導入と同じ時期にこれらが変化すれば、前後差だけからAIの部分を取り出すことはできません。
ここで重要なのが、相関の問いと因果の問いを分けることです。
AI導入と勝率上昇は同時に起きたかは観測データで答えられます。しかしAIがなければ勝率は何％だったかは、そのままでは観測できません。後者こそ因果推論が答えようとする問いです。HernánとRobinsが整理する現代的な因果推論でも、介入の効果は介入した世界と介入しなかった世界の結果を比較する考え方を核にしています。
この違いは、AIを過小評価するために持ち出すものではありません。むしろ逆です。仮にAIが実際に大きな貢献をしていたとしても、設計の悪い前後比較では、その価値を他の変化と区別できません。丁寧な効果検証はAIへの懐疑ではなく、AIが本当に生んだ価値を他人の努力や偶然から分けて評価するための手続きです。
サポーターが若手が成長したから勝てたと感じることと、分析担当者がAIも意思決定を改善したと考えることは、必ずしも矛盾しません。複数の原因が同時に働いているなら、問題はどちらか一方を勝者に決めることではなく、どの原因について、どの程度の証拠があるかを整理することです。
もしAIを導入しなかったら？ 反実仮想から考える勝利の原因
因果推論の中心には、実際には観測できなかった世界――反実仮想――があります。
架空の試合 (i) について、AIを使ったときの結果を (Y_i(1))、AIを使わなかったときの結果を (Y_i(0)) とします。勝利を1、非勝利を0と置くなら、その試合におけるAIの因果効果は、
と書けます。
言葉にすると、「同じ試合条件のもとで、AIありなら勝ったか」と「AIなしなら勝ったか」の差です。たとえばAIありなら勝利、AIなしなら非勝利なら、その試合では差が1になります。
しかし実際の試合では、どちらか一方しか起こりません。AIを使った試合で (Y_i(1)) を観測した瞬間、同じ試合の (Y_i(0)) は観測できません。これが反実仮想に関する因果推論の根本的な問題です。潜在的結果を用いた研究では、個々の結果を両方観測する代わりに、比較可能な集団について平均的な効果を推定します。差の差分析の研究でも (Y(1)) と (Y(0)) という潜在的結果の考え方が使われます。
平均処置効果なら、
です。ただし、平均で1パーセントポイント改善したという主張と、この一勝はAIが生んだという個別帰属は同じではありません。平均効果が正でも、AIが役立つ試合、ほとんど影響しない試合、条件次第で逆効果になる試合が混在する可能性があります。
医療研究との接続が有用なのはこの点です。治療後に患者が回復しただけでは、治療が原因とは確定しません。治療しなかった場合との比較が必要になります。ランダム化は、観測できる要因だけでなく観測できない要因についても、平均的に比較可能な群を作る強力な方法です。因果推論が疫学・医学だけでなく経済学や社会科学でも共有されているのは、この観測された変化と介入が生んだ変化を区別したいからです。
政策評価との接続では、ある政策を導入した地域だけを見るのではなく、導入しなかった地域が同時期にどう変化したかを見る差の差分析が代表例です。CallawayとSant’Annaは、複数期間と異なる導入時期を扱う差の差分析で、比較群や平行トレンドの条件が重要であることを体系化しています。
ただし、サッカーには独特の難しさがあります。医療研究の患者同士よりも、対戦する2チームの結果は明白に相互依存しています。AIで新しいコーナー戦術を導入すれば、対戦相手が映像を分析して守り方を変えるかもしれません。アイデアがリーグに広がれば、AI非導入クラブも間接的な影響を受けます。
これは因果推論の干渉の問題に近いものです。HudgensとHalloranは、他者への処置が自分の結果へ影響しないという通常の仮定が成立しない状況を扱いました。サッカーへそのモデルをそのまま適用できるという意味ではありませんが、比較群が完全に影響を受けないとは限らないという方法論上の警告として重要です。
したがって、AIなしの世界を作るとは、単に前年の自分を持ってくることではありません。可能な限り同じ時期・同じ競技環境にいて、AI以外の条件が比較可能な対象を作り、残る違いを明示する作業です。
勝率・期待勝点・xG――AIの効果は何を使って測ればよいのか
適切な指標は、AIに何を改善させようとしているのかで変わります。勝率が究極的な関心事でも、AIの最初の効果を測る指標として勝率が常に最適とは限りません。
| 指標 | 測っているもの | AI評価での利点 | 小標本・偶然 | モデル依存 | 因果推論上の限界 |
|---|---|---|---|---|---|
| 勝率 | 勝利した試合の割合 | 最終成果に直結 | 非常に大きい | 低い | 多数の原因が合流する |
| 実際の勝点 | 勝・分・敗を得点化した競技成果 | 引き分けを反映できる | 大きい | 低い | やはり最終結果で交絡が多い |
| 期待勝点 | 勝・分・敗確率から計算する期待値など | 結果の偶然を一部ならせる | 定義次第で勝点より滑らか | 高い | 確率モデルの正しさと因果識別は別 |
| xG | 各シュートが得点になる推定確率 | チャンスの量・質に近い | 得点より細かな情報を持つ | 高い | 勝利確率ではなく、AI原因とも限らない |
| xG差 | xG得点－xG失点 | 攻守の変化を同時に追える | 勝敗より滑らかな場合がある | 高い | 因果関係を自動的には示さない |
| 得失点差 | 実得点－実失点 | 攻守を一つの結果に集約 | 得点の偶然を受ける | 低い | 勝率と同じく原因が遠い |
勝率は、ここでは「勝利数÷対象試合数」です。シミュレーションでは引き分けと敗戦をまとめて「非勝利」として扱います。このため、勝率だけでは引き分けと敗戦の違いを失います。
実際の勝点を扱う場合、本記事の架空例では説明用に「勝利3点、引き分け1点、敗戦0点」と定義します。
試合前に勝利確率 (P_W)、引き分け確率 (P_D)、敗戦確率 (P_L) を推定し、3-1-0の勝点制を仮定するなら、
です。
ただし試合前のチーム力・対戦相手・ホーム条件などから勝敗確率を出すモデルもあれば、試合後に各チームのチャンス分布からこの内容なら何点が期待されたかを推定するモデルもあります。両者は同じ指標ではありません。
xGはさらに別です。Hudl StatsBombの説明では、xGは「あるシュートが得点になる確率」を過去の類似シュートから推定する指標です。距離、角度、身体部位、直前のアクションなどが代表的入力で、モデルによってはGKや他選手の位置なども使われます。そのため、同じシュートでもモデルが異なればxG値が異なり得ます。
たとえば3本のシュートに0.1、0.2、0.4のxGが付けば合計xGは0.7です。しかし「0.7点を取った」という意味でも、「70％で勝つ」という意味でもありません。xGから勝・分・敗確率を得るには、各シュートや得点数の確率構造について別のモデルを置く必要があります。
ここで起こりやすい誤解が、xGは勝敗より滑らかだから、AIの因果効果も分かりやすいという飛躍です。統計的ノイズが少ないことと、因果的に正しいことは別問題です。
AI導入後にxG差が改善しても、同時に強力なFWが加入していれば、その改善をAIへ帰属することはできません。逆に、AIがコーナー時の配置だけを支援しているなら、年間勝率より「提案を採用したコーナーで、狙った選手が先に触れたか」「シュートへつながったか」の方が、AIに近い評価指標になります。
FIFAのFootball Data Ecosystemも、サッカーデータをイベントデータと位置データなどとして扱い、標準化されたデータ環境の重要性を示しています。StatsBomb Open Dataも試合・イベント・ラインアップをJSONで公開し、360データは選択された試合に限っています。公開データは研究を可能にしますが、利用できる大会・期間・データ粒度が限定されるため、「公開データで見える世界＝プロサッカー全体」とはできません。
わずかな勝率改善は見つけられるのか？ 架空シーズンのシミュレーション
ここからはすべて架空データです。現実のクラブの成績ではありません。
本当に勝率が45％から46％へ、つまり1パーセントポイント改善したとしても、38試合の1シーズンだけからその差を読み取ることは極めて難しい――これが今回のシミュレーションの結論です。
架空データの設定
| 条件 | AI導入前 | AI導入後 |
|---|---|---|
| 試合数 | 38 | 38 |
| 真の勝利確率 | 45％ | 46％ |
| AI以外の条件 | 不変と仮定 | 不変と仮定 |
| 観測値 | 勝利=1、非勝利=0 | 勝利=1、非勝利=0 |
| 乱数シード | 20261016 | 20261016 |
| 仮想シーズン数 | 100,000 | 100,000 |
最初に整数問題があります。38試合なら、1勝の違いは、
パーセントポイントです。したがって、1シーズンの観測勝率は0％、2.63％、5.26％……という刻みでしか動きません。観測上の「ちょうど1パーセントポイント差」は38試合ではそもそも表現できません。
一方、真の勝率が45％から46％へ上がると、期待勝利数は、
勝増えます。これは長期間繰り返したときの平均です。現実に0.38試合勝つわけではありません。
乱数シードを固定して最初に生成された架空38試合では、導入前は16勝22非勝利で観測勝率42.11％、導入後は13勝25非勝利で34.21％になりました。真の勝率は1パーセントポイント上がっているのに、たまたま生成された1組のシーズンでは観測勝率が7.89パーセントポイント低下しています。
代表的な最初の10試合は次の通りです。
| 架空試合 | 導入前 | 導入後 |
|---|---|---|
| 1 | 非勝利 | 勝利 |
| 2 | 勝利 | 勝利 |
| 3 | 勝利 | 非勝利 |
| 4 | 非勝利 | 非勝利 |
| 5 | 勝利 | 勝利 |
| 6 | 非勝利 | 非勝利 |
| 7 | 非勝利 | 勝利 |
| 8 | 非勝利 | 非勝利 |
| 9 | 勝利 | 非勝利 |
| 10 | 勝利 | 非勝利 |
この一例だけなら運が悪かったで終わります。そこで、独立した導入前・導入後シーズンの組を10万回生成しました。
架空データ：10万回シミュレーション結果
| 指標 | 計算結果 |
|---|---|
| 導入前の平均観測勝率 | 44.987％ |
| 導入後の平均観測勝率 | 45.979％ |
| 平均観測差 | +0.991パーセントポイント |
| 導入前勝率の標準偏差 | 8.070パーセントポイント |
| 導入後勝率の標準偏差 | 8.081パーセントポイント |
| 前後差の標準偏差 | 11.428パーセントポイント |
| 真の改善があるのに導入後の観測勝率が低下 | 41.946％ |
| 観測勝率が同じ | 9.105％ |
| 観測勝率が上昇 | 48.949％ |
| 観測差が真の効果から10ポイント以上外れる | 35.746％ |
| 観測上10ポイント以上上昇 | 23.710％ |
| 観測上10ポイント以上低下 | 18.603％ |
理論上の二項分布から直接計算した導入後の勝利数が導入前より少なくなる確率は約41.96％で、シミュレーションの41.946％とよく一致しました。本当に1パーセントポイント改善していても、38試合ずつの単純比較では約4割のケースで見かけ上は悪化するということです。
観測された前後差のシミュレーション分布も広く、2.5パーセンタイルは約−21.05ポイント、中央値は0ポイント、97.5パーセンタイルは約+23.68ポイントでした。
単純な独立二項モデルで、真の確率45％と46％を既知として前後差の標準誤差を計算すると、
です。つまり約11.42パーセントポイント。正規近似で95％相当の幅は約±22.39ポイントになります。真の差1ポイントを中心にすると、繰り返し標本の典型的な95％範囲は概ね−21.4から+23.4ポイントです。
これは真の効果が95％の確率でこの範囲にあるという意味ではなく、頻度論的95％信頼区間は、同じ手続きを繰り返したとき、作られる区間の約95％が真の値を覆うよう設計された手続きと理解するのが基本です。
ではAIに効果がゼロならどうでしょうか。導入前後とも真の勝率45％として、同じ38試合×10万組を生成しました。
| AIの真の効果 | 観測上の出来事 | シミュレーション割合 |
|---|---|---|
| 0ポイント | 5ポイント以上上昇 | 36.664％ |
| 0ポイント | 10ポイント以上上昇 | 21.032％ |
| 0ポイント | 絶対値で10ポイント以上変化 | 41.876％ |
理論二項分布での対応値は、それぞれ約36.48％、20.99％、41.98％でした。つまり前年より10パーセントポイント近く良くなったという見た目さえ、38試合では偶然だけで珍しくありません。
ここで、45％から50％へ上がったという冒頭例をもう一度考えます。
| 架空シナリオ | AI効果 | その他の要因 | 真の勝率 |
|---|---|---|---|
| シナリオA | 0ポイント | +5ポイント | 45％→50％ |
| シナリオB | +1ポイント | +4ポイント | 45％→50％ |
観測される勝率は同じです。しかしAIの因果効果は違います。したがって結果の前後差だけから原因の内訳は一意に決まりません。この加算分解は説明用の架空モデルであり、現実の勝率が各原因のパーセントポイント効果を単純加算できるという主張ではありません。現実には選手と戦術の相互作用など、非線形な関係が考えられます。
さらに、45％対46％を「独立した2群の二値観測」とみなし、有意水準5％、両側検定、検出力80％、等標本数の2標本比率検定を正規近似すると、必要標本数は、
で、整数へ切り上げて各群38,926試合となりました。合計では77,852試合です。
有意水準5％とは、ここでは本当は差がないという帰無仮説の下で、規則に従って誤って差ありと判定する確率を5％に設定することです。検出力80％とは、45％と46％という指定された差が本当にあるとき、その検定が差を検出する確率を80％にすることです。
効果が1ポイントしかないのに、一試合の結果は「勝ちか非勝利か」という大きなばらつきを持ちます。小さな信号を大きなノイズから識別するため、必要試合数が急増します。
しかし、38,926試合集めれば現実のクラブでAIの効果を証明できる、という意味ではありません。この計算は各試合が独立し、勝利確率が固定され、AI以外の条件差がなく、二つの群が比較可能だという理想化に依存します。実際のチームは選手・監督・対戦相手・戦術が時間とともに変わり、連続試合の状態も関連し得ます。
そして最も大切なのは、標本数を増やすとランダム誤差は小さくなるが、系統的な偏りは自動的には消えないことです。1万試合を比較しても、AI導入群だけが常に予算の大きいクラブなら、非常に精密に「間違った因果効果」を推定することさえあり得ます。
選手の成長、移籍、対戦相手――勝率を変える別の原因をどう扱うか
「条件をそろえる」とは、AI導入と成績の両方に関係し得る要因を、時間的順序と因果経路を考えながら整理することです。
主要な候補には、新加入・退団選手、主力の成長、監督・コーチ交代、戦術変更、負傷・出場停止、対戦相手の強さ、ホーム・アウェー、日程密度、休養日数、リーグ・大会形式、クラブ予算、トレーニング環境、AI以外の分析スタッフ増員などがあります。
シーズン間比較では、さらに昇降格によって対戦相手集合そのものが変わる場合があります。リーグ参加数や試合数、対戦方式が変われば、順位や総勝点の単純比較も意味が変わります。このため実在クラブの研究では「同じクラブの前年」というだけで比較可能とは限りません。
AI導入のタイミングにも注意が必要です。たとえば成績不振を理由にAIを導入したなら、導入時点はランダムではありません。極端に悪かった時期の直後には、何もしなくても成績が通常水準へ戻る「平均への回帰」が見かけの改善を作る可能性もあります。
反対に、好調な資金力のあるクラブほど高度なAIを導入しやすいなら、AI利用クラブは強いという横断比較も、そのままでは導入効果になりません。AI採用を決める要因自体が勝率と関連しているからです。
もう一つ重要なのが、調整してはいけない変数まで調整しないことです。
たとえば、
という経路を評価したいとします。
ここでAI導入後のシュート数を回帰モデルの調整変数に入れてAIの総効果を測ろうとすると、AIがシュートを増やして生んだ効果の一部を統計的に遮断してしまいます。配置変更、シュート数、xGなどはこの想定ではAIの効果を伝える媒介変数だからです。
一方、AI導入以前に決まっていた対戦相手の過去戦力や開催地は、比較可能性を高めるための調整候補になり得ます。
つまり、変数をたくさん入れれば科学的になるわけではありません。「これはAIより前の原因か」「AIの影響を受けた後の変数か」という時間順序が必要です。HernánとRobinsの因果推論が、単なる相関調整ではなく介入とデータ生成過程を重視する理由もここにあります。
データ品質にも同じことが言えます。FIFAはイベントデータと位置データを含むFootball Data Ecosystemを整備し、Football Data Platformでは公式大会・試合データを集約しています。これは高度な比較分析の基盤になりますが、データが精細であること自体が因果識別を保証するわけではありません。
100万行のトラッキングデータでも、AIを使わなかった同等の世界が欠けていれば因果効果は曖昧なままです。逆に、粗い成果指標しかなくても、介入が適切にランダム化されていれば、対象とした効果については強い推論が可能な場合があります。
「ビッグデータ」と「良い比較」は、別の資源なのです。
AIの貢献を検証するには？ 前後比較から差の差分析・ランダム化まで
何の効果を知りたいか、どの単位なら介入を変えられるか、どこまで現場が協力できるかで最適な研究デザインは変わります。
| 方法 | 比較対象 | 必要データ | 強み | 必要な主な仮定 | 主な偏り・問題 | 実行可能性 | 許される因果主張 |
|---|---|---|---|---|---|---|---|
| 前後比較 | 同じクラブの導入前後 | 成績・導入時点 | 容易 | 他条件が大きく変わらない | 時間変化、平均への回帰 | 高い | 弱い |
| 類似クラブ比較 | 導入クラブ対似た非導入クラブ | 戦力、予算、過去成績等 | 同時期比較ができる | 観測外の重要差が小さい | 未観測交絡、選択 | 中〜高 | 条件付き |
| 差の差 | 導入・非導入群の前後変化 | 複数時点のパネル | 共通の時点ショックを差し引ける | 主に平行トレンドなど | 異なるトレンド、導入時期、波及 | 中 | 仮定が妥当なら比較的強い |
| 合成コントロール | 複数クラブを重み付けした仮想クラブ | 長い導入前履歴、比較クラブ | 一クラブ介入にも使いやすい | 良い導入前適合、適切なドナープール | 同時施策、外挿、波及 | 中 | 設計と適合に依存 |
| ランダム化 | AI提示あり・なしの意思決定機会 | 細粒度ログ、割付情報、成果 | 未観測交絡に強い | 割付順守、干渉・持越しの管理 | 学習、汚染、採用率 | 限定的 | 対象機会には強い |
| 段階導入 | 部門・練習・局面ごとの導入差 | 行動、中間成果、導入時点 | 現場に合わせやすい | 導入順序の理由を扱える | 時間変化、学習 | 比較的高い | 局所効果中心 |
前後比較は最初のモニタリングとして有用です。AI導入後に指標が悪化しているなら問題を探るきっかけになりますし、大幅改善なら次の精密検証へ進む理由になります。しかし、それだけで原因をAIと特定するには弱い設計です。
類似クラブとの比較では、リーグ、予算、過去成績、選手層などを合わせます。ただし、外から見える数字が似ていても、監督の能力、内部分析体制、負傷管理、クラブ文化など観測できない差が残り得ます。
差の差分析では、たとえばAI導入クラブが45％から50％へ5ポイント改善し、比較クラブ群も同時期に45％から48％へ3ポイント改善したなら、単純な差の差は、
パーセントポイントです。
しかし、この「2」が自動的にAIの効果になるわけではありません。重要なのは、AIがなかった場合にも両群の成績が似たトレンドをたどった、という平行トレンドに関する仮定です。CallawayとSant’Annaの方法は複数期間・異なる導入時期を扱い、単純な一つの二元固定効果回帰では扱いにくい処置効果の異質性にも対応する枠組みを提供します。
合成コントロール法なら、クラブBを30％、Cを20％、Dを50％というように組み合わせ、AI導入前の対象クラブに近い「合成クラブ」を作ります。Abadie、Diamond、Hainmuellerが比較事例研究向けに展開した方法で、介入前の結果・予測変数に近い対照を複数単位の加重平均から作るのが基本発想です。
ただし、適切な比較クラブの集合から導入前の対象クラブを十分再現できなければ、この方法も魔法ではありません。Abadie自身も後年、合成コントロールが信頼できる条件と失敗し得る条件、データ要件を明確に論じています。
最も因果推論として魅力的なのはランダム化ですが、サッカーでは「AIありのシーズン」と「AIなしのシーズン」を同じクラブへ同時に割り当てることはできません。そこで介入単位を小さくする発想が重要になります。
たとえば比較可能なセットプレー分析課題について、AIによる提案を分析スタッフへ提示するケースと、従来の分析だけを提示するケースを事前にランダム化する。あるいは一部の練習課題や対戦分析の情報提示をランダム化し、提案品質、採用、行動変化、中間成果を測る方法です。
それでも、監督がAI提案から学べば次のAIなし条件へ知識が持ち越されます。戦術情報は選手間で共有され、相手も学習します。提示されても採用されない提案もあります。したがって、AIを提示できる状態にした効果とAI提案を実際に採用した効果は分けなければなりません。
この考え方はとても重要です。年間勝率への1ポイント効果を直接証明することが難しくても、AIが最も直接介入する意思決定機会を実験単位にすれば、因果鎖の上流部分はより厳密に検証できる可能性があります。
ただし、その局所効果を年間勝率が1ポイント上がると外挿するには、さらに証拠が必要です。
AIの提案が優れていても、チームが勝つとは限らない
AIの性能と勝利への貢献は、次の一続きの鎖に分解すべきです。
AIによる分析・予測 → 提案や情報の提示 → 監督・選手の意思決定 → 実際の行動・戦術 → 局所的成果 → 得点・失点 → 勝点・勝率
この鎖の一番左で良い結果が出ても、右端まで到達したとは限りません。
予測AIなら、まず未使用データで予測性能を確かめます。勝率など確率を出すモデルなら、70％と予測したケースが長期的に本当に約70％起きるかという較正も重要です。将来を評価するモデルへ将来情報が混ざるデータ漏洩を防ぎ、時間順を考慮した検証を行い、単純な既存手法より本当に良いかを確かめる必要があります。
しかし予測が完璧でも、人間がその予測を見て同じ行動を取るなら競技成果は変わりません。予測することと介入することは違うからです。
この区別を理解するうえで、2024年3月19日にNature Communicationsに掲載されたWangらの「TacticAI: an AI assistant for football tactics」は非常に有用な実例です。研究はLiverpool FCの専門家と共同で、コーナーキックに焦点を当てています。7,176件のコーナーキックを使い、最初の受け手やシュート発生の予測、選手配置の調整提案などを評価しました。データは訓練用80％・テスト用20％に分けられています。
そして専門家5人による50件の戦術調整の評価では、45件、つまり90％でTacticAIの提案が平均的に好意的に評価されました。論文は受け手予測、シュート予測、類似コーナー検索、生成した配置案の専門家評価を報告しています。
ここで最も重要なのは、90％はAIを使えば90％勝てるという数字ではないことです。
この研究で確認されたのは、コーナーキックという限定された場面での予測・検索性能と、生成された戦術案に対する専門家評価です。論文はLiverpool FCの年間勝率がTacticAIによって上がったかをランダム化比較していませんし、勝率への因果効果を推定していません。論文自身も、定量的なモデル性能だけでは実際に導入した際の有用性を間接的にしか示せないため、人間の専門家による評価を行ったと説明しています。
これは研究の弱点をあげつらう話ではありません。研究が答えようとした問いを、答えていない問いまで拡張しないという科学コミュニケーションの基本です。
公開研究の範囲はその後も広がっています。たとえば2026年5月にScientific Reportsで公開された深層学習によるサッカー戦術分析研究は、イベント予測や軌跡予測などのモデル性能を扱っています。こうした研究はAIによる分析能力の進歩を示す一方、それ自体がクラブの勝率への因果効果を示す研究デザインではありません。
そこでAI導入を評価するときは、少なくとも次の結果を別々に記録すべきです。
予測性能：AIは将来やイベントを正確に予測できたか。
提案品質：専門家が提案を妥当だと評価したか。
提示：現場へ適切なタイミングで届いたか。
採用：監督・分析担当者が実際に使ったか。
実行：選手の動きや戦術が変わったか。
局所成果：狙った場面でシュート、ボール回収、被シュート抑制などが改善したか。
得点・勝点：その変化が最終成果まで届いたか。
この分解は監督がAI出力を文脈に合わせて修正したこと、選手が実行できたこと、分析担当者が情報を使える形へ変換したことも因果鎖の一部として可視化します。
「AIが勝たせた」と「人間が勝たせた」の二択ではありません。現実の競技成果は共同生産物です。科学的に問えるのは、AIを含む仕組みを変えたとき、比較可能な条件で結果の分布がどう変わったかです。
小さな勝率改善を証明できなくても、AIの価値は評価できるのか
結論は、できます。ただし何を証明したかのラベルを正確に付ける必要があります。
年間勝率が1パーセントポイント上がったことを単一クラブで厳密に因果推定するのは、先ほどのシミュレーションが示すように非常に難しい課題です。38試合なら1勝だけで2.63パーセントポイント動き、理想化された独立2群比較でさえ45％対46％を80％の検出力で見つけるには各群約3.9万観測を要します。
だからといって、勝率への効果を証明できないAIは無価値とするのは論理が逆です。
統計的に有意でないことは、効果がゼロだと証明したという意味ではありません。データが少なく、信頼区間が−20ポイントから+20ポイントまで広いなら、ゼロなのか、小さな正の効果なのか、小さな負の効果なのか区別できないが正確な結論です。
反対に統計的に有意でも、因果関係が証明されたとは限りません。10万試合の観測データがあれば、ごく小さな相関も統計的には明瞭になります。しかしAI導入クラブだけ予算が大きいという交絡が残っていれば、有意な差はAI効果ではない可能性があります。
現実的なAI評価では、証拠を階層化すると分かりやすくなります。
一番下には導入後に勝率が上がったという前後相関があります。その上に、対戦相手などを調整した比較、類似クラブ比較、差の差、合成コントロールがあります。さらに、AIが直接介入した局面でのランダム化・段階導入や、提案→採用→行動変化という中間経路の実測があります。
そして評価対象も分けるべきです。
AIを利用可能にした効果と、AIの提案を実際に採用した効果は違います。
AI単体のモデル効果と、AI＋分析担当者＋新しい映像・データ基盤をまとめて導入した効果も違います。
年間勝率への総効果と、コーナーキック一場面への局所効果も違います。
クラブの経営判断では、これらを一つの「AI効果」という数字へ潰さない方が実用的です。
たとえば、AI導入によって分析作業時間が短縮された、同じ人員で多くの対戦相手を分析できた、専門家による提案評価が改善した、採用された提案で狙ったプレーが増えた――これらはそれぞれ測定可能な価値です。ただし、それを根拠に勝率が1ポイント上がったとしてはいけません。
逆に、年間勝率に統計的有意差が出ていなくても、中間指標に再現性のある改善があり、費用が合理的で、望ましくない副作用が少なく、複数のシーズン・場面で同じ方向の証拠が積み上がるなら、導入を続けるという経営判断は十分あり得ます。それは数学的な完全証明ではなく、不確実性の下での意思決定です。
この考え方は、選手や監督への敬意とも両立します。AIの因果効果を推定する目的はこの勝利の何％は選手、この何％はAIと功績を機械的に切り分けることではありません。戦術の提案を監督が選び、選手が理解し、相手の反応を読みながら実行するなら、AIの情報は人間の意思決定系の一部として価値を持ちます。
一方で、人間の専門性を尊重することは測らなくてよいという意味でもありません。AIに費用と時間を使う以上、それが情報品質、意思決定、行動、局所的成果のどこを改善したのかを記録することは、現場にとっても有益です。
したがって、AIによってサッカーの勝率が1パーセントポイント上がったと強く主張するために必要なのは、勝率グラフが上向いたことではありません。
必要なのは、評価する介入を明確に定義すること、AIがなかった場合を説得力のある比較から推定すること、AI以外の変化を扱うこと、十分な不確実性を示すこと、そしてAIから意思決定・行動・局所成果・勝点へ至る経路に整合的な証拠があることです。
そのすべてを満たせない場合でも、証拠を弱いものから強いものへ積み上げ、「ここまでは確認できた」「ここから先はまだ推論である」と境界線を引くことはできます。
AI導入後に勝ったのだからAIのおかげだという問いを、AIがなかった場合と比べ、何が、どの程度、どの経路で変わったのかという問いへ変える。それが、サッカーAIを科学的に評価する最も重要な一歩です。
そして最後に残るのは、より実務的な問いです。
AIが勝利に何％貢献したかを厳密に分離することが難しいとき、私たちは、どのような証拠をもって、その技術を使い続けると判断すべきなのでしょうか。
よくある疑問Q&A
AI導入後に勝率が上がれば、AIに効果があったと言えますか？
それだけでは言えません。導入後の上昇は関連を示しますが、選手移籍、監督、戦術、負傷、対戦相手、偶然などを区別できません。AIを使わなかった場合の反実仮想を比較群や研究デザインから推定する必要があります。
勝率1パーセントポイントの改善を証明するには何試合必要ですか？
45％対46％、独立した2群、等標本数、両側5％検定、検出力80％という理想条件で、本稿の正規近似計算では各群38,926試合です。ただし現実のクラブは独立性・一定確率・無交絡という前提を満たさないため、3.9万試合あれば実クラブで証明できるという意味ではありません。
xGが改善したらAIの効果と言えますか？
言えません。xGはシュートが得点になる確率をモデル化した指標で、AI導入後の改善がAI原因かは別の因果問題です。またモデルごとに入力情報や推定値が異なり得ます。
期待勝点と実際の勝点は何が違いますか？
実際の勝点は起きた試合結果から計算します。期待勝点は勝・分・敗の推定確率などから平均的に期待される勝点を計算するモデル量です。同じ「期待勝点」という名称でも、試合前予測と試合内容からの事後推定では意味が違うので定義確認が必要です。
AIの予測精度が高ければチームは強くなりますか？
必ずしもそうではありません。予測が良くても現場へ届かない、採用されない、選手が実行できない、相手に対策される、といった段階があります。TacticAIもコーナーキックで予測・提案・専門家評価を検証していますが、チーム年間勝率への因果効果を検証した研究ではありません。
実在クラブのAI効果は公開データだけで検証できますか？
限定的です。試合結果やイベントデータから外部評価はできますが、AIをいつ、誰が、どの場面で見て、提案を採用し、実際の行動がどう変わったかという内部ログがなければ、AI固有の因果効果を識別するのは難しくなります。StatsBomb Open Dataなども研究利用には有用ですが、公開範囲は限定されています。
統計的に有意でないなら、AIには意味がないのですか？
違います。有意でない結果は、効果ゼロだけでなくデータが足りず、小さな効果を見つけられない場合にも生じます。効果推定値と信頼区間、検出力を一緒に見る必要があります。
統計的に有意なら、AIが原因だと証明できますか？
できません。統計的有意性は、選んだ統計モデルの下で偶然変動だけでは説明しにくいことを示す指標であり、交絡や選択バイアスが消えたことを意味しません。因果主張の強さは研究デザインと仮定に依存します。
AIの貢献を評価すると、選手や監督の価値を低く見ることになりませんか？
そうする必要はありません。AI出力が成果へ届くには、人間による解釈、選択、コミュニケーション、実行が必要です。因果効果を調べる目的は功績を奪うことではなく、システムの一部を変えたとき何が変わったかを理解することです。
参考
Wang, Z. et al.｜TacticAI: an AI assistant for football tactics｜2024年3月19日｜コーナーキック7,176件、受け手・シュート予測、配置提案、Liverpool FC専門家による評価、提案が50ケース中45ケースで好意的に評価されたこと、および年間勝率を評価していないことを確認。
URL：https://www.nature.com/articles/s41467-024-45965-x
Hernán, M. A. & Robins, J. M.｜Causal Inference: What If｜2020年｜反実仮想、介入、ランダム化、観察研究を含む因果推論の基礎資料であることを確認。
URL：https://miguelhernan.org/whatifbook
Callaway, B. & Sant’Anna, P. H. C.｜Difference-in-Differences with Multiple Time Periods｜2021年｜複数期間、異なる処置時期、条件付き平行トレンドを扱う差の差分析の原論文であることを確認。DOI 10.1016/j.jeconom.2020.12.001。
URL：https://www.sciencedirect.com/science/article/pii/S0304407620303948
Callaway, B. & Sant’Anna, P. H. C.｜Getting Started with the did Package｜2026年7月30日更新｜複数期間・導入時期の違い、群・時点別ATTなど、原論文に基づく著者公式実装説明を確認。
URL：https://bcallaway11.github.io/did/articles/did-basics.html
Abadie, A., Diamond, A. & Hainmueller, J.｜Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California’s Tobacco Control Program｜2010年｜複数の比較単位から合成対照を構築する比較事例研究法を確認。DOI 10.1198/jasa.2009.ap08746。
URL：https://www.tandfonline.com/doi/abs/10.1198/jasa.2009.ap08746
Abadie, A.｜Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects｜2021年6月｜合成コントロール法の実行可能性、データ要件、信頼できる状況と失敗し得る状況を確認。DOI 10.1257/jel.20191450。
URL：https://www.aeaweb.org/articles?id=10.1257/jel.20191450
Hudgens, M. G. & Halloran, M. E.｜Toward Causal Inference With Interference｜2008年6月｜他の単位への介入が自分の潜在的結果へ影響する「干渉」を扱った原研究であることを確認。DOI 10.1198/016214508000000292。
URL：https://pmc.ncbi.nlm.nih.gov/articles/PMC2600548/
FIFA｜Football data ecosystem｜発表日未確認｜イベントデータ・位置データを含むフットボールデータの統合・標準化環境を確認。
URL：https://inside.fifa.com/innovation/innovating-the-game/football-data-ecosystem
FIFA｜Football Data Platform｜発表日未確認｜公式トーナメント・試合データをFIFA Data Hubから取り込み表示するプラットフォームであることを確認。
URL：https://inside.fifa.com/innovation/innovating-the-game/football-data-platform
Hudl StatsBomb｜What are Expected Goals (xG)?｜発表日未確認｜xGをシュートの得点確率として定義すること、距離・角度・身体部位・直前行動などを入力にし、モデル間で値が異なり得ることを確認。
URL：https://www.hudl.com/blog/expected-goals-xg-explained
Hudl / StatsBomb｜StatsBomb Open Data｜発表日未確認｜一部リーグの公開、competitions・matches・events・lineupsのJSON構造、StatsBomb 360が選択された試合のみであることを確認。
URL：https://github.com/hudl/open-data
The International Football Association Board｜Laws of the Game Documents｜2026/27版を2026年10月16日時点で確認｜最新競技規則の確認先として使用。
URL：https://www.theifab.com/laws-of-the-game-documents/
Huang, W. et al.｜The application of deep learning in tactical analysis of football matches｜2026年5月7日｜イベント予測・軌跡予測等のAI戦術分析研究として確認。勝率への因果効果研究とは区別した。
URL：https://www.nature.com/articles/s41598-026-48082-5
コメント