この事例の誤りは、最初の仮説に早期に固定化し（早期閉鎖）、それを支持する証拠だけを集めた確証バイアスにあります。UIへの不満コメントは「UIが原因」と整合しますが、他の仮説（競合アプリの登場、季節要因、通知設定の変更、特定セグメントの離脱）とも矛盾しないため、仮説を識別する力を持たない証拠でした。Heuer の競合仮説分析では、まず考えうる仮説を複数列挙し、次に各証拠がそれぞれの仮説と整合するか矛盾するかを行列で評価します。重要なのは「支持する証拠の多さ」ではなく「矛盾する証拠の少なさ」で仮説を評価する点です。本来は、利用率低下の時期・セグメント・行動データを見て、UI変更以外の仮説を排除できる証拠（UI変更前から低下が始まっていないか、UI未適用のユーザーでも低下しているか）を優先的に集めるべきでした。The error here is premature closure, fixing on the first hypothesis early, combined with confirmation bias, collecting only evidence that supported it. Complaints about the UI are consistent with 'the UI is the cause,' but they are also consistent with other hypotheses (a new competitor, seasonality, a change in notification settings, churn in a specific segment), so they had no power to discriminate between hypotheses. Heuer's Analysis of Competing Hypotheses starts by listing several plausible hypotheses, then evaluates in a matrix whether each piece of evidence is consistent or inconsistent with each hypothesis. The key principle is to judge hypotheses by how little evidence contradicts them, not by how much supports them. The manager should have prioritized evidence capable of eliminating alternatives: did the decline begin before the UI change, and did users who never received the new UI also decline?
Richards Heuer は CIA の分析官として、1999年の『Psychology of Intelligence Analysis』で競合仮説分析（ACH）を提唱しました。この手法の核心は、人間が自然に行う「お気に入りの仮説を確認する」思考を、「すべての仮説を反証しようとする」思考に置き換える点にあり、Popper の反証主義を実務に落とし込んだものです。優れた解答は、（1）早期閉鎖と確証バイアスという二つの誤りを区別し、（2）「整合する証拠」が必ずしも「識別する証拠」ではないという診断的価値の概念を説明し、（3）ACH の手順（仮説の列挙、証拠行列、矛盾による評価）を正しく示し、（4）この事例で集めるべきだった具体的な識別証拠を挙げています。医療の鑑別診断も同じ構造を持っています。Richards Heuer, a CIA analyst, introduced Analysis of Competing Hypotheses (ACH) in Psychology of Intelligence Analysis (1999). Its core move is to replace the natural habit of confirming a favored hypothesis with an effort to disconfirm every hypothesis, putting Popper's falsificationism into practice. A strong answer (1) distinguishes the two errors of premature closure and confirmation bias, (2) explains the concept of diagnostic value, that consistent evidence is not necessarily discriminating evidence, (3) correctly outlines the ACH procedure (enumerate hypotheses, build the evidence matrix, evaluate by inconsistency), and (4) names the specific discriminating evidence that should have been gathered in this case. Ideally it also notes that a near-irreversible decision, the rollback, was made on non-diagnostic evidence. Differential diagnosis in medicine follows the same logic.
競合仮説分析は時間と規律を要し、迅速な対応が求められるプロダクト開発の現場では「分析している間に手を打つべきだ」という圧力に負けやすいです。また、仮説を網羅的に列挙しても、想定外の原因は最初から含まれません。証拠の「整合・矛盾」の判定自体が主観的で、分析者の先入観が入り込む余地は残ります。ACH takes time and discipline, and in fast-moving product environments it easily loses to the pressure to 'act while you're still analyzing.' Enumerating hypotheses exhaustively still omits causes no one imagined. And the consistent/inconsistent judgments themselves are subjective, leaving room for the analyst's preconceptions.
重要な判断の前には「他に少なくとも三つの説明を挙げ、それらを排除する証拠を一つずつ示す」という軽量版の ACH を標準手順にしましょう。巻き戻しのような大きな対応は、一部ユーザーへの限定適用（A/Bテスト）で仮説を検証してから全体に広げることで、分析と行動の速度を両立できます。仮説と証拠の記録を残し、後で答え合わせをする習慣も精度を高めます。Make a lightweight ACH standard before important decisions: name at least three alternative explanations and cite one piece of evidence that rules out each. For major responses such as a rollback, test the hypothesis on a subset of users first (an A/B test) before rolling out broadly, reconciling analytical rigor with speed. Recording hypotheses and evidence and checking them later also sharpens accuracy over time.