第21章 小さく試して学ぶ
第20章では、価値提案を対象、妨げ、現在の代替、仕組み、変化、証拠へ分け、最も重要で未検証な仮説を一つ指定しました。その仮説を確かめないまま完成品を作ると、実装の進捗が学習の進捗に見えてしまいます。
小さく試すとは、小さな製品を作ることではありません。次の意思決定を変える証拠を、許容できる費用と危険で得ることです。
図 21-1 は、左から右へ「価値提案のどこが未知か」「反対なら計画が変わる仮説は何か」「どう試すか」「何を観測するか」を見ます。最後は成功報告ではなく、追加、変更、中止の判断へ戻します。
21.1 仮説を一つの文へ分ける
「業種別テンプレートは成功する」では、何を試すか決まりません。価値提案に含まれる仮説を分けます。
| 種類 | 仮説の例 | 反対なら変えるもの |
|---|---|---|
| 課題 | 顧客は必要な設定を判断できず止まる | 対象・課題 |
| 価値 | 判断項目が減れば 14 日以内の完了が増える | 仕組み |
| 行動 | 顧客はテンプレートを実際に使う | 提供方法 |
| 支払 | 顧客は支援込みの価格を受け入れる | 価格・対象 |
| 実現 | 主要業種を少数の型で表現できる | 設計・範囲 |
| 事業 | 支援時間を含めても累積粗利が残る | 提供・撤退 |
| 安全 | 誤設定を検知し重大な影響を防げる | 制御・中止 |
仮説は「誰について」「何をすれば」「何が観測される」「どの期間で」を含むようにします。複数の仮説を一つの実験へ詰め込むと、結果の理由が分かりません。
本章でいう実験は、無作為化比較だけを指しません。顧客観察、ユーザビリティ評価、手動提供、技術検証、限定リリースなど、仮説に対して証拠を得る計画的な試行の総称です。
21.2 重要度と不確実性で順番を決める
すべてを同じ深さで検証する必要はありません。反対だったときに選択が変わる重要な仮説と、証拠が弱い仮説を先にします。
| 証拠が弱い | 証拠が強い | |
|---|---|---|
| 選択を大きく変える | 最初に検証する | 監視しながら進む |
| 選択をあまり変えない | 後回しまたは検証しない | 前提として記録する |
安全、法令、重大な顧客損害は、発生確率が低く見えても先に確認します。重要度を売上だけで決めません。
設計の重さは、判断の投資額、不可逆性、顧客損害、法令・安全上の危険に比例させます。低額で可逆な判断なら、支出上限、少数顧客、短い観察で十分なことがあります。大きく不可逆な判断ほど、比較、専門確認、監視、記録を強くします。
21.3 MVP、プロトタイプ、PoC を目的で分ける
用語は組織によって異なります。本書では、成果物の見た目ではなく、何を学ぶかで分けます。案件開始時に、チーム内で使う定義と完了条件を合意します。
| 方法 | 主に確かめること | この例 |
|---|---|---|
| プロトタイプ | 顧客が理解・操作できるか | クリック可能な画面で設定手順を試す |
| コンシェルジュ型 MVP | 人が裏で提供して価値・行動を確かめる | 担当者が業種別の初期設定案を作る |
| PoC | 技術・連携・性能が成立するか | 既存 API から設定候補を生成できるか |
| 限定リリース | 実環境で成果・運用・経済性が成り立つか | 20 社だけにテンプレートを提供する |
画面を作ればプロトタイプ、コードを書けば PoC という分類ではありません。顧客価値が未知なのに技術 PoC だけ成功しても、投資判断には足りません。
方法を選ぶ前に、紙、表計算、手作業、既存ツールで同じ仮説を反証できないかを問います。忠実度の高い実装が必要なのは、現実の性能、連携、運用でなければ測れない場合です。
21.4 実験を意思決定から逆算する
実験計画は方法からではなく、結果によって何を決めるかから作ります。
意思決定:
業種別テンプレートへ追加 400 万円を投資するか。
最重要仮説:
必要項目を事前選択すると、設定品質を下げず 14 日以内の完了が増える。
比較:
事前に定義した対象で、テンプレートあり／現在手順を比べる。
観測:
完了、所要日数、支援時間、誤設定、手戻り、主要機能利用。
判断:
追加、変更、中止の条件を開始前に固定する。
実験名、ツール、画面数から始めず、意思決定、仮説、観測、判定の順に設計します。
実験計画は、少なくとも次を一箇所にまとめます。
- 意思決定と最重要仮説
- 対象、比較、選定方法、観測期間
- 方法と実施内容
- 主指標、反対指標、探索指標、観測時点
- 追加・変更・中止の基準値
- 顧客への説明、危険、停止手順
- 意思決定者、実験責任者、分析者、停止権を持つ確認者
- 結果を確認する会議日
低リスクで可逆な試行なら、「3 社へ手作業で提供し、1 週間以内に自力完了できるかと重大な手戻りを観察する。担当者時間は合計 12 時間まで。苦情または誤設定で停止し、翌週の会議で継続を決める」という一段落でも構いません。
21.5 成功条件と中止条件を開始前に決める
結果を見てから基準を変えると、ほぼ何でも成功と説明できます。例として 3 か月の判定を置きます。
次の条件は構造を示す架空例です。「比較基準」「上限」は空欄のまま開始せず、案件の基準率、許容差、能力、現金から意思決定者が数値を固定します。
| 判定 | 条件の例 | 次の行動 |
|---|---|---|
| 追加 | 完了率が比較基準を上回り、誤設定と支援時間が上限内 | 限定実装へ進む |
| 変更 | 完了は増えるが、特定業種で手戻りが多い | 対象・テンプレートを狭める |
| 中止 | 完了が改善しない、重大事故、最低現金を割る | 追加投資を止める |
| 再実験 | 実施不備で結果を解釈できない | 新しい上限と期限を承認する |
成功条件だけでなく、反対指標、停止権、撤退手順も決めます。良い結果でも、提供能力、担当者時間、同時実験数、現金の上限を超えるなら、拡大を保留します。データが足りないことを理由に、自動延長しません。再実験は、事前に定義した実施不備で解釈不能だった場合に限り、回数、追加予算、期限を意思決定者が再承認します。
21.6 検証したふりになる指標を避ける
ページ閲覧、登録、デモへの好意的反応は、学習の手掛かりにはなりますが、価値の証明ではありません。
| 弱い指標 | 何が分からないか | より強い観測 |
|---|---|---|
| 「欲しい」と回答 | 実際に使う・払うか | 予約、契約、前払い、継続利用 |
| デモを閲覧 | 課題を解決できるか | 自力完了、業務結果 |
| 登録数 | 対象顧客か、利用したか | 適格顧客の利用・完了 |
| 平均時間が短縮 | 一部で重大な失敗がないか | 分布、例外、手戻り |
ただし、強い証拠ほど高価で危険な場合があります。初期の弱い証拠で明らかに反対なら安く止め、残った仮説だけ強い証拠へ進めます。
指標は開始前に分けます。主指標は意思決定の中心、反対指標は主指標の改善と引き換えに起きる損害、探索指標は次の仮説を見つける観測です。探索指標が良かったという理由で、主指標の未達を成功へ変更しません。
21.7 比較できる観測を作る
変化を見るには、何と比べるかが必要です。無作為化比較が常に可能とは限らず、実施しても群間の干渉、割付どおり使われないこと（順守不良）、倫理、小標本の問題が残ります。誰に対する効果を知りたいのかを先に定め、少なくとも対象選定、開始時点、観測期間、欠測、併用施策を記録します。
過去顧客との比較には、時期や顧客構成の差があります。同時期の比較群にも、顧客同士への情報共有や担当者差があります。因果を断定できない場合も、どの別説明が残るかを書きます。
母数を慣習的に 20 社と決めません。意思決定を変える最小の差、現在の基準率、ばらつき、欠測、実施可能性から設計し、必要なら統計や調査の専門家が確認します。統計的に偶然とは考えにくい差と、投資や顧客にとって意味のある差は同じではありません。十分な精度を得られない小標本では、各社の経路、中央値、範囲、重大例外を示し、結論の対象を限定します。20 社中 16 社のように母数と実数も示します。
欠測した対象を単に除外せず、なぜ記録が欠けたかを確認します。離脱、利用不能、連絡断が原因なら、欠測そのものが価値や実施可能性の結果かもしれません。
実施中は、誰をどの条件へ割り付け、何を提供し、顧客が実際に何を使い、計画から何が逸脱したかを記録します。仕組みが効かなかったのか、提供されなかったのか、使われなかったのかを分けます。逸脱があっても全結果を捨てず、どの推論へ影響したかを評価し、解釈できる対象と範囲を限定します。
21.8 実験そのものの危険を管理する
「実験だから」は、品質、安全、法令、顧客説明を省く理由になりません。
- 顧客に試行範囲と既知の制約を説明する
- 同意、個人情報、機密情報の扱いを確認する
- 重大事故時の停止権と連絡先を決める
- 元の状態へ戻す方法とデータ保持を決める
- 不利益を受けやすい顧客へ偏らないか確認する
- 本番との差と、一般化できない部分を記録する
顧客を無料の実験資源として扱いません。参加に必要な時間、想定される不利益、得られる便益、失敗時の復旧や補償を事前に決めます。重大事故だけでなく、苦情、支援能力超過、現金上限を超えた場合も停止できるようにします。
不可逆な損害があり得る場合、小さな対象数だけでは安全になりません。専門確認、隔離環境、段階的な権限、監視を先に置きます。
21.9 AI で実験案を作り、解釈を反証する
AI は、同じ仮説に対する複数の実験、交絡、反対指標、代替説明を出すのに役立ちます。
意思決定、仮説、対象、制約、既存証拠を示します。
1. 最も安く反証できる方法から 3 案出す
2. 各案が直接測る仮説と、測れない仮説を分ける
3. 比較対象、選定差、欠測、併用施策を挙げる
4. 成功、変更、中止、再実験の条件案を出す
5. 顧客・提供者の危険と停止手順を挙げる
6. 結果が良い場合と悪い場合の代替説明を出す
7. 根拠のない母数、効果量、確率を作らない
AI に実験結果を要約させると、平均へ収束させ、反対事例を軽く扱うことがあります。元データ、除外、欠測、例外へ戻り、集計を再現します。顧客データは利用環境と契約を確認し、必要最小限にします。
AI の出力を実験設計や判定材料へ使う場合は、付録 E「AI 出力レビューシート」で、入力した事実、推論、根拠のない補完、機密情報の扱いを確認します。レビューシートは承認印ではなく、判断に使う前に人が見るべき論点を落とさないための確認です。
意思決定者が追加・変更・中止を選び、実験責任者が計画どおり実施し、分析者が集計と限界を確認します。安全・法務などの確認者は停止権を持ちます。小規模チームで兼任する場合も、実施者の解釈を別の人が確認します。
21.10 学びを次の選択へ変える
実験の成果物は「成功しました」という報告ではありません。次の意思決定記録です。
- 何を決めるための実験だったか
- 事前に置いた仮説と判定条件
- 実施内容と計画からの逸脱
- 観測結果、欠測、反対事例
- 残る代替説明と未検証仮説
- 追加、変更、中止、再実験の決定
- 責任者、次の期限、支出上限
- 早期判定後も監視する遅れて現れる成果・損害
- 中止後の顧客対応、データ、成果物、担当者の再配置
期待と異なる結果も、安く不可逆な投資を避けられたなら価値があります。一方、何も選択を変えない実験は、興味深い情報を得ても投資として弱い可能性があります。
考えてみる問い
第20章で作った価値提案から、反対なら計画が最も変わる未検証仮説を一つ選んでください。それを最も安く反証する方法、比較、観測、反対指標、追加・変更・中止条件を書いてください。
小さく試すとは、機能を減らした完成品を早く出すことではありません。選択を変える未知を一つ選び、目的に合う試し方を使い、結果を見る前に判定条件を固定し、学びを追加・変更・中止へ変えることです。
第7部では、この分析と検証を、相手が判断でき、組織が実行できる提案へ変えます。第22章では、結論、根拠、選択肢、危険、次の行動を、相手の意思決定順に組み立てます。
参考資料
最終確認日: 2026 年 7 月 15 日。本章の仮想実験、判定表、AI への依頼例は、以下の資料を踏まえた本書独自の整理です。
- GOV.UK Service Manual ― Making prototypes ― 学びたいことに応じて試作品の精度を選び、早期から反復する考え方を参照
- David J. Bland、Alexander Osterwalder『Testing Business Ideas: A Field Guide for Rapid Experimentation』第 1 版、Wiley、2019 年 ― 仮説、実験、証拠、学習の対応を参照
- Eric Ries『The Lean Startup』Crown Currency、2011 年 ― MVP と検証による学習の考え方を参照