AIに「やめろ」と言わせる仕組み：Go/No-Go判定の自動化

1
施策を100時間かけて実装した
2
  → 結果が出ない
3
  → 「もう少し調整すれば...」
4
  → さらに50時間投入
5
  → やっぱり結果が出ない
6
  → 「ここまでやったのにやめるのはもったいない」
7
  → さらに30時間投入...

1
判定条件（すべてを満たす場合のみGO）:
2
  1. サンプルサイズ: 30回の実行以上
3
  2. 成功率の信頼区間: Wilson信頼区間の下限 > 40%
4
  3. 実行頻度: ポアソン分布で期待頻度を検証
5
  4. システム破綻確率: Monte Carloシミュレーション で ≤ 0.01%

1
import numpy as np
2
from scipy import stats
3

4
def wilson_confidence_interval(successes: int, total: int, confidence: float = 0.95) -> tuple[float, float]:
5
    """Wilson信頼区間を計算"""
6
    if total == 0:
7
        return (0.0, 0.0)
8
    z = stats.norm.ppf(1 - (1 - confidence) / 2)
9
    p_hat = successes / total
10
    denominator = 1 + z**2 / total
11
    center = (p_hat + z**2 / (2 * total)) / denominator
12
    margin = z * np.sqrt(p_hat * (1 - p_hat) / total + z**2 / (4 * total**2)) / denominator
13
    return (center - margin, center + margin)
14

15
def go_no_go_judgment(successes: int, total: int, threshold: float = 0.40) -> str:
8 collapsed lines
16
    """Go/No-Go判定"""
17
    if total < 30:
18
        return "PENDING"  # サンプル不足
19
    lower, upper = wilson_confidence_interval(successes, total)
20
    if lower > threshold:
21
        return "GO"
22
    else:
23
        return "NO-GO"

1
from scipy.stats import poisson
2

3
def validate_execution_frequency(
4
    observed_executions: int,
5
    days_elapsed: int,
6
    expected_executions_per_day: float
7
) -> dict[str, str | float]:
8
    """実行頻度がポアソン分布の期待値と整合するか検証"""
9
    expected_total = expected_executions_per_day * days_elapsed
10
    p_value = poisson.cdf(observed_executions, expected_total)
11
    return {
12
        "expected": expected_total,
13
        "observed": observed_executions,
14
        "p_value": p_value,
15
        "judgment": "WARNING" if p_value < 0.05 else "OK",
1 collapsed line
16
    }

1
def estimate_ruin_probability(
2
    success_rate: float,
3
    reward_ratio: float,
4
    risk_per_execution: float = 0.02,
5
    initial_resource: float = 1.0,
6
    num_simulations: int = 10000,
7
    max_executions: int = 1000,
8
) -> float:
9
    """Monte Carloでシステム破綻確率を推定"""
10
    ruin_count = 0
11
    rng = np.random.default_rng(42)
12
    for _ in range(num_simulations):
13
        resource = initial_resource
14
        for _ in range(max_executions):
15
            if rng.random() < success_rate:
7 collapsed lines
16
                resource += resource * risk_per_execution * reward_ratio
17
            else:
18
                resource -= resource * risk_per_execution
19
            if resource <= 0:
20
                ruin_count += 1
21
                break
22
    return ruin_count / num_simulations

1
期間: 2026-01-15 〜 2026-02-28（45日間）
2
実行数: 42（30以上: ✅）
3
成功率: 35%（15成功 / 42実行）
4
コスト対効果比: 2.8

1
# Wilson信頼区間の計算
2
lower, upper = wilson_confidence_interval(successes=15, total=42)
3
# lower = 0.222, upper = 0.502
4

5
# Go/No-Go判定
6
result = go_no_go_judgment(successes=15, total=42, threshold=0.40)
7
# result = "NO-GO"
8
# 理由: Wilson下限 0.222 < 閾値 0.40

1
期待値の計算:
2
  成功率35% × コスト対効果比 2.8 = 0.35 × 2.8 - 0.65 × 1.0 = 0.33（プラス）
3

4
しかし:
5
  Wilson下限22%で計算すると:
6
  0.22 × 2.8 - 0.78 × 1.0 = -0.164（マイナス）

1
凍結時のアクション:
2
  1. 処理パターンを enabled: false に設定
3
  2. 凍結理由と判定データをWBSに記録
4
  3. 再評価日を90日後に設定
5
  4. 運用環境の変化（レジーム転換）があれば前倒しで再評価

1
NEW-11（リトライ制御処理）:
2
  Go/No-Go判定: 2026-04-01
3
  判定基準: 30実行以上, Wilson下限 > 40%

1
計画 → 実装 → Dry-Run → Practice → Go/No-Go → 本番 or 凍結
2
                                        ↑
3
                                   統計的判定
4
                                  （人間の感情を排除）

1
2026-01  パターン検出アルゴリズムA  → NO-GO（成功率35%, Wilson下限22%）
2
2026-01  RSI平均回帰処理           → GO（成功率52%, Wilson下限41%）
3
2026-02  統計的反発検出B           → GO（成功率48%, Wilson下限42%）
4
2026-02  グリッド分散処理          → PENDING（実行数18, サンプル不足）
5
2026-03  乖離検出C                 → NO-GO（成功率38%, Wilson下限29%）