AI分析品質保証プロトコルと3秒ルール：AIの誤判断を防ぐ仕組み

1
AI分析結果:
2
- 成功率: 35.2%（100回の処理中35回成功65回失敗）
3
- 判定: ⚠️ 成功率50%未満。処理パターンの有効性に疑問
4
- 推奨: 本番運用の停止を検討すべき

1
見落とされた情報:
2
- 平均利益: +3.2R（コスト単位の3.2倍）
3
- 平均損失: -1.0R
4
- 期待値: 0.352 × 3.2 - 0.648 × 1.0 = +0.478R（プラス）
5
- コスト対効果比: 1:3.2

1
# AIが暗黙的に行った判断ロジック（推定）
2
def evaluate_algorithm(test_result):
3
    if test_result.success_rate < 0.50:
4
        return "停止推奨"  # ← 成功率だけで判断
5

6
# 正しい判断ロジック
7
def evaluate_algorithm_correct(test_result):
8
    expected_value = (
9
        test_result.success_rate * test_result.avg_gain
10
        - (1 - test_result.success_rate) * test_result.avg_loss
11
    )
12
    if expected_value <= 0:
13
        return "停止推奨"
14
    # 成功率が低くても期待値がプラスなら有効
15
    return f"有効（期待値: {expected_value:.3f}R）"

1
## AI分析品質保証プロトコル（8項目チェック）
2

3
### 1. データ期間は十分か
4
- 最低1年のデータを使用しているか
5
- 特定の環境条件（上昇トレンドのみ等）に偏っていないか
6

7
### 2. サンプルサイズは十分か
8
- 最低30回の実行サンプルがあるか
9
- Wilson信頼区間を計算しているか
10

11
### 3. 環境条件の偏りはないか
12
- 上昇トレンドと安定期の両方を含んでいるか
13
- 低変動性期間と高変動性期間を含んでいるか
14

15
### 4. 検証期間の特殊イベントを考慮したか
18 collapsed lines
16
- インフラ障害（大規模クラウド障害等）の異常期間を含んでいるか
17
- 大規模な環境変更期間を考慮しているか
18

19
### 5. オーバーヘッド・実行コストを含めたか
20
- 実際の実行コストを反映しているか
21
- 処理遅延を考慮しているか
22

23
### 6. 過剰最適化の兆候はないか
24
- パラメータ数に対してサンプルサイズは十分か
25
- Out-of-sample検証を実施したか
26

27
### 7. 複数のデータセットで検証したか
28
- 単一データセットの結果だけで判断していないか
29
- 特性の異なるデータセットで横断検証したか
30

31
### 8. Wilson信頼区間の下限は基準以上か
32
- 成功率の95%信頼区間の下限は許容範囲内か
33
- 期待値の信頼区間の下限はゼロ以上か

1
import math
2

3

4
def wilson_confidence_interval(
5
    successes: int,
6
    total: int,
7
    confidence: float = 0.95,
8
) -> tuple[float, float]:
9
    """Wilson信頼区間を計算する。
10

11
    通常の二項分布の信頼区間よりも、サンプルサイズが小さい場合に
12
    正確な推定を提供する。
13
    """
14
    if total == 0:
15
        return (0.0, 0.0)
18 collapsed lines
16

17
    z = 1.96 if confidence == 0.95 else 1.645  # 95% or 90%
18
    p_hat = successes / total
19
    denominator = 1 + z**2 / total
20

21
    center = (p_hat + z**2 / (2 * total)) / denominator
22
    margin = (
23
        z * math.sqrt((p_hat * (1 - p_hat) + z**2 / (4 * total)) / total)
24
    ) / denominator
25

26
    return (center - margin, center + margin)
27

28

29
# 使用例：35回成功/100回実行
30
lower, upper = wilson_confidence_interval(successes=35, total=100)
31
print(f"成功率: 35.0%")
32
print(f"95%信頼区間: [{lower:.1%}, {upper:.1%}]")
33
# 出力: 95%信頼区間: [26.1%, 44.9%]

1
## 3秒ルール（CLAUDE.md記載内容）
2

3
以下のフレーズを出力する前に、AI分析品質保証プロトコル（8項目チェック）を
4
完了すること。
5

6
トリガーフレーズ:
7
- 「停止すべき」「停止を推奨」
8
- 「危険」「リスクが高い」
9
- 「緊急」「即座に」
10
- 「全て無効」「アルゴリズムが機能していない」
11
- 「システム破綻確率が高い」
12

13
手順:
14
1. トリガーフレーズを使いたくなったら、一旦停止
15
2. 8項目チェックを実行
2 collapsed lines
16
3. 全項目をクリアした場合のみ、該当フレーズを使用可能
17
4. クリアしない項目がある場合、「〇〇の確認が不十分なため断定的な判断は保留」と報告

1
## Critical Rules
2

3
### AI分析品質保証プロトコル（BLOCKING）
4
- システム破綻確率 > 5%の回帰テスト結果 → 8項目チェック必須
5
- 処理パターン停止の推奨 → 8項目チェック必須
6
- パラメータの大幅変更提案（±20%以上） → 8項目チェック必須
7
- 「3秒ルール」: 「停止すべき」「危険」等のフレーズ使用前に
8
  8項目チェック完了を確認
9

10
### よくあるエラー
11
| エラー | 解決策 |
12
|--------|--------|
13
| システム破綻確率 > 5% | AI分析品質保証プロトコル適用（8項目チェック） |

1
チェック結果:
2
[PASS] 1. データ期間: 2022-01〜2025-10（3年10ヶ月）
3
[PASS] 2. サンプルサイズ: 100回の実行
4
[PASS] 3. 環境条件: 上昇トレンド60%、安定期40%を含む
5
[PASS] 4. 特殊イベント: 2022年の高変動性期間を含む
6
[PASS] 5. 実行コスト: 実績コスト使用
7
[PASS] 6. 過剰最適化: パラメータ3個 / サンプル100 = 十分
8
[FAIL] 7. 複数データセット: データセットAのみ → 他データセットで未検証
9
[PASS] 8. Wilson信頼区間: 下限26.1%でも期待値プラス
10

11
結論: 7項目PASS、1項目FAIL
12
→ 「即座に停止」ではなく「追加検証が必要」に判断を修正

1
チェック結果:
2
[FAIL] 1. データ期間: 6ヶ月分のみ（最低1年必要）
3
[FAIL] 2. サンプルサイズ: 22回の実行（最低30必要）
4
[FAIL] 3. 環境条件: 低変動性期間のみ
5
[PASS] 4-8: その他の項目
6

7
結論: 3項目FAIL
8
→ データ不足による信頼性の低い推定。データ期間を延長して再計算

1
チェック結果:
2
[PASS] 1. データ期間: 十分
3
[PASS] 2. サンプルサイズ: 十分
4
[FAIL] 3. 環境条件: 直近3ヶ月は安定期。
5
         上昇トレンド追従型のアルゴリズムのため、安定期での成績悪化は想定内
6
[PASS] 4-8: その他の項目
7

8
結論: アルゴリズムの無効化ではなく、環境条件変化への正常な反応
9
→ 停止不要。環境条件判定フィルターの追加を検討

1
from dataclasses import dataclass
2
from datetime import date
3

4

5
@dataclass(frozen=True)
6
class QACheckResult:
7
    """AI分析品質保証チェックの結果を記録する。"""
8
    check_date: date
9
    algorithm_name: str
10
    trigger: str  # 何がチェックを発動させたか
11
    items: dict[str, bool]  # 8項目の合否
12
    notes: dict[str, str]  # 各項目の補足
13
    conclusion: str  # 最終判断
14

15

21 collapsed lines
16
# 使用例
17
result = QACheckResult(
18
    check_date=date(2026, 3, 15),
19
    algorithm_name="Pattern Detection Pipeline",
20
    trigger="AI報告: 成功率35%で停止推奨",
21
    items={
22
        "data_period": True,
23
        "sample_size": True,
24
        "condition_bias": True,
25
        "special_events": True,
26
        "execution_cost": True,
27
        "overfitting": True,
28
        "multi_dataset": False,
29
        "wilson_ci": True,
30
    },
31
    notes={
32
        "multi_dataset": "データセットAのみ。データセットB, Cで追加検証が必要",
33
        "wilson_ci": "下限26.1%でもコスト対効果比1:3.2により期待値プラス",
34
    },
35
    conclusion="停止不要。追加データセットでの検証を実施",
36
)

1
Type I Error（偽陽性）: 有効なアルゴリズムを「危険」と判断して停止
2
  → 機会損失。成果を逃す
3

4
Type II Error（偽陰性）: 危険なアルゴリズムを「有効」と判断して継続
5
  → リソース損失。システムを毀損する
6

7
8項目チェックの目的:
8
  → Type I ErrorとType II Errorの両方を減らす
9
  → 「止めるべきなのに止めない」も「止めなくていいのに止める」も防ぐ