AIとの設計対話術：閾値・方針をどう決めるか

1
人間: 「トレンド強度指標の閾値を何にするか。メリデメを教えてください」
2
AI:   「案1: 25（標準値）→ 判定結果多め、誤検知のリスク
3
       案2: 30（厳格）→ 判定結果少なめ、高精度
4
       案3: パラメータ化 → 柔軟だが複雑性増加」
5
人間: 「→案2で」
6
AI:   「了解。PARAMETER.mdに記録します」

1
人間: 「判定精度を上げたい。スコア閾値調整・バッチ乗数・両方、どれが効果的？」
2
AI:   「スコア閾値調整: 判定結果の数に直接影響。閾値を上げると誤検知減少だが機会損失
3
       バッチ乗数: 判定結果の数は変えず、高確信時のリターン増加。リスクも増加
4
       両方: 効果は最大だが、2変数同時変更で原因特定が困難に」
5
人間: 「→両方。ただし段階的に。まずスコア閾値を調整して効果測定、次にバッチ乗数」

1
人間: 「フェーズ判定でトレンド強度指標と変動幅指標のフィルターを組み合わせます。OR vs AND、どちらが好みですか？」
2
AI:   「OR: いずれかの条件を満たせば通過。判定結果の数を維持しやすいが精度は下がる
3
       AND: 両方の条件を満たす場合のみ通過。精度は上がるが判定結果の数が大幅減少
4
       推奨: まずANDで検証し、判定結果が少なすぎればORに切り替え」
5
人間: 「ANDで。判定結果の数よりも精度優先」

1
人間: 「予測値データ取得の方針を決めたい。本当にデータ処理エンジンA固有の予測値を外部APIで取るか、
2
       それともSIMファイルから実測値を計算して代替しますか？」
3
AI:   「外部API（予測値）:
4
         メリット: 将来期待を反映、外部データソースのコンセンサス
5
         デメリット: API依存（障害リスク）、固有の予測値データは高額・入手困難
6
       SIMファイルから実測値計算:
7
         メリット: 外部依存なし、既存データで完結、コスト0
8
         デメリット: 過去データのみ（将来期待を含まない）
9
       判断材料: 現在のシステムで外部APIは6つ統合済み。
10
       7つ目の追加は管理コスト増。実測値で十分な精度が出るなら後者が合理的」
11
人間: 「→実測値で代替。外部依存を増やしたくない」

1
┌─────────────────────────────────────────┐
2
│ Step 1: AIに選択肢とメリデメを聞く        │
3
│   「3案提示してメリデメ比較してください」    │
4
├─────────────────────────────────────────┤
5
│ Step 2: 制約に基づいて選択する             │
6
│   パフォーマンス / 複雑性 / リスク          │
7
│   既存システムとの整合性 / 運用コスト       │
8
├─────────────────────────────────────────┤
9
│ Step 3: 決定を記録する                    │
10
│   ADR / PARAMETER.md / コミットメッセージ  │
11
└─────────────────────────────────────────┘

1
# 効果的なプロンプトのテンプレート
2
DESIGN_DECISION_PROMPTS = {
3
    "閾値決定": (
4
        "{パラメータ名}の値を決めたい。"
5
        "3つの候補値を挙げて、それぞれのメリット・デメリットを比較してください。"
6
        "判断基準: {基準（例: 判定精度 vs 頻度のバランス）}"
7
    ),
8
    "方式選択": (
9
        "{機能名}の実装方式を検討中。"
10
        "考えられるアプローチを3つ挙げて、"
11
        "複雑性・パフォーマンス・保守性の観点で比較してください。"
12
    ),
13
    "フィルター設計": (
14
        "{フィルターA}と{フィルターB}の組み合わせ方を決めたい。"
15
        "AND/OR/段階的適用の3パターンで、"
3 collapsed lines
16
        "判定結果の数と精度への影響を比較してください。"
17
    ),
18
}

1
「新機能を設計してください。制約:
2
   - 既存のトリガーファイルJSON形式は変更しない
3
   - 処理時間の増加は10%以内
4
   - 既存テストを壊さない」

1
# 制約の分類と優先順位
2
CONSTRAINT_CATEGORIES = {
3
    "互換性": [
4
        "既存データ形式を変更しない",
5
        "既存テストを壊さない",
6
        "外部API契約の範囲内",
7
    ],
8
    "パフォーマンス": [
9
        "処理時間の増加は10%以内",
10
        "メモリ使用量は現状+20%以内",
11
        "APIコール数を増やさない",
12
    ],
13
    "運用": [
14
        "定期ジョブの追加は最小限",
15
        "監視対象の増加は許容する",
3 collapsed lines
16
        "ロールバック可能な設計",
17
    ],
18
}

1
Quick Decisions（5分以内で決まるもの）:
2
  → PARAMETER.md（値と根拠を1エントリで記録）
3
  例: トレンド強度閾値=30、エラー許容閾値=2.0
4

5
Architecture Decisions（複数の選択肢を比較したもの）:
6
  → DECISIONS.md（ADR形式でコンテキスト・決定・理由を記録）
7
  例: 統合分析 vs 個別分析、外部API vs ローカル計算
8

9
Implementation Choices（実装中の小さな判断）:
10
  → コミットメッセージ or .docs/施策ドキュメント
11
  例: OR vs AND、ループ展開 vs リスト内包表記

1
人間: 「最適なトレンド強度指標の閾値を教えてください」
2
AI:   「一般的には25が使われますが、30も推奨されます」
3
→ 文脈なしの一般論しか返ってこない

1
人間: 「フィルターを追加してください」
2
AI:   「トレンド強度フィルター（閾値25）を追加しました」
3
人間: 「OK」
4
→ 代替案の検討なしで採用

1
セッション1: 「OR結合で行きましょう」
2
セッション2: 「この条件、AND結合にしますか？OR結合にしますか？」
3
→ 前回の決定がセッションごとにリセットされる

1
人間: 「トレンド強度指標の閾値について3案提示してメリデメ比較してください。
2
       制約: 現在の対象項目はデータソースA、回帰テスト期間2022-2025」
3
AI:   「案1: 20 → メリット... デメリット...
4
       案2: 25 → メリット... デメリット...
5
       案3: 30 → メリット... デメリット...」
6
人間: 「→案3。PARAMETER.mdに記録して」
7
AI:   「PARAMETER.mdに以下を追加しました:
8
       TREND_STRENGTH_THRESHOLD: 30
9
       設定理由: 誤検知抑制を優先。25との比較で...
10
       変更条件: 100回以上の処理で成功率比較した場合のみ」

1
意思決定パターンの分布:
2
  閾値・パラメータ決定:     42%（108件中）
3
  実装方式の選択:           28%
4
  フィルター設計:           18%
5
  技術方針の二択:           12%
6

7
「3案比較」の効果:
8
  3案提示を依頼した場合:   最初の案を採用した割合 → 31%
9
  3案提示なしの場合:       最初の案を採用した割合 → 78%
10

11
  → 3案比較により、「最初の案に飛びつく」確率が78%→31%に低下。
12
    より適切な選択ができている。
13

14
決定の記録先:
15
  PARAMETER.md:            47件
5 collapsed lines
16
  DECISIONS.md（ADR形式）:  25件
17
  コミットメッセージ:        残り（未構造化）
18

19
施策管理関連メッセージ: 262件
20
  うちアーキテクチャ議論:    25件（約10%）

1
# 軸を指定する例
2
COMPARISON_AXES = {
3
    "パラメータ値": "保守的・標準・積極的の3段階で提示して",
4
    "アーキテクチャ": "シンプル・標準・拡張性重視の3段階で提示して",
5
    "フィルター": "緩い・標準・厳格の3段階で提示して",
6
}
7

8
# 実際のプロンプト例
9
PROMPT_WITH_AXES = """
10
判定フィルターの設計を3案提示してください。
11
軸: フィルター厳格度（緩い・標準・厳格）
12
各案について以下を記載:
13
1. 判定結果の通過率の推定
14
2. 誤検知除去率の推定
15
3. 実装の複雑性
2 collapsed lines
16
4. 既存コードへの影響
17
"""