サイレント障害との戦い：16日間気づけなかった機能無効化とplist30ファイル破損の教訓

1
<!-- plistファイル -->
2
<key>EnvironmentVariables</key>
3
<dict>
4
    <key>PROJECT_ROOT</key>
5
    <string>/Users/htada/myproject</string>
6
    <!-- API_KEY の設定が漏れていた -->
7
</dict>

1
def fetch_resources(self):
2
    try:
3
        return self.client.get_resources()
4
    except Exception:
5
        return []  # ← 空リストを返して「リソースなし」として扱う

1
# 修正1: load_dotenvを明示的に呼ぶ
2
from dotenv import load_dotenv
3
load_dotenv(Path(os.getenv("PROJECT_ROOT", ".")) / ".env")
4

5
# 修正2: クライアント初期化時にNoneチェック
6
api_key = os.getenv("API_KEY")
7
if api_key is None:
8
    logger.error("API_KEY is not set. Monitoring will be disabled.")
9
    raise EnvironmentError("API_KEY is required")

1
#### launchd plist の環境変数と .env の不一致 ⚠️
2
launchd から起動されるスクリプトはシェルプロファイルを読まない。
3
os.getenv() で取得する環境変数は plist の EnvironmentVariables か、
4
スクリプト内の load_dotenv() でしか設定されない。

1
# AIが書いたコード
2
import json
3

4
def generate_plist(config: dict, output_path: str) -> None:
5
    with open(output_path, "w") as f:
6
        json.dump(config, f, indent=2)  # ← JSON形式で出力

1
// 生成されたファイル（JSON形式 = 無効なplist）
2
[
3
  {
4
    "Hour": 8,
5
    "Minute": 5,
6
    "Label": "jp.myproject.pre.batch_sync_data"
7
  }
8
]

1
# 正しいplist生成
2
import plistlib
3

4
def generate_plist(config: dict, output_path: str) -> None:
5
    with open(output_path, "wb") as f:  # バイナリモードで開く
6
        plistlib.dump(config, f)
7

8
    # 生成後に必ず構文検証
9
    import subprocess
10
    result = subprocess.run(
11
        ["plutil", "-lint", output_path],
12
        capture_output=True, text=True
13
    )
14
    if result.returncode != 0:
15
        raise ValueError(f"Invalid plist: {result.stderr}")

1
#### plist 生成時の形式ルール ⚠️
2
plist ファイルの生成は plistlib.dump() のみ使用すること。
3
json.dump() や手動文字列生成は禁止。
4

5
> 教訓（2026-03-24 本番30ファイル破損事故）: launchdはキャッシュから
6
> ジョブを実行するため、壊れたplistでも launchctl list にジョブが
7
> 表示され問題が発覚しなかった。

1
# 危険：NoneやInvalid値でも初期化成功
2
client = APIClient(api_key=None)  # エラーなし
3

4
# 安全：初期化時点で検証
5
client = APIClient(api_key=api_key)  # api_key is NoneならValueError

1
# 危険：全てのエラーを飲み込む
2
try:
3
    result = api_call()
4
except Exception:
5
    result = default_value  # 認証エラーもネットワークエラーも同じ扱い
6

7
# 安全：想定するエラーのみキャッチ
8
try:
9
    result = api_call()
10
except ConnectionError:
11
    result = default_value  # ネットワークエラーのみリトライ
12
# AuthenticationError は呼び出し元に伝播させる

1
# ターミナルでは動くがlaunchdでは動かない
2
api_key = os.getenv("API_KEY")  # ターミナル: 値あり, launchd: None

1
# 悪い検証：エラーがないことの確認
2
assert not errors
3

4
# 良い検証：期待する結果があることの確認
5
assert len(monitored_resources) > 0, "リソース監視結果が空"
6
assert last_heartbeat > threshold, "ハートビートが古い"