Ollamaのタイムアウト問題を解決する：ローカルLLMのモデル選定と運用の実践知見

1
HeadersTimeoutError: Headers Timeout Error
2
    at Timeout.onParserTimeout [as callback] (node:internal/deps/undici/undici:...)
3
    code: 'UND_ERR_HEADERS_TIMEOUT'

1
const response = await fetch('http://localhost:11434/api/generate', {
2
  method: 'POST',
3
  body: JSON.stringify({
4
    model: 'llama3.2:3b',
5
    prompt: longPrompt,
6
    keep_alive: '60m'
7
  })
8
});

1
Node.js fetch (undici)
2
  └── デフォルトのheadersTimeout: 300000ms（5分）
3
  └── OllamaのAPI応答が5分を超えると → HeadersTimeoutError

1
// AbortControllerによるタイムアウト制御
2
const controller = new AbortController();
3
const timeout = setTimeout(() => controller.abort(), 600000); // 10分
4

5
try {
6
  const response = await fetch('http://localhost:11434/api/generate', {
7
    method: 'POST',
8
    body: JSON.stringify({
9
      model: 'llama3.2:3b',
10
      prompt: longPrompt,
11
      stream: false
12
    }),
13
    signal: controller.signal
14
  });
15
  const data = await response.json();
4 collapsed lines
16
  return data.response;
17
} finally {
18
  clearTimeout(timeout);
19
}

1
const response = await fetch('http://localhost:11434/api/generate', {
2
  method: 'POST',
3
  body: JSON.stringify({
4
    model: 'llama3.2:3b',
5
    prompt: longPrompt,
6
    stream: true  // ストリーミングモード
7
  })
8
});
9

10
let result = '';
11
const reader = response.body.getReader();
12
const decoder = new TextDecoder();
13

14
while (true) {
15
  const { done, value } = await reader.read();
4 collapsed lines
16
  if (done) break;
17
  const chunk = JSON.parse(decoder.decode(value));
18
  result += chunk.response;
19
}

1
小さいモデル（llama3.2:3b）
2
  ├── メリット: 高速、メモリ消費少
3
  └── デメリット: 長文の要約精度が低い、文脈を見失いやすい
4

5
大きいモデル（※要確認: 実際に試したモデル名）
6
  ├── メリット: 要約精度が高い、長文の文脈保持が良い
7
  └── デメリット: 低速、メモリ消費大

1
# 簡略プロンプト（3bモデルで使用していた）
2
「以下のログを要約してください。」
3

4
# 詳細プロンプト（大きなモデルで使用）
5
「以下はClaude Codeのセッションログです。
6
このログから以下の情報を抽出し、構造化された要約を生成してください。
7
1. セッションの目的（何を実現しようとしていたか）
8
2. 実施した主な作業（時系列順）
9
3. 発生した問題とその解決策
10
4. セッションの成果（作成/変更したファイル）
11
5. 未完了のタスク（あれば）」

1
エラー: HeadersTimeoutError (UND_ERR_HEADERS_TIMEOUT)
2
    ↓
3
直感: 「Ollamaのタイムアウト設定を変更すれば直る」
4
    ↓
5
実際: Node.jsのfetch実装(undici)のデフォルトタイムアウト
6
    ↓
7
解決: Node.js側のタイムアウト設定を変更