Pod

Yes, this is on purpose. Pod is built for agents, so the default page is plain HTML.
Human? View the normal website.
Agent? You probably prefer /mcp/ai-test-process-mcp/issues.md or /mcp/ai-test-process-mcp/issues.json, or Pod over MCP.

Reported issues for ai-test-process-mcp

Pod holds 24 of 104 problems reported by people outside the maintainer team. Issues filed by the project's own owners, members and collaborators are excluded entirely — a maintainer's release checklist is not a warning to a prospective user.

Back to ai-test-process-mcp.

Most discussed

[優先度: 中] ツールチェーン通しの結合テストとMCPプロトコル経由の起動テストが無い

現象

test/ は90ファイル・1475テストが全パスしており、エンジン部分は入力独立の再計算による検証を含む実質的なもの（例: test/designPairwise.test.ts はペア数を独立に再計算して照合し、生成行が禁則違反していないことまで検査する）。

一方で、すべて純関数への直接呼び出しであり、次の2つが欠けている。

  1. ツールチェーン通しの結合テスト — src/resources/nextToolCatalog.ts は 計画→分析→設計→ケース→監査 の遷移を静的カタログとして完備しているが、実際にその順で通したときに前ツールの出力が次ツールの入力として成立するかを検証していない。工程間の橋渡しは Markdown 中のJSONブロックと PW: / DT: / CFG: 等の網羅対象IDのコピーで成り立っており、ここが壊れても CI では検出されない
  2. MCP プロトコル経由の起動テスト — registerTools / registerResources / `registerPro

Read the thread · 2026-08-08 · closed · 3 comments

[優先度: 中] 同一内容を複数形式で投入したときの決定的検査の一致度が測定されていない

現象

docs/ai/regression-baseline.md が測っているのは「構成の異なる2つのテストベース（2025年版 V03 / 2024年版 V02）を同一の投入方法で比較したときの差」であり、同一内容を異なる形式で投入したときの差は測っていない。

しかし実測では、同じ原本でも変換方法が変わるだけで結果が動く:

pdftotext -layout あり なし
audit_basis_contradictions 総候補数 218 176
analyze_requirements 出力 190,899字 128,010字

「決定的検査」を名乗る以上、同じ内容なら形式が違っても同じ指摘が出るべきであり、それが実際に成り立つかは現在まったく担保されていない。逆に、形式間で指摘が一致することが示せれば、それがそのまま「入力健全性が達成された」ことの証明になる。

完了条件

Read the thread · 2026-08-08 · closed · 3 comments

[優先度: 低] Word/Markdown/JSON のリファレンステストベースが無い

現象

想定するテストベース形式は Word / Excel / Markdown / JSON / PDF の5つだが、リポジトリにあるリファレンス資料は PDF（sample/contest_testbase/）と Excel（sample/non_contest_testbase/）の2形式のみ。

Word / Markdown / JSON については、投入したときに決定的検査がどう振る舞うかを一度も測っていない。

想定される固有論点:

完了条件

Read the thread · 2026-08-08 · closed · 3 comments

[優先度: 中] Excelテストベースでの全工程実証が無く、PDF以外の形式で成果物一式を作れることが確認されていない

現象

sample/contest_testbase/2025/ には 00_成果物生成手順 〜 16_テスト仕様書レビュー結果 の全工程成果物が揃っているが、入力はすべて PDF（ASTERコンテスト資料）。

sample/non_contest_testbase/ に実務由来の Excel 2資料（デジタル庁 住登外者宛名番号）を置いているにもかかわらず、この資料で成果物を作った実績が無い。README も「実力を測定できるようにするための入力資料置き場」と書くに留まる。

実測では、この Excel を投入すると定義ID検出0件で中核機能が起動しない（#165）。つまり現時点では「PDF以外の形式で成果物一式を作れる」ことが一度も確認されていない。

完了条件

Read the thread · 2026-08-08 · closed · 3 comments

[優先度: 中] 回帰ベースラインの管理対象が6ツールに留まり、残る決定的検査に基準値が無い

現象

docs/ai/regression-baseline.md 1章が対象と宣言しているのは6ツール:

audit_id_population / analyze_requirements / review_test_basis / generate_test_cases / review_test_specification / analyze_data_flow_timing

現在の登録ツールは31。決定的検査を持ちながらベースラインが無いツールが多数残っており、src/ の共通基盤（testBasisAnalysis.ts / groundingNormalization.ts 等）を触ったときにどこが動いたのか検出できない。

#161 で audit_basis_contradictions を追加するが、それ以外にも derive_test_purposes（PDC-01〜17）、design_test_architecture（TAC-01〜17）、audit_cross_matrix（CMX

Read the thread · 2026-08-08 · closed · 3 comments

[優先度: 高] analyze_requirements の出力が190,899字に達し、呼び出し元のcontextに載らない

現象

2026年版テストベース9文書（投入 202,420字）で analyze_requirements を実行すると、出力は 190,899字（4,700行）。

肥大の主因は 2.6節「要件ID → テストベース根拠位置」で、353行目〜4,318行目の約3,965行を占める（根拠位置439件を全ID×全出現で1行ずつ列挙）。

本MCPは「呼び出し元LLMがツール出力を読んで次工程の構造化JSONを組む」設計だが、この量は読み切れない。同じ問題が audit_id_population の 2.1節「定義済みID × 母集団 突き合わせ表」にもある（実測 33,262字）。

根拠

完了条件

Read the thread · 2026-08-08 · closed · 3 comments

[優先度: 中] 一覧表と本文の両方に出現する正常なIDが、同一IDの再利用と同じ high で報告される

現象

#168 で目次行を除外しても、機能一覧表と本文見出しの両方に同一IDが出るケースが残る。

73 : W-001  ナビゲーション  入場者が利用しやすいように、…   ← 機能一覧表
156: W-001 新規登録                                        ← 本文見出し

これはどちらも正当な定義出現であり、「一覧＋詳細」という正常な文書構造である。機械的に片方を落とす根拠がない。

一方、同じ [high] ID重複 として報告されるものの中には本物の欠陥がある。

88 : EH-100  起動  発券機起動        ← 11号
156: EH-100  起動  ゲートハブ起動    ← 11号（同一文書内で別機能に同一IDを再利用）

現状はこの2つが同じ severity で並ぶため、判別できない。

完了条件

Read the thread · 2026-08-08 · closed · 3 comments

[優先度: 高] 目次行がID定義として計上され、ID重複指摘144件の相当数が偽陽性になる

現象

2026年版テストベース9文書で analyze_requirements を実行すると指摘187件。うち ID重複が144件（77%） を占める。

文書別内訳: 11号 48件 / 13号 38件 / 21号 57件 / 22号 1件。

目次行（ドットリーダ ...... ＋末尾ページ番号）にIDを含む行を数えると 13号 38件 / 21号 17件 / 22号 32件。13号は目次のID件数(38)と重複指摘件数(38)が完全一致する。

W-001（21号）の実例:

19 :    W-001 新規登録.......................................... 5   ← 目次
73 : W-001  ナビゲーション  入場者が利用しやすいように、…            ← 機能一覧表
156: W-001 新規登録                                                ← 本文見出し

重複定義ではなく、**目次・一覧表・本文という正常な文

Read the thread · 2026-08-08 · closed · 3 comments

Most recent

audit_cross_matrix のCMX-10がテストベースから導出した軸を区別できず必ず[high]になる

親: #215（Issue #215実装中に発見）

現象

プロダクトリスク軸・テスト条件軸のように、テストベースから導出した分析の産物である要素は本文に逐語では出現しない。このため、そのような軸を渡すと CMX-10[high]（テストベース本文に見つからない）が大量に出る（2025年版50件 / 2024年版19件）。「テストベースから導出したがテストベース本文には逐語で無い」種類の軸と、「そもそも根拠不明な軸」を区別できていない。

再現手順

node scripts/call-mcp-tool.mjs --tool audit_cross_matrix \
  --payload sample/contest_testbase/<year>/payloads/audit-cross-matrix.json \
  --documents-dir .work/testbase/<year> --documents-key documents \
  --out <out>

出力の ### 2.10 検出事項一覧 の CMX-10 行を

Read the thread · 2026-08-13 · closed · 2 comments

audit_coverage_balance のCBC-04がカタログ外techniqueIdの波及で誤検出になる

親: #215（Issue #215実装中に発見）

現象

techniqueId がテスト技法カタログ外だと、当該テストケースは「未知」バケットへ寄せられる。このため、宣言件数が実データと一致していても「宣言件数 2 件に対し、区分「load-test」は集計軸の区分として存在せず、実集計は0件である」というCBC-04[high]が誤って出る。実際には該当techniqueIdのケースは存在しており、カタログに無いために正規のバケットへ集計されないだけである。

再現手順

node scripts/call-mcp-tool.mjs --tool audit_coverage_balance \
  --payload sample/contest_testbase/2025/payloads/audit-coverage-balance.json \
  --json-file sample/contest_testbase/2025/payloads/test-cases.json --json-key testCases \
  --out

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/241) · 2026-08-13 · closed · 2 comments

### analyze_cause_effect の CEG-17 が中間ノードで表現した論理を検出できない

親: #214（Issue #214実装中に発見）

## 現象

仕様文中の「※※処理区分"1"、または"2"の場合は必須」のようなor論理を、中間ノード（`logic:"or"`、複数条件の合流を表すノード）としてモデル化していても、`CEG-17[medium]`「or 論理が現れていない」という誤検出が出る。`findUnmodeledConnectives()` は「その文を引用しているノード」の論理しか見ておらず、`intermediateNodes` には引用元の文を示す `quote` フィールドが存在しないため、中間ノードで表現した論理は原理的に検出できない。

## 該当ソース
- `src/causeEffectAnalysis.ts` の `findUnmodeledConnectives()`（913行付近）
- `src/tools/analyzeCauseEffect.ts` の入力スキーマ（`intermediateNodes` に `quote` フィールドが無い）

## 完了条件
- `intermediateNodes` にも引用元の文を示す `

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/239) · 2026-08-13 · closed · 2 comments

### design_test_architecture が「本文に無いこと」を対象外の根拠とするスコープ項目を実在照合で誤検出する

親: #214（Issue #214実装中に発見）

## 現象

`design_test_architecture` は `scope.outOfScope[].item` を `kind:"label"` として本文の実在照合対象にするため、「対象外」として宣言した項目がテストベース本文に存在しないことをもって `TBG-01[high]`（「画面」がテストベース本文に見つからない）を出してしまう。しかし「本文に記述が無いこと」自体が対象外と宣言する根拠であるケース（テストベースに画面に関する記述が無いため画面をスコープ外とする、等）では、この実在照合の前提が成立しない。

## 再現手順

`design-test-architecture.json` の `outOfScope` に `{"item":"画面", ...}` を追加して以下を実行:

```bash
node scripts/call-mcp-tool.mjs --tool design_test_architecture \
  --payload sample/non_contest_testbase/p

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/238) · 2026-08-13 · closed · 2 comments

### audit_deliverable_consistency がテストベース向けidPatternsで解消しない誤検出[high]を出す

親: #214（Issue #214実装中に発見）

## 現象

テストベース向けの表セル分割形式に対応した `idPatterns`（P2）を `audit_deliverable_consistency` に渡すと、成果物Markdown側では一致せず「指定パターンが1件も一致しなかった」[high] が出る。指摘文には「実在ID母集団が縮退したまま」と書かれるが、この事例では既定パターンが `031-1` 等を拾うため実際には縮退していない（指摘文と実態が食い違う）。またパターンを外しても `E` プレフィックスの定義IDは0件のままで DCC-15[high] は解消しない。

## 該当ソース
- `src/documentDigest.ts`（未一致 [high] 生成）
- `src/testBasisAnalysis.ts`（既定パターン）

## 完了条件
- 「指定パターンが1件も一致しなかった」の指摘文言を、実際の母集団縮退の有無に応じて正確化する
- `E` プレフィックスなど既定パターンで拾えないID系列がある場合の DCC-15 の扱いを見直す（誤検出のま

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/236) · 2026-08-13 · closed · 2 comments

### audit_deliverable_consistency が「文書名:行番号」表記や見出し番号をテストベース文書名として誤抽出する

親: #214（Issue #214実装中に発見）

## 現象

`audit_deliverable_consistency` の2.1節に抽出される「参照文書」13件のうち、実在するテストベース文書は**0件**。`18 / item-definition:42`、`01 / API要求元の実装担当`、`24 / ガイドワード GW-10（回数` のような、成果物本文中の「文書名:行番号」表記や見出し番号の断片が文書名として誤抽出されている。これが DCC-03[medium] 10件と DCC-04[high] 19件の主因になっている。

## 再現手順

```bash
node scripts/call-mcp-tool.mjs --tool audit_deliverable_consistency \
  --payload sample/non_contest_testbase/payloads/audit-deliverable-consistency.json \
  --json-file .work/deliverables/non-contest.json

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/235) · 2026-08-13 · closed · 2 comments

### audit_basis_contradictions が idPatterns を渡してもID出現数0件になり事実上機能しない

親: #214（Issue #214実装中に発見）

## 現象

`audit_basis_contradictions` に `payloads/review-test-basis.json` と同一の `idPatterns`（P1/P2）を渡しても、1.2 抽出サマリのID出現数が両文書とも **0** になる。同じ `idPatterns` で `review_test_basis` / `audit_id_population` は定義ID33件を検出する。結果として BC-01〜BC-10 の全10区分が「検査不能(要確認)」になり事実上機能しない。

## 再現手順

```bash
node scripts/call-mcp-tool.mjs --tool audit_basis_contradictions \
  --payload sample/non_contest_testbase/payloads/audit-basis-contradictions.json \
  --documents-dir .work/testbase/atenabango --

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/234) · 2026-08-13 · closed · 2 comments

### [優先度: 高] generate_test_cases / reexpand_threshold_changes の既定出力が40,000字を超える

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-2

## 現象

#207（回帰ベースライン指標20の新設）で A群10ツール全件を実測した結果、V-05（#205）／V-06（#206）の対象外だった2ツールが既に40,000字を超えていることが判明した。`docs/ai/regression-baseline.md` 指標20 実測（対策後・既定、2026年版テストベース／プローブpayloadでの測定）:

| ツール | 既定出力 | 超過量（40,000字基準） |
| --- | --- | --- |
| `generate_test_cases` | **188,165字** | 148,165字 |
| `reexpand_threshold_changes` | **96,152字** | 56,152字 |

いずれも件数上限・`verbose` オプションが未導入で、#205/#206で確立した打ち切り書式（全件数・省略件数・`verbose: true`案内の併記）が適用されていない。`ree

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/225) · 2026-08-12 · closed · 2 comments

### [優先度: 中] 実務テストベースへの未適用ツールが16本ある

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-5

## 現象

実務テストベース（`sample/non_contest_testbase/`）へ実際に適用済みのツールは **15/31**。

未適用16本: `reexpand_threshold_changes` / `analyze_cause_effect` / `design_decision_table` / `design_pairwise` / `design_config_matrix` / `design_scenario_flows` / `design_test_architecture` / `design_test_data` / `audit_cross_matrix` / `audit_basis_contradictions` / `generate_business_requirement_model` / `select_regression_suite` / `audit_deliverable_consistency` / 

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/214) · 2026-08-10 · closed · 2 comments

### [優先度: 中] toolchain カタログに起点エントリが無く「最初に何を呼ぶか」が示せない

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-5

## 現象

`toolchain://next-tools/catalog`（`src/resources/nextToolCatalog.ts`）は **`実行元ツール名 → 後続ツール候補` の写像のみ**で、「テストベースしか無い状態からどれを最初に呼ぶか」という**起点エントリが存在しない**（同ファイルに `起点` / `entry` / `最初` の語は0件）。

実務での導線は `sample/non_contest_testbase/00_成果物生成手順.md`（手書きMarkdown・635行）にしか無く、resource / tool として提供されていない。

## 完了条件

- `toolchain://next-tools/catalog` に起点エントリ（入力状態 → 最初に呼ぶツール）を追加する
- 初期状態の例: 「テストベース原文のみ」「テスト計画書のみ」「テスト条件一覧のみ」「テストケース一覧のみ」
- 起点から後続写像を辿って

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/213) · 2026-08-10 · closed · 2 comments

### [優先度: 中・要planner仕様策定] 原文入力口が10/31しかなく design_* 系で引用の実在照合が効かない

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-4

## 現象

31ツール中、テストベース原文（`documents` / `testBasisDocuments` / `requestDocuments` / `documentsBefore/After`）を受け取れるのは **10本のみ**。

受け取れる: `analyze_requirements` / `review_test_basis` / `audit_id_population` / `audit_basis_contradictions` / `audit_cross_matrix` / `audit_test_design_notations` / `derive_test_purposes` / `generate_test_cases` / `review_test_specification` / `reexpand_threshold_changes`

残る21本は完全に手組みの構造化JSONを要求する。原文が無いため、**引用文言・

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/212) · 2026-08-10 · closed · 2 comments

### [優先度: 中] interview prompt が5本しかなく21ツールの入力導線が無い

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-4

## 現象

31ツールに対して interview prompt は **5本のみ**（`test_plan_interview` / `requirements_analysis_interview` / `test_design_interview` / `persona_journey_interview` / `exploratory_charter_interview`）。

構造化JSONを手組みで要求するツールは21本あるが、そのうち対話収集の導線があるのは2本だけ。実務担当者は何を用意すればよいか分からないまま payload を書くことになる。

## 完了条件

- 主要ツール向けの interview prompt を追加し、5本 → 12本以上にする
- 各 prompt は対象ツールの**必須入力項目と1対1対応**させる（項目の抜けを prompt 側で作らない）
- 各 prompt は `build*Prompt` 純関数として実装し

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/211) · 2026-08-10 · closed · 2 comments

### [優先度: 高・要planner仕様策定] 手組み payload がテストベースの5.9倍（上流出力→下流payloadの引き渡し標準化）

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-4

## 現象

実務担当者の入力コストが非現実的。実務Excelテストベース一式（`sample/non_contest_testbase/`）の実測:

| 項目 | 実測値 |
| --- | --- |
| 投入テストベース（変換後テキスト） | 52,696字 |
| 手作業で用意した payload JSON 合計 | **312,214字（5.9倍）** |
| 同（コンテスト2025年版） | 650,363字 |

`sample/non_contest_testbase/00_成果物生成手順.md` 3.4 / 3.6 / 3.10 が「payload の各フィールドへ人手で書き起こす」「図形内テキストは人手で写して渡す」と明記しており、これが現状の正規手順になっている。

## 完了条件

- `analyze_cause_effect` → `design_decision_table` で実装済みの「受け側ツールの入力形式そのままの引き渡しJSO

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/210) · 2026-08-10 · closed · 2 comments

### [優先度: 中] 実務文書で曖昧語の密度がコンテストPDFの8.6倍になりノイズ源に転落する

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-3

## 現象

曖昧語検査が実務文書でノイズ源に転落する。

| 対象 | 曖昧語出現数 | 文字数 | 密度 |
| --- | --- | --- | --- |
| コンテストPDF 9文書 | 103件 | 約202,000字 | 0.51件/千字 |
| **実務Word 標準仕様書 2件** | **169件** | 38,595字 | **4.4件/千字（8.6倍）** |

行政の標準仕様書は「必要な」「適切な」「十分に」が定型表現として頻出するため、そのまま指摘すると読み飛ばされる。

## 完了条件

- `testplan://review/ambiguity-lexicon` に定型表現の除外規則を規則IDつきで追加し、`src/testBasisAnalysis.ts` で適用する
- **除外した件数と除外規則IDを必ず出力する。黙って減らさない**（`docs/roadmap.md` Phase 5 設計規約）
- 除外は文脈条件つきで定義

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/209) · 2026-08-10 · closed · 2 comments

### [優先度: 高・要planner仕様策定] 決定的指摘に対処優先度が付かず187件を採番順で返す

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-3

## 現象

決定的指摘に対処順序が付いていない。2026年版PDF の `analyze_requirements` は187件の指摘表を採番順で返すため、実務担当者が「どれから見るか」を決められない。severity は判定区分ごとに固定で、指摘の実体（影響範囲）を反映していない。

## 完了条件

- 新規純関数 `src/findingPriority.ts` を追加し、severity × 影響ID数 × 文書横断性 × 章節解決可否 から対処優先度を算出する
- 優先度は**宣言値ではなく指摘実体から算出**し、算出根拠（各因子の値）を併記する
- 主要4ツール（`analyze_requirements` / `review_test_basis` / `audit_basis_contradictions` / `audit_id_population`）の指摘表に適用する
- 既定は上位20件を先頭表示し「残りN件」を実数で明示、`verbose`

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/208) · 2026-08-10 · closed · 2 comments

### [優先度: 高] analyze_requirements の既定出力が159,064字で context に載らない

親: #176（M5 / 条件V）｜ロードマップ: `docs/roadmap.md` Phase 5 / M5-2

## 現象

`analyze_requirements` の既定出力（`verbose` 未指定）が、2026年版テストベース9文書で **159,064字**。#176 の合格条件「40,000字未満」に対して約4倍で、呼び出し元 LLM の context に載らない。#170 で `verbose` による要約表示を入れたが未達のままクローズされている。

節別内訳（v0.34.1 実測）:

| 節 | 文字数 | 比率 |
| --- | --- | --- |
| 2.6 要件ID → テストベース根拠位置 | **94,156**（うちJSONブロック 67,225） | 59% |
| 3. 指摘表（187件） | 29,326 | 18% |
| 2.1 要件ID体系 | 15,190 | 10% |
| その他（4〜7章の静的指示など） | 20,392 | 13% |

## 原因

`src/tools/analyzeRequirements

[Read the thread](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues/205) · 2026-08-10 · closed · 2 comments

The remaining reports are on [the project's issue tracker](https://github.com/Hashi-Kazu/ai-test-process-mcp/issues).