# 完整性审查方案对比分析

## 一、当前系统链路分析（方案A：先分类再解释）

### 数据流

```
PDF文档
  │
  ▼
┌─────────────────────────────────────────────────────┐
│ doc_worker (文档处理)                                │
│  ├─ PDF提取 + OCR + 版面检测                         │
│  ├─ 文本切分 → chunks                                │
│  └─ 目录构建 → outline                               │
└─────────────────────────────────────────────────────┘
  │
  ▼
┌─────────────────────────────────────────────────────┐
│ HierarchyClassifier (一级/二级分类)                   │
│  ├─ LLM调用: 对每个一级目录项分类                     │
│  ├─ 输出: chapter_classification (如 "basis")        │
│  └─ 输出: secondary_category_code (如 "LawsAndReg")  │
└─────────────────────────────────────────────────────┘
  │
  ▼
┌─────────────────────────────────────────────────────┐
│ LLMContentClassifier (三级分类)                      │
│  ├─ 加载 StandardCategoryTable.csv 标准              │
│  ├─ Embedding相似度预筛选 (可选)                      │
│  ├─ LLM调用: 对每个chunk的内容行级分类                │
│  ├─ 补充验证: 对可能遗漏的标准项二次确认              │
│  └─ 输出: tertiary_classification_details            │
│       └─ third_category_code + 行号范围 + 内容       │
└─────────────────────────────────────────────────────┘
  │
  ▼
┌─────────────────────────────────────────────────────┐
│ LightweightCompletenessChecker (完整性检查)           │
│  ├─ 从chunks提取实际三级分类 (集合运算, 无LLM)       │
│  ├─ 从CSV加载标准三级分类                            │
│  ├─ 集合差: missing = required - actual              │
│  ├─ 目录审查: outline vs 标准 (二级粒度)             │
│  ├─ 一致性审查: outline vs 正文 (二级粒度)           │
│  └─ 生成建议:                                        │
│       ├─ issue_point: 模板字符串拼接                  │
│       ├─ reason: 模板字符串拼接                       │
│       └─ suggestion: LLM生成 (1次调用/缺失级别)      │
└─────────────────────────────────────────────────────┘
  │
  ▼
输出: recommendations[] (每条含 level/issue_point/location/suggestion/reason)
```

### 关键代码路径

| 步骤 | 文件 | 方法 |
|------|------|------|
| 一级分类 | `doc_worker/classification/hierarchy_classifier.py` | `HierarchyClassifier.classify_async()` |
| 三级分类 | `reviewers/utils/llm_content_classifier_v2/main_classifier.py` | `LLMContentClassifier.classify_chunks()` |
| 完整性检查 | `reviewers/completeness_reviewer.py` | `LightweightCompletenessChecker.check()` |
| 引擎入口 | `ai_review_engine.py:659` | `check_completeness()` |

### LLM调用次数（方案A）

- 一级分类: N次 (N = 一级目录数)
- 三级分类: M次 (M = chunk数，可能分块)
- 补充验证: K次 (K = 可能遗漏的标准项数)
- 建议生成: 1次/缺失级别（一级/二级/三级各1次）

**总计: N + M + K + 3 次LLM调用**

---

## 二、替代方案（方案B：直接LLM解释）

### 数据流

```
PDF文档
  │
  ▼
┌─────────────────────────────────────────────────────┐
│ doc_worker (文档处理) — 同方案A                      │
└─────────────────────────────────────────────────────┘
  │
  ▼
┌─────────────────────────────────────────────────────┐
│ 直接LLM审查                                          │
│  ├─ 输入: chunks文本 + StandardCategoryTable标准     │
│  ├─ LLM一次性判断: 每条标准是否覆盖                  │
│  ├─ 输出: is_covered + evidence + reason             │
│  └─ 单次调用完成所有判断                             │
└─────────────────────────────────────────────────────┘
  │
  ▼
输出: items[] (每条含 standard_code/is_covered/evidence/reason/confidence)
```

### LLM调用次数（方案B）

- 每个章节: 1次LLM调用（可能需要分块，但远少于方案A）

**总计: ~C 次LLM调用（C = 章节数，通常10个左右）**

---

## 三、对比维度

| 维度 | 方案A（先分类再解释） | 方案B（直接LLM解释） |
|------|----------------------|---------------------|
| **LLM调用次数** | N+M+K+3 (~50-100次) | C (~10次) |
| **延迟** | 高（多次LLM串行/并行） | 低（单次调用） |
| **成本** | 高（大量token消耗） | 低 |
| **准确性** | 高（分类结果可验证，集合运算精确） | 依赖LLM判断能力 |
| **可解释性** | 高（有明确的分类代码和行号） | 中（LLM给出证据但无结构化分类） |
| **可追溯性** | 高（三级分类代码可回溯到CSV标准） | 低（LLM判断过程不透明） |
| **一致性** | 高（集合运算是确定性的） | 低（LLM每次可能不同） |
| **维护成本** | 高（需维护分类器+标准表） | 低（只需维护标准表） |
| **扩展性** | 差（新增标准需重新训练分类器） | 好（改prompt即可） |
| **误报率** | 低（分类准确则判断准确） | 中（LLM可能误判） |
| **漏报率** | 中（分类器可能漏分类） | 中（LLM可能遗漏） |

---

## 四、对比测试设计

### 测试目标

1. **准确性对比**: 两种方案对同一文档的缺失项判断是否一致
2. **延迟对比**: 端到端执行时间
3. **质量对比**: 建议的可操作性和专业性
4. **一致性对比**: 多次运行结果的稳定性

### 测试数据

使用 `temp/construction_review/final_result/` 下的真实审查结果文件，每个文件包含:
- `document_result.structured_content.chunks`: 已处理的文档分块（含三级分类结果）
- `ai_review_result`: 已有的审查结果（作为参考基准）

### 测试流程

1. 加载测试数据（chunks + outline）
2. 对每个章节分别执行方案A和方案B
3. 对比两种方案的输出:
   - 缺失项集合的交集/差集
   - 建议的质量评分（人工或LLM评判）
   - 执行时间和token消耗
4. 生成对比报告

### 评估指标

| 指标 | 计算方式 |
|------|---------|
| 缺失项一致率 | \|A∩B\| / \|A∪B\| |
| 方案A独有缺失 | \|A - B\| (A认为缺失但B认为覆盖) |
| 方案B独有缺失 | \|B - A\| (B认为缺失但A认为覆盖) |
| 耗时比 | Time_A / Time_B |
| 建议质量 | 人工评分1-5分 |