给定一份中文课件(幻灯片 / 讲义 / 教材 PDF),预测每一章从哪一页开始以及章标题。
现状:中文里没有公开的"课件分章"基准。最接近的是段落级主题结构语料 CPTS(14 393 篇新闻,段落级),以及文档解析基准 OmniDocBench、 opendataloader-bench—— 它们评的是"解析得准不准",不评"章分得对不对"。本仓库补这个空位。
| 赛道 | 输入 | 说明 |
|---|---|---|
text-only |
每页纯文本 | 正则 / LLM / 检索类方法的公平起点 |
layout |
文本 + 字号、字重、页面版式 | 对应 PDF 解析器的真实能力 |
输出(每份文档一个):
{ "id": "deck-800", "boundaries": [1, 2, 4, 5, 7], "titles": ["封面", "摘要", "..."] }boundaries 是 1-based 页码,表示该页是某一章的第一页;titles 与之一一对应(可选)。
| 指标 | 方向 | 说明 |
|---|---|---|
windowDiff |
↓ | 滑动窗口内边界数之差的比例(Pevzner & Hearst 2002) |
Pk |
↓ | 经典分块指标(Beeferman et al. 1999) |
boundaryF1 |
↑ | ±1 页容差的边界 F1 |
boundarySimilarity |
↑ | 窗口版 P/R/F1(窗口默认 ±2 页) |
countErr |
↓ | 章数绝对误差 |
标题单独评测(可选):rougeL / 精确匹配率,避免标题质量拖累分章主指标。
data/*.jsonl,一行一份文档,字段见 docs/schema.md。
node eval/run.mjs --gold data --pred predictions/ # 评测一个预测目录
node eval/run.mjs --gold data --pred predictions/ --json # 输出 JSON
node eval/test.mjs # 指标自检预测文件:predictions/<id>.json 或 predictions/<id>.jsonl 里的一行,格式同上面的输出。
- 代码:Apache-2.0(见 LICENSE)
- 标注:CC-BY-4.0(见 LICENSE-DATA)
- 每份文档单独记许可;不能再分发的课件只发布标注 + 指纹 + 获取方式,
不复制正文(
text_included: false)。来源清单见 data/SOURCES.md。
| 项 | 值 |
|---|---|
| 有真实字号/版式的文档 | 2 |
deck-800 |
34 页(layout_source: pptx) |
ics-ch3 |
399 页 / 5 章(layout_source: pptx,第 3 章 3.1–3.5 五个课件,边界=每个课件的第一页) |
| 合计 | 433 页全部带标题字号 |
| 公开课讲义 | 13 讲 MIT 讲义只有 Markdown,没有字号(见 SOURCES.md 的排查) |
layout 基线(只用标题字号)
| 基线 | windowDiff ↓ | Pk ↓ | F1 ↑ | BS ↑ | Δ章数 ↓ |
|---|---|---|---|---|---|
font-size · 全局固定阈值(旧版:size ≥ 全文标题中位数 1.5×) |
0.481 | 0.481 | 0.000 | 0.091 | 6.5 |
font-size · 相对窗口(现版:W=3、1.05×) |
0.269 | 0.253 | 0.591 | 0.731 | 4.5 |
逐份(现版):deck-800 F1 0.182 / BS 0.462;ics-ch3 F1 1.000 / BS 1.000 / WD 0.006。
规则:对第 i 页取前 W 页标题字号的中位数 before、后 W 页的中位数 after,
size ≥ before × R 且 size ≥ after × R 才判为章首——标题要同时高于「刚离开的上下文」
和「即将带的那段正文」。第 1 页(封面)恒为章首;末尾 W 页之后没有正文可开,永不算章首
(deck-800 最后一页 38pt 的收尾引文因此不再误报)。
旧的固定阈值为什么必然是 0:真实课件里章分隔页只比正文大一点点——
ics-ch3是 40pt vs 36pt(+11%),deck-800是 32pt vs 25pt(+28%)。1.5×在ics-ch3上一页也命中不了(中位数 36 → 阈值 54,全文最大字号才 40), 在deck-800上只命中最后一页,而它离真边界还差 2 页(±1 容差外)。
参数从扫参里取(--window / --ratio 可复现,表内是 2 份 layout 文档的平均 boundaryF1):
| W \ R | 1.02 | 1.05 | 1.10 | 1.20 | 1.30 |
|---|---|---|---|---|---|
| 2 | 0.591 | 0.591 | 0.519 | 0.091 | 0.000 |
| 3 | 0.591 | 0.591 | 0.591 | 0.091 | 0.000 |
| 4 | 0.491 | 0.491 | 0.591 | 0.091 | 0.000 |
| 5 | 0.491 | 0.491 | 0.491 | 0.091 | 0.000 |
| 12 | 0.491 | 0.491 | 0.491 | 0.091 | 0.000 |
node baselines/font-size.mjs --window=5 --ratio=1.1 && node eval/run.mjs --pred predictionsR的上界是数据给的:ics-ch3的 40/36≈1.11,R ≥ 1.2时一个章分隔页都命中不了(F1 归 0)。 字号在这类课件里是弱信号,0.591 已经贴着这两份文档能给出的上限(deck-8000.18 +ics-ch31.00 的均值)。W越大越容易被上一章结尾带偏:3.2 的两页「小结」也是 40pt(第 84–85 页),W ≥ 5的窗口把它们和 3.3 的「主要内容」一起判成章首,一次边界变三次预测(F1 0.8)。deck-800的天花板就是 0.18:10 条真边界里有 9 条落在 25pt 的页上,章位置来自 § 编号而非字号, 只靠字号最多挑出 32pt 的第 4 页。要再往上必须加bold(见下段)或文本/层级信号。ics-ch3的 1.000 含容差成分:84/85/86 三页同为 40pt(3.2 的「小结」两页 + 3.3 的「主要内容」), 只看字号无法把边界精确到 86,落在 ±1 页容差内已是这份数据能给的上限。
heading 字段现在可以携带两种信号:size(字号,pt)与 bold(粗细)。
deck-800 与 ics-ch3 的字号都来自 PPTX 的 a:rPr sz(百分之一磅 → 已换算成 pt)。
ics-ch3 正文未发布(text_included: false),只含页标题与字号;权利人可要求移除。
| 项 | 值 |
|---|---|
| 文档数 | 17(13 讲 MIT 公开课 + 结课汇报 deck-800 + 课程课件 ics-ch3 + 2 份玩具) |
| 页数 | 2 339 |
| 章数 | 70 |
| split | train 8 / dev 3 / test 6(按讲划分,同一门课不跨 split) |
| 可再分发正文 | 13 讲公开课 + 2 份玩具(text_included: true);deck-800 与 ics-ch3 只发标注(text_included: false) |
基线(node baselines/*.mjs 生成预测,node eval/run.mjs --pred predictions 评测)
| 基线 | windowDiff ↓ | Pk ↓ | boundaryF1 ↑ | BS ↑ | Δchapters ↓ |
|---|---|---|---|---|---|
| every-page(每页都算一章,地板线) | 0.998 | 0.583 | 0.109 | 0.322 | 117.2 |
| section-heading(「第N节/第N章」正则,text-only) | 0.110 | 0.106 | 0.746 | 0.746 | 2.0 |
注意循环性:OS 讲义的金标边界本身就是「每个 part 文件的第一张幻灯片」, 而这些页的第一行恰好是「第N节 …」,所以 section-heading 在这批数据上偏容易。 真正有区分度的是
deck-800(§ 编号混在正文里)和字号/版式赛道。
消融:删掉所有结构性文本行(--strip-heading,去掉「第N节/第N章」「一、」「1.」这类行)
| 基线 | windowDiff ↓ | Pk ↓ | boundaryF1 ↑ | BS ↑ | Δchapters ↓ |
|---|---|---|---|---|---|
| section-heading(原样) | 0.110 | 0.106 | 0.746 | 0.746 | 2.0 |
section-heading(--strip-heading) |
0.417 | 0.417 | 0.000 | 0.000 | 3.1 |
解读:正则基线完全依赖结构行——把它们删掉后一条边界都预测不出来。
这说明两件事:①现在这批数据对「编号/标题正则」太友好,真正的难度来自没有编号的课件
(如 deck-800);②想在这上面得分,只能靠语义分段或版面信号(字号/层级),
这正是本基准 text-only(无结构行)与 layout 两条赛道想区分的能力。
参考:插件 1.5.0 的分章管道在 deck-800 上 windowDiff 0.061、boundaryF1 0.947。
见 CONTRIBUTING.md。新增文档需要:许可明确、标注双人核对、
node eval/test.mjs 通过。