Skip to content

About

中文课件分章基准:页级章边界 + 章标题,Pk / WindowDiff / Boundary Similarity / F1

Resources

Contributing

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

11 Commits

Folders and files

Repository files navigation

course-chapter-bench · 中文课件分章基准

给定一份中文课件(幻灯片 / 讲义 / 教材 PDF),预测每一章从哪一页开始以及章标题。

现状:中文里没有公开的"课件分章"基准。最接近的是段落级主题结构语料 CPTS(14 393 篇新闻,段落级),以及文档解析基准 OmniDocBench、 opendataloader-bench—— 它们评的是"解析得准不准",不评"章分得对不对"。本仓库补这个空位。

任务

赛道 输入 说明
text-only 每页纯文本 正则 / LLM / 检索类方法的公平起点
layout 文本 + 字号、字重、页面版式 对应 PDF 解析器的真实能力

输出(每份文档一个):

{ "id": "deck-800", "boundaries": [1, 2, 4, 5, 7], "titles": ["封面", "摘要", "..."] }

boundaries 是 1-based 页码,表示该页是某一章的第一页;titles 与之一一对应(可选)。

指标

指标 方向 说明
windowDiff ↓ 滑动窗口内边界数之差的比例(Pevzner & Hearst 2002)
Pk ↓ 经典分块指标(Beeferman et al. 1999)
boundaryF1 ↑ ±1 页容差的边界 F1
boundarySimilarity ↑ 窗口版 P/R/F1(窗口默认 ±2 页)
countErr ↓ 章数绝对误差

标题单独评测(可选):rougeL / 精确匹配率,避免标题质量拖累分章主指标。

数据格式

data/*.jsonl,一行一份文档,字段见 docs/schema.md。

用法

node eval/run.mjs --gold data --pred predictions/            # 评测一个预测目录
node eval/run.mjs --gold data --pred predictions/ --json     # 输出 JSON
node eval/test.mjs                                           # 指标自检

预测文件:predictions/<id>.json 或 predictions/<id>.jsonl 里的一行,格式同上面的输出。

数据来源与许可

  • 代码:Apache-2.0(见 LICENSE)
  • 标注:CC-BY-4.0(见 LICENSE-DATA)
  • 每份文档单独记许可;不能再分发的课件只发布标注 + 指纹 + 获取方式, 不复制正文(text_included: false)。来源清单见 data/SOURCES.md。

layout 赛道现状

项 值
有真实字号/版式的文档 2
deck-800 34 页(layout_source: pptx)
ics-ch3 399 页 / 5 章(layout_source: pptx,第 3 章 3.1–3.5 五个课件,边界=每个课件的第一页)
合计 433 页全部带标题字号
公开课讲义 13 讲 MIT 讲义只有 Markdown,没有字号(见 SOURCES.md 的排查)

layout 基线(只用标题字号)

基线 windowDiff ↓ Pk ↓ F1 ↑ BS ↑ Δ章数 ↓
font-size · 全局固定阈值(旧版:size ≥ 全文标题中位数 1.5×) 0.481 0.481 0.000 0.091 6.5
font-size · 相对窗口(现版:W=3、1.05×) 0.269 0.253 0.591 0.731 4.5

逐份(现版):deck-800 F1 0.182 / BS 0.462;ics-ch3 F1 1.000 / BS 1.000 / WD 0.006。

规则:对第 i 页取前 W 页标题字号的中位数 before、后 W 页的中位数 after, size ≥ before × R 且 size ≥ after × R 才判为章首——标题要同时高于「刚离开的上下文」 和「即将带的那段正文」。第 1 页(封面)恒为章首;末尾 W 页之后没有正文可开,永不算章首 (deck-800 最后一页 38pt 的收尾引文因此不再误报)。

旧的固定阈值为什么必然是 0:真实课件里章分隔页只比正文大一点点—— ics-ch3 是 40pt vs 36pt(+11%),deck-800 是 32pt vs 25pt(+28%)。 1.5× 在 ics-ch3 上一页也命中不了(中位数 36 → 阈值 54,全文最大字号才 40), 在 deck-800 上只命中最后一页,而它离真边界还差 2 页(±1 容差外)。

参数从扫参里取(--window / --ratio 可复现,表内是 2 份 layout 文档的平均 boundaryF1):

W \ R 1.02 1.05 1.10 1.20 1.30
2 0.591 0.591 0.519 0.091 0.000
3 0.591 0.591 0.591 0.091 0.000
4 0.491 0.491 0.591 0.091 0.000
5 0.491 0.491 0.491 0.091 0.000
12 0.491 0.491 0.491 0.091 0.000
node baselines/font-size.mjs --window=5 --ratio=1.1 && node eval/run.mjs --pred predictions
  • R 的上界是数据给的:ics-ch3 的 40/36≈1.11,R ≥ 1.2 时一个章分隔页都命中不了(F1 归 0)。 字号在这类课件里是弱信号,0.591 已经贴着这两份文档能给出的上限(deck-800 0.18 + ics-ch3 1.00 的均值)。
  • W 越大越容易被上一章结尾带偏:3.2 的两页「小结」也是 40pt(第 84–85 页), W ≥ 5 的窗口把它们和 3.3 的「主要内容」一起判成章首,一次边界变三次预测(F1 0.8)。
  • deck-800 的天花板就是 0.18:10 条真边界里有 9 条落在 25pt 的页上,章位置来自 § 编号而非字号, 只靠字号最多挑出 32pt 的第 4 页。要再往上必须加 bold(见下段)或文本/层级信号。
  • ics-ch3 的 1.000 含容差成分:84/85/86 三页同为 40pt(3.2 的「小结」两页 + 3.3 的「主要内容」), 只看字号无法把边界精确到 86,落在 ±1 页容差内已是这份数据能给的上限。

heading 字段现在可以携带两种信号:size(字号,pt)与 bold(粗细)。 deck-800 与 ics-ch3 的字号都来自 PPTX 的 a:rPr sz(百分之一磅 → 已换算成 pt)。 ics-ch3 正文未发布(text_included: false),只含页标题与字号;权利人可要求移除。

现状

项 值
文档数 17(13 讲 MIT 公开课 + 结课汇报 deck-800 + 课程课件 ics-ch3 + 2 份玩具)
页数 2 339
章数 70
split train 8 / dev 3 / test 6(按讲划分,同一门课不跨 split)
可再分发正文 13 讲公开课 + 2 份玩具(text_included: true);deck-800 与 ics-ch3 只发标注(text_included: false)

基线(node baselines/*.mjs 生成预测,node eval/run.mjs --pred predictions 评测)

基线 windowDiff ↓ Pk ↓ boundaryF1 ↑ BS ↑ Δchapters ↓
every-page(每页都算一章,地板线) 0.998 0.583 0.109 0.322 117.2
section-heading(「第N节/第N章」正则,text-only) 0.110 0.106 0.746 0.746 2.0

注意循环性:OS 讲义的金标边界本身就是「每个 part 文件的第一张幻灯片」, 而这些页的第一行恰好是「第N节 …」,所以 section-heading 在这批数据上偏容易。 真正有区分度的是 deck-800(§ 编号混在正文里)和字号/版式赛道。

消融:删掉所有结构性文本行(--strip-heading,去掉「第N节/第N章」「一、」「1.」这类行)

基线 windowDiff ↓ Pk ↓ boundaryF1 ↑ BS ↑ Δchapters ↓
section-heading(原样) 0.110 0.106 0.746 0.746 2.0
section-heading(--strip-heading) 0.417 0.417 0.000 0.000 3.1

解读:正则基线完全依赖结构行——把它们删掉后一条边界都预测不出来。 这说明两件事:①现在这批数据对「编号/标题正则」太友好,真正的难度来自没有编号的课件 (如 deck-800);②想在这上面得分,只能靠语义分段或版面信号(字号/层级), 这正是本基准 text-only(无结构行)与 layout 两条赛道想区分的能力。

参考:插件 1.5.0 的分章管道在 deck-800 上 windowDiff 0.061、boundaryF1 0.947。

贡献

见 CONTRIBUTING.md。新增文档需要:许可明确、标注双人核对、 node eval/test.mjs 通过。

About

中文课件分章基准:页级章边界 + 章标题,Pk / WindowDiff / Boundary Similarity / F1

Resources

Contributing

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages