面向 Animeko 固定四位数字验证码的轻量 CNN 科研仓库。项目完整开放训练代码、人工标注样本、实验记录、alpha1 权重与最终模型的评估/生产流水线,目标是在 Python 与后续纯 Kotlin 实现之间复现相同的 40 个 logits。
发布状态(2026-07-17):最终 Position-DS 三模型集成与
captcha-alpha1均已开放。最终模型在 481 张多来源留出集上达到 96.05% ExactAcc@1;生产 ONNX 使用全部 3,203 张冻结样本重训。
| 资产 | 状态 | 内容 | 可信度说明 |
|---|---|---|---|
models/captcha-alpha1/ |
可下载、可推理 | 三个 wide_position 模型的 logits 平均 ONNX、报告、训练 manifest |
91.65% CharAcc / 72.06% ExactAcc 是 2,477 张训练快照指标,不是独立测试结论 |
models/final/ |
已发布 | 最终 Position-DS 生产 ONNX、eval/prod 报告、split、manifest 和哈希 | 481 张多来源留出 ExactAcc@1 96.05%;其中 218 张参与过早期方案选择 |
models/experimental/ |
已开放 | 早期 Position 与 Wide Position 单模型 ONNX、split、报告和导出校验 | 仅用于复现实验演进,不建议部署 |
dataset/captcha-v1/ |
已开放 | 3,203 张人工标注 PNG、来源/批次/哈希 manifest | 三个来源各 1,000 张正式样本,另含 203 张 preflight 样本 |
experiments/ |
已开放 | 结构消融、跨批次留出、alpha1 与最终结果 | 明确区分 CV、holdout、训练快照和生产重训 |
要求 Python 3.12 和 uv。
$env:UV_CACHE_DIR = "$PWD\.uv-cache"
uv sync --python 3.12
uv run python -m cnn_for_ani
uv run pytest
uv run ruff check .
uv run ruff format --check .使用最终 ONNX 识别一张样本:
uv run python examples/predict_onnx.py `
models/final/captcha.onnx `
dataset/captcha-v1/images/0000_7a831cfc-a80e-4b52-9a39-9603bcff967d-1784115459408-0838.png输出包含四位预测、最小位置置信度和 [1, 4, 10] logits 形状。置信度是四个位置各自最大类别概率的最小值,不取平均值。
- 任务:固定长度四位数字 multi-head classification,不切字、不使用 CTC/CRNN/Transformer。
- 输入:灰度图,resize 到
96 x 32,转换为float32 [0, 1],张量形状[B, 1, 32, 96];不使用 ImageNet normalization。 - 输出:四个位置、每位置十类的 logits,形状
[B, 4, 10]。 - 损失:四位置交叉熵;最终方案的位置权重为
(1.0, 1.15, 1.15, 1.0),label smoothing 为0.02。 - 指标:CharAcc、ExactAcc、HammingError;模型选择和发布以 ExactAcc 为主。
- 对齐要求:同一真实输入的 Python/ONNX/Kotlin 40 个 logits 最大绝对误差
< 1e-4,只比较 argmax 不算通过。
最终模型不是当前 alpha1 的改名版本,而是一套已冻结结构和训练规则的新模型。每个成员为 93,904 参数的 PositionDSCaptchaCNN,三个种子模型的 logits 做算术平均,集成共 281,712 个可训练参数。
单成员结构:
1 -> 32的3 x 3stem,BatchNorm + SiLU,保持32 x 96。- 两个 32 通道 depthwise-separable residual block。
- stride-2 下采样到 48 通道,再接两个 residual block。
- stride-2 下采样到 72 通道,再接三个 residual block;最后一个使用横向 dilation
(1, 2)。 AdaptiveAvgPool2d((1, 4))保留四个横向位置。- 四个独立的
72 -> 64 -> 10分类头,输出[B, 4, 10]。
训练规则已经冻结:
| 配置 | 值 |
|---|---|
| seeds | 42, 3407, 20260716 |
| optimizer | AdamW |
| updates | 最多 25,000;至少 15,000 |
| batch size | 32 |
| learning rate | 1.5e-3 -> 1e-5,500 updates warmup + cosine decay |
| weight decay | 1e-4 |
| EMA | 0.999 |
| gradient clipping | 1.0 |
| hard replay | 17,500 updates 后,困难样本权重 2.0 |
| checkpoint | 每 250 updates 保存完整可精确恢复状态 |
评估阶段固定 481 张多来源留出集:新优酷 161、次元城动画 160、饭团动漫 160;其余 2,447 张训练、275 张验证。该留出集有 218 张曾出现在早期实验 manifest 中,因此属于“多来源留出评估”,不是完全盲测。报告必须同时给出总体和分来源指标。只有 eval 集成 ExactAcc@1 达到 60% 才能进入全量 3,203 张生产重训;理想线为 65%。
最终 eval 已通过发布线:
| 指标 | 总体(481) | 新优酷(161) | 次元城动画(160) | 饭团动漫(160) |
|---|---|---|---|---|
| CharAcc | 98.80% | 98.45% | 99.22% | 98.75% |
| ExactAcc@1 | 96.05% | 96.27% | 96.88% | 95.00% |
| HammingError | 0.0478 | 0.0621 | 0.0313 | 0.0500 |
总体 ExactAcc@2/@3/@5 分别为 98.34% / 98.54% / 98.75%,四个位置准确率分别为 98.75% / 98.34% / 99.38% / 98.75%。最终生产模型按 eval 选出的成员更新数 6750 / 5500 / 5500 在全部 3,203 张样本上重训;生产训练不生成用于宣传的训练集准确率,可信指标始终来自 eval 报告。
公开的 captcha.onnx 大小为 1,173,896 bytes,SHA-256 为 97731e093e77c69a768de81ed9d565bb5f81c6bef88df261b6dd460bca2cfd9a。ONNX checker 通过,PyTorch/ONNX Runtime 最大 logits 误差为 1.5497208e-06。完整指标与文件说明见 models/final/MODEL_CARD.md。
captcha-alpha1 是最终 Position-DS 方案冻结前的可运行研究版本,对应内部实验名 captcha-v1.0:
- 三个
wide_position成员,seed 为42 / 3407 / 20260716; - 单成员 40,394 参数,集成 121,182 参数;
- 在启动时冻结的 2,477 张完整训练快照上训练 242 epochs;
- 训练快照 CharAcc 91.65%、ExactAcc 72.06%、HammingError 0.3339;
- ONNX 大小 496,620 bytes,opset 17;
- PyTorch/ONNX Runtime 最大 logits 误差
4.7683716e-06; - 输入
[B, 1, 32, 96],输出[B, 4, 10]。
这些准确率只说明训练快照拟合情况,不代表跨来源泛化能力;新部署应优先使用最终 Position-DS,并继续在自己的独立数据上验证。
dataset/captcha-v1/manifest.csv 为每张图片记录:人工标签、样本 ID、来源、批次、用途、尺寸和 SHA-256。图片保持采集时的 128 x 40 PNG 原始字节;训练时才执行确定性灰度 resize。
| 来源 | 正式训练采集 | preflight | 合计 |
|---|---|---|---|
| 次元城动画 | 1,000 | 1 | 1,001 |
| 饭团动漫 | 1,000 | 101 | 1,101 |
| 新优酷 | 1,000 | 101 | 1,101 |
| 合计 | 3,000 | 203 | 3,203 |
数据全部经过人工标注;没有使用模型预测自动回写标签。数据卡、重建命令、已知偏差和许可边界见 dataset/captcha-v1/DATASET_CARD.md。
人工标注:
uv run python -m cnn_for_ani.labeling32 张真实样本过拟合检查:
uv run python -m cnn_for_ani.overfit五折结构实验与历史 alpha1:
uv run python -m cnn_for_ani.training --model position --augmentation light
uv run python -m cnn_for_ani.train_ensemble最终 Position-DS 评估、续跑与生产重训:
uv run python -m cnn_for_ani.final_pipeline --phase eval
uv run python -m cnn_for_ani.final_pipeline --resume artifacts/captcha-final-eval_...
uv run python -m cnn_for_ani.final_pipeline --phase prod `
--eval-report artifacts/captcha-final-eval_.../report.json长训练启动时会冻结文件列表、split、配置和随机状态;续跑会校验这些状态,不能偷偷吸收新样本或修改超参数。完整历史指标见 experiments/README.md,执行依据见 docs/实现过程.md 与 docs/最终方案.md。
本仓库同时包含一篇基于该项目撰写的深度学习课程论文,围绕固定四位数字验证码识别,说明数据集构建、Position-DS 模型设计、训练与评估过程、误差分析,以及模型在 Animeko 中的部署实践。可直接阅读 论文 PDF,或查看 LaTeX 源码 和 参考文献。
src/cnn_for_ani/ 模型、预处理、训练、评估与导出
tests/ 模型/数据/指标/断点恢复契约测试
models/ 公开的 alpha1、最终模型状态与实验 ONNX
dataset/captcha-v1/ 公开标注样本、manifest、数据卡与数据许可
experiments/ 可审计的实验阶段指标
examples/ 最小推理示例
scripts/ 开放数据集重建与校验工具
artifacts/ 本地训练运行目录,默认不提交
docs/ 实验规范与理论依据
paper/ 课程论文、参考文献与论文插图
- 当前任务只覆盖三个来源、固定四位数字和相近的图像生成分布;不要外推到通用 OCR。
- 481 张最终留出集中有 218 张参与过早期方案选择,完全盲测仍需新增至少 159 张次元城和 59 张饭团样本。
- 本项目仅用于已获授权的兼容性研究、可复现实验和无障碍自动化。不得用于绕过未授权服务的访问控制或违反来源站点条款。
- 数据来源名称只用于科研溯源,不表示来源站点认可本项目。
提交变更前请阅读 CONTRIBUTING.md,安全问题见 SECURITY.md。引用方式见 CITATION.cff。
代码和模型权重使用 Apache License 2.0;开放样本集使用 CC BY 4.0。