Skip to content

About

纯前端、零安装依赖的神经网络可视化训练工具:在浏览器中搭建并训练网络,实时观察 Loss 曲线、混淆矩阵与决策边界。

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

70 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 

Repository files navigation

神经网络训练器

一个纯前端、零安装依赖的神经网络可视化训练工具。直接在浏览器中搭建并训练神经网络,实时观察 Loss 曲线、混淆矩阵和决策边界。

快速开始

用浏览器打开 index.html 即可使用,无需安装任何环境。Loss 图表依赖 Chart.js(CDN 加载,含多源备用与离线降级提示),图表以外的所有功能离线可用。

功能一览

网络搭建

  • 支持回归(MSE)和分类(Softmax + Cross Entropy)两种任务
  • 自由配置输入/输出维度,任意增删隐藏层
  • 激活函数:ReLU / Leaky ReLU / Sigmoid / Tanh
  • 优化器:SGD / Momentum / RMSProp / Adam
  • 正则化:Dropout + L2 权重衰减
  • 支持 He 初始化

训练与评估

  • 训练集 / 测试集自动划分,可自定义比例
  • 基于验证 Loss 的 Early Stopping
  • 双 Y 轴 Loss + 准确率实时曲线(Chart.js)
  • 分类任务自动生成混淆矩阵,含 Precision / Recall / F1-Score
  • 2D 输入分类任务自动绘制决策边界
  • WebGL 硬件加速开关

数据与模型

  • 内置 6 个预设示例:XOR、非线性拟合、正弦曲线、鸢尾花分类、螺旋分类、四象限分类
  • 手动添加 / 编辑训练数据
  • 模型导出为 JSON(含权重、超参数、训练历史)
  • 支持模型导入恢复
  • 独立推理面板,分类任务显示各类别概率

语言模型(页面底部独立面板)

  • 字符级因果 Transformer(GPT 式掩码自注意力),内置在页面里,纯 JS 手写
  • 训练语料、轮数、学习率、模型维度、滑动窗口可调;训练进度条 + loss 实时显示
  • 训练完成后按提示词续写,可调续写长度、温度、top_p(nucleus 采样)、min_p,以及重复 / 存在 / 频率惩罚与禁重复 n-gram
  • 训练结束显示困惑度(exp(平均交叉熵))
  • 支持把模型(参数 + 配置 + 词表)保存为 JSON,并重新加载继续生成

界面

  • 深色主题,响应式布局,适配手机 / 平板 / 桌面

与 Python 仓库的同步范围

页面只保留「浏览器里可以直接体验」的部分:一个可交互的分类 / 回归训练器,加一个字符级因果语言模型面板;Python 主仓库(Python-standard-library-only-AI-main)的训练算法、指标套件、研究型架构与服务端 / 部署组件不会全部搬进页面。截至 Python 主仓库 HEAD 2d0e18c(test_ai.py 共 2597 个测试;f48d02a 之后只有两笔文档 / 注释整理提交,能力面没有变化),同步状态如下。

表中「✅ 已同步」的含义是:能在本页 index.html / tools/ 里核对到对应实现与校验证据,且页面语言模型部分的数值由它自己的黄金基线、中心有限差分梯度与伪 DOM 集成测试守护;它不代表与 Python 数值逐位等价(例如页面 LLM 用 pre-LN,Python CausalLM 默认是 post-LN)。「⛔」表示明确不在页面范围,以 Python 主仓库 README 为准。

能力 状态 说明
分类 / 回归训练器:MLP / CNN 1D / RNN / Attention 结构,SGD / Momentum / RMSProp / Adam 优化器,Dropout / L2 / He 初始化,Early Stopping,混淆矩阵 / 决策边界,JSON 存档 ✅ 已同步 页面原生实现,对应 Python 的 Layer / Conv1d / RNN / MultiHeadAttention 与 SGD / SGDMomentum / RMSprop / Adam;tools/llm_page_check.js 只覆盖它的静态结构(脚本语法、标签配平、元素 id 契约),训练数值没有自动化对拍
字符级 GPT:因果自注意力训练、生成、困惑度、滑动窗口、模型 JSON 存档 ✅ 已同步 页面独立 JS 实现(pre-LN + 绝对位置编码 + ReLU 前馈),与 Python CausalLM 属同类结构但非逐位移植;tools/llm_core_test.js 用旧行为黄金基线与中心有限差分梯度守护页面自身的数值
采样与过滤:温度 / top_k / top_p / min_p / typical / top_a / eta / tail_free / mirostat,重复 / 存在 / 频率惩罚,禁重复 n-gram ✅ 已同步 各过滤器在同一行 logits 上的保留集合用 Python AI.typical_filter 等实测黄金值对齐;参数取中性值(如 top_p = 1)时与旧行为逐位一致
前缀 KV 缓存:缓存结构、llmForwardStep 增量前向、llmGenerateCached 缓存生成 ✅ 已同步 对应 Python PrefixCache / llm_generate_cached;JS 内缓存结果与整段重算逐位一致,merge / truncate 语义按 Python 版对齐
对比搜索(contrastive search) ✅ 已同步 对应 Python contrastive_select / contrastive_search:按候选自身隐状态算退化惩罚,score = (1 − α)·p − α·reward;按公式与页面断言核对,不与 Python 逐位比对
约束解码:正则(Thompson NFA)/ CFG(Earley)/ 字符级 JSON / 词表级 JSON ✅ 已同步 对应 Python RegexGrammar / CFGGrammar / json_grammar();词表级的 allowed 集合有 15 组 Python 黄金值,字符级与 Python 一样不包含 JSON Schema 校验
Python CausalLM 的高级选项:RoPE / ABF / LongRoPE、GQA / MQA、ALiBi、SwiGLU、RMSNorm、LoRA / Prefix Tuning、MTP、FlashAttention、NSA / MoBA、线性注意力 / RingAttention、束搜索、量化 KV cache、dropout ⛔ 未同步 页面只保留默认的 dense 全注意力 + 绝对位置编码 + ReLU 前馈这一最小可交互实现;这些选项在 Python 侧有实现与测试,但浏览器里没有相应的交互场景
训练基础设施与训练技术:Trainer / unwrap_model / benchmark_forward、回调、梯度累积、断点续训、K 折、超参搜索、LR 扫描、配置驱动训练、梯度检查点、混合精度 / fp8、ZeRO / FSDP / 张量并行 / 序列并行模拟 ⛔ 不引入 属训练编排与内存 / 分布式模拟;页面只有单模型、单进程的一轮训练循环
指标套件:14 个基础指标(分类 / 回归 / 文本生成),以及文本 / 语音 / 视觉 / 排序 / 分割 / 聚类 / 校准 / 检测 / OOD / 公平性等扩展 ⛔ 不引入 纯计算,没有交互价值;页面只显示自己的 Loss / 准确率 / 混淆矩阵
生成模型与采样器:VAE / GAN 族 / DDPM / DDIM / Flow Matching / DiT / Score-based SDE / Glow / ProGAN / StyleGAN / CycleGAN / Pix2Pix ⛔ 不引入 需要训练出的生成网络与采样状态,和页面「分类器 + 字符级语言模型」两个面板无关
RL / 偏好对齐 / 搜索与 Agent:RLHFTrainer、DPO / IPO / SimPO / CPO / ORPO / KTO、GRPO / RLOO / DAPO / GSPO、DQN / PPO、IQL / CQL、MCTS / Tree-of-Thought、ReAct / RAG / LLMSearch、PRM、Constitutional AI、test-time compute ⛔ 不引入 属训练循环或 Agent 编排,单页浏览器应用无法提供有意义的交互
研究型模型与多模态:Mamba / Jamba / Mamba-2 / RWKV / RetNet / xLSTM / DeBERTa / DETR、CLIP、WhisperLite / Wav2Vec2 / Conformer / CTC / TTS、NeRF / Gaussian Splatting、YOLOLite / PointNet、MoleculeGNN / AlphaFold-lite、EGNN / Graphormer、Neural ODE / PINN / DeepONet / FNO1d,以及时序 / 推荐 / 科学计算模型 ⛔ 不引入 各自需要配套的数据管道与训练循环,不属于「浏览器里能直接体验」的两个面板
推理侧工具与诊断:投机解码(Medusa / EAGLE)、批内打包、KV 量化(KIVI)/ Wanda 剪枝、PagedAttention 块管理、树状注意力、StreamingLLM 掩码、幻觉检测、SAE / 剪枝 / 模型合并 / 可解释性工具 ⛔ 不引入 依赖草稿头、量化权重、块管理器等运行时状态,或属离线诊断工具
工程组件:字节级 BPE / WordPiece、数据管道、MinHash / SimHash 去重、VersionedStore、Safetensors、ONNX 导出、命令行入口、模型元数据 / 实验追踪、文本水印 ⛔ 不引入 文件系统 / 部署 / 导出组件,浏览器单页没有对应场景
C 侧(AI_C)的移植清单 ⛔ 不在本页范围 C 侧是独立的 C17 引擎仓库、独立的同步轨道;它已实现哪些能力以该仓库 README 的「与 Python 版本的功能对照」为准,本页不把 C 侧能力算作「页面已同步」,也不声称 C 侧已完整跟进 Python 主仓库

C 侧(AI_C 仓库)的同步是另一条独立轨道,不由本仓库维护:它以 C 语言实现纯计算、导出与训练模拟类能力,并用 tools/*_reference.py + tests/compare_*.c 与 Python 参考做逐位或固定容差对拍。具体清单、未包含的部分与对拍方式见该仓库 README 的「与 Python 版本的功能对照」。

C 侧引擎是独立的纯 C17 实现,它最近一轮已跟进的四组能力(C 仓库提交 abbfcc1 / c8f8b42 / daa8178 / de8ddf1)为:FIM 与 T5 span corruption(752 / 752 逐位)、QK-Norm 与 DynamicTanh(531 / 531 逐位)、ABF / LongRoPE / 2D / 3D RoPE(2324 / 2324 逐位)、线性注意力 / 长卷积(610 项检查,601 项逐位、其余在 1e-12 容差内,失败 0)。这与上表的「✅ 浏览器已同步」不是同一个概念——本页仍只实现浏览器里能直接运行的部分;C 侧其余能力是否跟进同样以其 README 为准,本页不做扩张声明。

同步原则:页面里出现的数值算法必须能在 tools/ 的 Node 校验里与 Python 参考逐位或按固定容差对齐;未同步的 Python 能力以主仓库 README 为准。

网络架构

整体采用 特征提取 + MLP 分类/回归 的二段式结构:

输入 → [架构模块] → 特征向量 → MLP 隐藏层 → 输出层

架构模块支持四种可选方案:

架构 说明 可配参数
MLP 全连接,输入直通,不做额外特征变换 —
CNN 1D 一维卷积,适合信号峰值检测等局部特征提取 卷积核大小、滤波器数量
RNN 循环网络,将序列逐步编码为隐藏状态,适合时间序列预测 隐藏维度
Attention 多头自注意力 + 均值池化,适合全局依赖建模与波形分类 嵌入维度、注意力头数

架构模块与后续 MLP 联合训练,共享同一优化器和损失函数。分类任务输出层经过 Softmax 得到类别概率。

因果语言模型

页面底部有一个独立的「因果语言模型(字符级 GPT)」面板,不依赖上面的分类/回归流水线,用来直观展示 GPT 的核心机制:

字符 → 词向量 + 正弦位置编码 → 因果多头自注意力 → 残差 + LayerNorm → 前馈 → 词表头 → 下一个字符
  • 因果掩码:注意力分数矩阵的上三角(j > i)在 softmax 前置为 -Infinity,softmax 后权重恰为 0,因此每个位置只能看到自己和左边的字符;反向传播时这些位置梯度天然为零,不需要额外分支。
  • 滑动窗口:窗口 W > 0 时,在因果掩码之外再把 j < i - W + 1 的位置置为 -Infinity,每个位置只看最近 W 个字符(W = 1 即只看自己);W = 0 退回全注意力,与原来的行为逐位一致。
  • 训练:把整段语料当成一条序列,每个位置预测下一个字符,交叉熵损失 + Adam 全参数更新。
  • 生成:从提示词开始逐字符采样(温度缩放 + 累积分布),每步把最后 maxLen 个字符作为上下文重新前向。top_p < 1 时先按概率从高到低保留累计概率刚好达到 top_p 的 token 集合,再在集合内重新归一化采样(nucleus 采样);top_p = 1 完全跳过这一步,采样结果与旧版逐位相同。
  • 采样控制:生成时还可叠加五项与 Python 版一致的策略,默认全部关闭。每一步的顺序是「重复惩罚 → 存在惩罚 → 频率惩罚 → 禁重复 n-gram → 温度缩放 → top_k / top_p → min_p」:
    • min_p:top_k / top_p 过滤后,丢掉概率低于 min_p × 最大概率 的 token(0 关闭)。例如 min_p = 0.5 在 0.7 / 0.2 / 0.1 上只留 0.7;两个等概率 token 会一起保留,因为是按相对峰值截尾。
    • typical(mass,默认 0.9):按「惊讶度 |−log p − H| 从小到大」累计概率,直到 ≥ mass;保留的是最「典型」的那批 token,而不是最简单的一批。
    • top_a(默认 0.1):阈值 top_a · p_max²,比它小的直接砍掉;0 关闭。
    • eta(默认 0.3):丢弃概率 ≤ eta 的 token(至少保留 argmax),比 min_p 更硬。
    • tft(tail-free,默认 0.5):按 log 概率的二阶差分找长尾拐点,tft 越小保留越多。
    • mirostat_mu:Mirostat 掩码(保留 −log p ≤ mu,并给出保留集熵),配合 llmMirostatUpdate(mu, observed, target, strength) 迭代。

过滤器顺序写死为 top_k → typical → top_a → eta → tail_free → top_p → min_p → mirostat;全部留空时不调用任何过滤器,采样路径与旧版逐位相同(tools/llm_core_test.js 有断言)。各过滤器的保留集合与 Python AI.typical_filter 等用同一行 logits 的实测结果对齐([0.5, 2.0, -1.0, 1.0, 3.0, 0.0, -0.5, 1.5] → typical {1,3,4,7}、top_a {0,1,3,4,7}、eta {4}、tail_free {1,4,7}、mirostat {1,4} 且熵 0.582203108888218)。

前缀 KV 缓存(数据结构 + 可视化)

对应 Python 的 AI.PrefixCache,是纯数据结构(每层两张 (len, d) 行表):

函数 作用
llmPrefixCache(numLayers, dModel) 建空缓存
llmCacheSet(c, layer, keys, values) / llmCacheGet(c, layer) 写入 / 读取(读出来是深拷贝)
llmCacheLength(c, layer) 该层已缓存的行数
llmCacheTruncate(c, n) 所有层截断到 n 行(只截不放)
llmCacheMerge(c, other) 追加另一个同形状缓存的全部层
llmCacheToJSON(c) / llmCacheFromJSON(data) JSON 往返(可直接塞进存档)
llmCacheStats(c, promptLen) / llmCacheBars(stats, width) 每层 {layer, len, reuse} 与 ASCII 条形图
llmForwardStep(m, tokenId, pos, c) 单 token 增量前向(复用同一份缓存结构)
llmGenerateCached(m, ids, n, temperature, topK, rand, topP, opts) 预填充 + 增量生成,返回 {ids, stats: {prefill, steps, rebuilds}}

行宽、有限数字、层号范围、合并时层数/维度一致、truncate 非负整数、fromJSON 的字段与 层数都做校验——12 条非法输入在 tools/llm_core_test.js 里逐条断言会抛错。

缓存现在真的接进了生成循环:llmForwardStep 做单 token 增量前向,llmGenerateCached 先整段 预填充、之后每步只前向一次;窗口(maxLen)滑动导致位置整体左移时旧缓存作废,会按新窗口重建 一次(源码里记 rebuilds)。面板上的「用 KV 缓存」勾选走的就是这条路,统计行会显示 prefill / 步进 / 重建 次数。

数值上与整段重算逐位一致(tools/llm_core_test.js 有 window=0 / window=2 的单步对比、 cached 与普通生成的逐 token 对比,含滑动重建场景);速度上仍是教学实现,不做基准承诺。 Python 版 PrefixCache 与 C 版 llm.c 的增量 KV cache 也是同一套「缓存位置与窗口重基准」语义。

词表级 JSON 约束解码

页面同时给出一个词表级(token-level)的 JSON 约束解码器,等价于 Python 的 AI.grammar_allowed(AI.json_grammar(), prefix, vocab):

函数 作用
llmJsonStart() 初始状态(期待一个顶层值)
llmJsonStep(ctx, token) 吃一个 token,返回新状态;非法则返回 null
llmJsonAllowed(ctx, vocab) / llmJsonMask(ctx, vocab) 当前允许的 token 列表 / 布尔掩码
llmJsonPick(logits, vocab, ctx) 在允许集里取 logit 最大者(同分取小下标),无解则抛错
llmJsonComplete(ctx) 文档是否已完整({"a":[1,true]} 走完即 true)

state 是一个 { st, stack } 对象,stack 记录当前嵌套的容器("obj" / "arr"), 所以 st 只有 VAL / KCLOSE / KEY / COLON / CEND / AEND / VCLOSE / DONE 八种。 它是增量的:每来一个 token 只做一步,不需要重跑整段前缀。

tools/llm_core_test.js 里有 15 个前缀的黄金值(同一个 15 词的词表,对照 Python grammar_allowed 的允许集合逐项一致)、完整文档走到 DONE、DONE 后再喂 token 被拒、 llmJsonPick 的三条错误路径,以及「随机 logits 走 300 次从不产生非法 token」的性质抽查。

边界:这是词表级约束——词表里的每个元素被当成一个完整 token("a"、-2.5、true、 { 等)。页面本身的 LLM 是字符级生成的,所以另外实现了按字符推进的语法器与约束解码(下一节), 这一节的词表级解码器保留作对照。

对比搜索(contrastive search)

对应 Python 的 AI.contrastive_select / AI.contrastive_search:每步在概率 top-k 候选里用 「候选自己的隐状态」与历史隐状态的最大余弦相似度做退化惩罚,score = (1−α)·p − α·reward, 再取分数最高者。惩罚必须按候选各自的隐状态算——共用一个隐状态时所有候选同罚,选择会退化成 argmax(tools/llm_core_test.js 专门断言这点)。

函数 作用
llmContrastiveSelect(logits, hiddens, history, alpha, topK) 单步选择,返回 {token, score, prob, reward, candidates}
llmContrastiveSearch(m, ids, maxNewTokens, topK, alpha) 完整生成,返回 {ids, picks, forwards}

代价是每生成一个字符要做 top_k 次候选前向(比普通续写慢一个数量级),面板上「对比搜索」按钮 与 top_k / alpha 两个输入会把这个代价显式写进统计行;提示 + 续写总长超过 maxLen 会直接报错 (对比搜索不做窗口截断)。

字符级语法约束解码(正则 / CFG / 字符级 JSON)

对应 Python 的 RegexGrammar / CFGGrammar / json_grammar(),但按字符推进、接进了生成 循环:每一步把语法不允许的字符 logit 置为 -Infinity,再走与普通生成相同的惩罚 / top_k / top_p / min_p 采样路径。

函数 作用
llmRegexGrammar(pattern) 自写正则解析(字面量、.、*+?、[abc]、[^abc]、\d/\w/\s、|、分组)+ Thompson NFA,整段匹配
llmCfgGrammar(productions, start) Earley 解析器;右部可混用字符串终结符与谓词函数,支持空产生式
llmJsonCharGrammar() 字符级完整 JSON 文法(对象 / 数组 / 字符串含转义 / 数字含整数小数指数 / true / false / null,紧凑形式)
llmGrammarAllowed / llmGrammarAccepts / llmGrammarMask / llmGrammarPick 正则 / CFG 通用入口
llmGrammarGenerate(...) / llmConstrainedGenerate(...) 贪心 / 采样两种约束生成

字符类按 ASCII 语义:这里 \d 只认 0-9、\w 只认 [A-Za-z0-9](Python 的 _w7e_char_predicate 用 isdigit/isalnum,更宽)。面板的「约束解码」输入框填 json 或一个正则,生成结果只含文法 允许的字符。

边界:不包含 JSON Schema 校验——与 Python 版边界一致(README.md:2701 明说「那需要 JSON Schema 层,本库未实现」);键去重、数字范围等语义仍由 JSON.parse 收尾校验。

  • repetition_penalty:已出现 token 的 logit 若为正则除以它,否则乘以它(1 关闭)。例如惩罚 2 会把 2 → 1、-1 → -2。

  • presence_penalty:每个出现过的 token 的 logit 减一次,不管出现几次(0 关闭)。

  • frequency_penalty:按出现次数扣,logit -= frequency_penalty × 次数(0 关闭)。

  • no_repeat_ngram_size = n:最近 n-1 个字符的片段若在历史里出现过,就把相同的 n-gram 后继置为 -Infinity(0 关闭,1 没有意义因而非法)。 五项留空或取默认值时,采样结果与未引入这些控制前逐位一致;min_p ∉ [0,1)、repetition_penalty ≤ 0、no_repeat_ngram_size = 1 或非数值输入会在面板内报错。

  • 困惑度:训练结束后用更新后的权重重新前向一遍,困惑度 = exp(平均交叉熵);平均交叉熵超过 700 时显示 inf,避免浮点溢出。

  • 存档:模型可导出为 JSON(format + 配置 + 字符表 + 全部参数),重新加载时会校验格式、配置兼容性与每个参数数组的形状 / 数值,失败时在面板内给出中文错误而不是抛异常;读回后生成结果与保存前一致。

  • 默认语料 012012… 是刻意选的周期串:几十轮就能把 loss 压到 1e-5,肉眼确认「它确实学会了转移规律」;换成一句中文也能训练,只是需要的轮数与维度更大。

  • 输入校验:token id 必须是 [0, 词表大小) 内的整数,temperature 必须 > 0,top_p 限定在 (0, 1],min_p 必须在 [0, 1),repetition_penalty 必须是有限正数,presence_penalty / frequency_penalty 必须是有限数,no_repeat_ngram_size 必须是 0 或 ≥ 2 的整数;前向算完 logits 会检查是否全部有限——权重被 NaN 污染时直接报错,而不是把 NaN loss 当正常值继续训练(那会让 Adam 把整个模型写坏)。整行被掩码掉时 softmax 返回全 0 而不是 NaN。

这部分实现与仓库另外两个版本(Python 版 CausalLM、C 版 llm.c)属同一类结构、同一套因果 / 滑动窗口掩码语义;但页面用 pre-LN,Python CausalLM 默认是 post-LN,因此两者的数值并不逐位等价,页面也不与 Python 做端到端逐位对拍。

技术实现

模块 说明
神经网络 纯 JavaScript 手写,前向传播 + 反向传播
架构模块 手写 CNN 1D / RNN / Multi-Head Self-Attention
语言模型 手写字符级因果 Transformer + Adam(前向、反向、采样全部在页面内)
生成控制 对比搜索、正则 / CFG / 字符级 JSON 约束解码、KV 缓存增量前向(与整段重算逐位一致)
采样 温度缩放 + top-k + nucleus(top_p)+ min_p,重复 / 存在 / 频率惩罚与禁重复 n-gram,语义与 Python 参考实现一致
模型存档 参数 / 配置 / 词表序列化为 JSON,导入时校验 format、形状与数值
优化器 手写 Adam / Momentum / RMSProp / SGD
图表 Chart.js 4(CDN)
样式 纯 CSS

所有运算均在浏览器本地完成,数据不会上传到任何服务器。

本地校验

仓库自带的 Node 校验脚本只用于开发回归,不参与页面运行:index.html 仍然是零依赖单文件,直接双击打开即可,tools/ 不会被页面加载。需要 Node 18+。

一条命令跑完全部检查:

node tools/check.js

全部通过时最后一行固定为 ALL PASS (N checks),退出码 0;任何一项失败都会打印 FAIL 行并以非 0 退出。也可以单独运行某一套:

node tools/llm_core_test.js   # 只跑 LLM 核心数值
node tools/llm_page_check.js  # 只跑页面结构与伪 DOM

覆盖范围:

  • LLM 核心数值(tools/llm_core_test.js):tools/extract_page_js.js 每次运行都从 index.html 现场抽出内联的 LLM 核心函数再执行,测的就是页面里的实现,不存在第二份拷贝。
    • 与 tools/fixtures/llm_baseline.json 逐位对比 20 步训练 loss、前向 loss / logits、三种生成序列(旧 6 参数调用、显式 top_p=1、window=0);
    • nucleus 采样:top_p=0.5 只保留最高概率 token、0.8 保留前两名丢掉尾部、top_p=1 与旧采样在 100 组随机 logits 上逐位一致;
    • 采样控制:五项惩罚 / min_p 各有多条定向断言(repetition 正除负乘、presence 只扣一次、frequency 按次数、ngram=2/3 禁后继、min_p 只留峰值且与 top_k 叠加),显式全中性参数与黄金基线逐位一致,8 种非法参数被拒绝;
    • 滑动窗口:window=2 的因果性(改末位不影响前文)、window=1 只看自己、非法窗口被拒绝;
    • 中心有限差分梯度:window=0 / window=2 各取 10 个参数,最差相对误差 ≤ 1e-8;
    • 困惑度 = exp(平均交叉熵),loss > 700 给 inf;
    • 存档往返:JSON 写读后参数 / 配置 / 词表逐位一致、生成一致;7 种非法存档都被拒绝并带中文错误;
    • 对比搜索:候选打分公式、alpha 两端、top_k 约束、reward 取自候选自身隐状态、零向量不除零、 top_k=1 与整段前向复核的 argmax 逐步一致、前向次数与错误路径;
    • 正则 / CFG / 字符级 JSON 文法:整段匹配、允许集与掩码、谓词终结符、空产生式、JSON 转义与数字 分段、非法串(尾逗号 / 裸键 / 前导零 / 空白)、贪心与采样约束生成、错误路径;
    • 增量前向:llmForwardStep 与整段 llmForward 在 window=0 / window=2 下逐位一致; llmGenerateCached 与 llmGenerate 逐 token 一致(含滑动重建),并断言 prefill / steps / rebuilds。
  • 页面结构与 DOM 契约(tools/llm_page_check.js):
    • 两段内联 <script> 分别编译通过;
    • div/span/button/textarea/table/select/option 标签配平;
    • 所有 id 唯一,$id(...) / document.getElementById 引用的元素都存在;
    • 在伪 DOM 中真正执行页面的 LLM 面板 IIFE,跑通「训练 → 自动生成 → top_p=0.5 再生成 → 五项控制留空 / 显式中性生成一致 → 惩罚 + ngram=2 生成 → 勾选 KV 缓存生成 → 对比搜索生成 → 语法约束解码生成 → 保存为 Blob → 非法 JSON 报错 → 加载存档 → 继续生成」,并验证窗口输入 1.5 报错、min_p=1.5 / ngram=1 / 非数值惩罚在面板内报错、对比 top_k=0 / alpha=1.5 与非法约束文法在面板内报错、缺少 #llmWindow 时退回全注意力。

tools/fixtures/llm_baseline.json 是引入 nucleus 采样 / 滑动窗口之前的旧实现黄金基线。除非有意修改数值算法,否则不要重新生成它;如果确实要改,请在提交信息里写明原因。

文件结构

├── index.html                   # 全部页面代码与 UI(单文件,运行时零依赖)
├── README.md
└── tools/                       # 开发期本地校验,不参与页面运行
    ├── check.js                 # 入口:node tools/check.js
    ├── extract_page_js.js       # 从 index.html 抽取内联脚本 / LLM 核心,提供伪 DOM
    ├── report.js                # PASS/FAIL 计数与汇总
    ├── llm_core_test.js         # LLM 核心数值检查
    ├── llm_page_check.js        # 页面结构与伪 DOM 集成检查
    └── fixtures/
        └── llm_baseline.json    # 旧实现黄金基线(逐位对比用)

About

纯前端、零安装依赖的神经网络可视化训练工具:在浏览器中搭建并训练网络,实时观察 Loss 曲线、混淆矩阵与决策边界。

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages