Skip to content

[Task] Distill Flare preparation contracts and session-state lifetimes #148

Open

Description

@Dong1017

目标

将 NVIDIA/flare-local-inference 的准备产物边界与完整会话状态生命周期蒸馏为 InferRSI 的有来源、可检索知识。Parent: #91;相关工程 RFC: #147。

这是一项源码蒸馏任务,不是 #147 的证据适配器实现。 不运行模型/GPU、不移植 Helios、不宣称性能提升;本 issue 创建仅登记任务,尚未完成提取。

冻结范围

初始源码基线:bce032c014bae34502ba22d3304fa084d5b40afe(2026-10-25)。若实施时更新版本,须显式记录新旧差异,不能混用 ABI/状态语义。

切片 必读源码 / 文档 要回答的问题
准备与服务边界 README.md、docs/runtime-package-design.md、helios/src/runtime_package/format.rs Python准备、Rust导出/服务分别拥有何物?execution ABI 4 / prepared contract 2 如何验证?哪些句柄不能跨进程?
完整状态与资源生命周期 helios/src/cache.rs、helios/src/offload/mod.rs、docs/prefix-cache-offload.md KV page chain 与 recurrent/convolution/partial-tail 状态如何配套?publish/use/retire fence、transfer ticket 与取消 waiter 有何区别?
反例与可观测性 tests/server/test_prefix_cache_offload.py、qualify/performance.py、qualify/provenance.py restart/namespace/corrupt-record 如何防止部分恢复?lookup hit、admitted、实际 reused tokens 如何区分?客户端与 native 时钟为何不可混算?

源码链接统一从固定版本树定位。上述为初始 readset,不把文档描述或测试存在写成本地验证。

flowchart LR
    A["固定源码 + 测试/文档"] --> B["机制、前提、反例与限制"]
    B --> C["既有知识 owner 优先复用"]
    C --> D["有 pin/readset 的 candidate 知识"]
    D --> E["索引/打包检查"]
    E --> F["Tracking #91:有界来源交付"]
    G["RFC #147:离线证据适配器"] -. "单独工程任务" .-> F
Loading

产出位置与去重

  • 先检查现有 runtime/KV lifecycle、weight-loading/model-preparation owners,记录重叠与真正新增内容。
  • Flare 特有协议可拟放 src/inferrsi/data/skill_library/repositories/flare-local-inference/audit-flare-session-lifecycle/;这是拟定路径,不是现有输出。通用准备方法优先增补现有 owner,不另建同义 skill。
  • 交付机制说明、source ledger/readset、前提与反例、适用/不适用场景、许可通知;按仓库现有 schema 注册与生成投影,不手改派生文件。
  • 更新 Reference/SearchSpace 的实际覆盖与导航。来源蒸馏不等于 repo runtime descriptor、后端支持或资源效果已验证。

验收清单

  • pin、文件/符号 readset、许可证和引用关系完整;根 Apache-2.0 不自动覆盖模型/依赖权利。
  • 明确完整状态并非 KV-only;区分取消请求、transfer completion、publication 与安全回收。
  • 区分 NoMatch / CostRejected / CapacityRejected / EnqueueRejected / Admitted;上游成本阈值仅作为带前提的策略案例。
  • 至少给出恢复不完整、版本不匹配、恢复不划算或计时口径错误的可操作诊断案例。
  • 保留研究原型 SM120/SM121、GDS deferred、未独立复现等边界;不推广为通用 backend/多卡能力。
  • 知识检索、链接/锚点、注册、标准生成器和打包测试通过;保留实际命令与结果。
  • 新增/更新 skill 按 Skill Eval v1.1: automated evaluation for skill additions and updates #88 的已有流程准备评价计划;没有执行就标记 not evaluated / empirical not_run。
  • 回填 [Tracking] SearchSpace distillation coverage and knowledge consolidation #91 的具体输出与 PR;source-derived candidate 不自动晋级,未做模型/硬件实验不写 efficacy PASS。

非目标

不实现 #147、不运行服务 benchmark、不新建 offload backend,不将 Python→Rust 当性能因果证据。先完成有限切片,不追求全仓蒸馏。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    area:knowledgeKnowledge line: packs, skill library, knowledge admissionkind:taskBounded delivery task with a delegated slice

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions