推理、导出与部署边界¶
GenRec 是学术复现与研究 sandbox,不是生产 serving framework。仓库没有稳定 REST API、在线 feature store、模型注册、灰度发布或延迟 SLO。旧文档中的 FastAPI 示例调用了不存在的 load_from_checkpoint,已移除。
这里“可部署”指什么¶
文档说生成结果“deployable”时,只表示 SID 已解析到唯一 catalog item,并对候选去重;不表示系统已经满足线上可靠性、安全性或性能要求。
离线推理的最小产物¶
一个可复核的 batch inference bundle 至少包含:
bundle/
├── model checkpoint
├── resolved Gin config
├── item mapping + checksum
├── item embedding / SID catalog manifest
├── SID→item resolver policy and training-only counts
├── predictions with raw scores/SIDs and resolved items
├── source commit or exact source bundle hash
└── metrics + protocol metadata
只保存 model weights 不够:item mapping 或 tokenizer 变化会让相同整数输出代表完全不同的物品。
不同家族的推理状态¶
| 家族 | 推理方式 | 必要资产 | 主要风险 |
|---|---|---|---|
| SASRec/HSTU | full-catalog matrix score | item mapping、weights | catalog 增大时输出层成本;seen-item policy |
| TIGER/LCRec/OneRec | beam / constrained SID generation | tokenizer、SID catalog、resolver | 非法 SID、collision、KV-cache、beam latency |
| COBRA | sparse generation + dense BeamFusion | RQ-VAE、text encoder、catalog vectors | 两分支版本一致性、显存/延迟 |
| RPG | parallel token heads → item score;可选 graph propagation | OPQ mapping、token embeddings、adjacency | graph 构建内存、catalog 更新 |
| NoteLLM | query/catalog embedding dot product | LLM/LoRA、catalog embedding index | catalog 重编码成本、ANN 与 exact 指标差异 |
| GRAM | constrained lexical-ID generation | lexical catalog、item passages、Trie | 大量 passage 编码与预处理依赖 |
生成式推理必须保留的步骤¶
flowchart LR
A[model candidates] --> B[validate token positions]
B --> C[catalog SID lookup]
C --> D[training-only SID to item]
D --> E[deduplicate items]
E --> F[policy filters]
F --> G[top-K response]
- 非法/目录外 SID 不能被强行映射到“最近 item”而不记录;
- resolver 不得使用 test/online future popularity;
- item 去重后候选不足时要有明确策略;
- 是否过滤历史 item 必须与离线评测 policy 对齐;
- catalog/tokenizer 更新应当原子切换,不能混用新 catalog 和旧 weights。
checkpoint 加载¶
各模型格式不同:
- SASRec/HSTU/TIGER 常见
state_dict文件,需要先按相同 config 构造 model; - RQ-VAE 是带
model_config/optimizer/scheduler的 dict,使用RqVae.from_pretrained; - OneRec/HF 模型可能是
save_pretrained目录; - NoteLLM 最佳 checkpoint 只保存 trainable parameters,必须与相同 base model/PEFT 结构合并;
- RPG/GRAM 以各 trainer 保存逻辑为准。
不要写一个通用 torch.load 服务而假设所有格式相同。
如果要做在线服务¶
这会超出仓库当前目标,至少还需实现:
- versioned model/tokenizer/catalog registry;
- 输入 schema、认证、限流、超时和审计;
- dynamic batching 与 GPU worker 生命周期;
- catalog 增量更新/回滚;
- ANN 或高效 full-catalog scorer;
- KV-cache、Trie batch decoding 与候选补齐;
- 线上/离线 feature parity;
- shadow/canary 与指标监控;
- 隐私、版权和第三方模型许可证审查;
- 故障降级到稳定 baseline。
性能测量¶
报告至少分开:
- cold start(加载 weights/catalog);
- warm single-query p50/p95;
- fixed batch throughput;
- peak GPU memory;
- catalog size、history length、beam width、K;
- preprocessing/embedding/index build 时间;
- exact 与 ANN / graph approximation 的质量差。
不要用训练 step/s 或单个 warm batch 代表在线延迟。
推荐的研究用接口¶
在生产 API 出现前,优先实现确定性的离线 prediction dump:每个 test user 保存 target、原始 top-N、解析后 top-K、分数、model/catalog hash。这样可以 generate once、eval many,比较 resolver、去重与 policy 而无需重复昂贵推理。
相关文档: