HSTU¶
HSTU(Hierarchical Sequential Transduction Unit)用非归一化的 SiLU attention、更新门和相对注意力偏置建模序列。它在本仓库中是与 SASRec 成对出现的强判别式基线,而不是“用了 Transformer 就属于 SID 生成”的模型。
定位与状态¶
| 项目 | 内容 |
|---|---|
| 原论文 | Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations,ICML 2024 |
| 官方代码 | facebookresearch/generative-recommenders |
| 任务 | next-item prediction |
| 表示 / 输出 | 唯一 item ID / full-catalog logits |
| 代码 | 完整链路;Amazon 与 MovieLens-1M adapter |
| 主评测 | item-level full catalog |
| 复现角色 | 小规模、dense tensor 的 HSTU-inspired 基线;不是 Meta 工业栈等价复刻 |
| 最近核验 | 2026-08-30 |
与 SASRec 的关键区别¶
| 组件 | SASRec | HSTU |
|---|---|---|
| attention 激活 | softmax 归一化 | SiLU,非归一化 |
| point-wise 投影 | Q、K、V | U、V、Q、K |
| 聚合输出 | softmax(QK) @ V |
SiLU(QK + RAB) / max_seq_len @ V |
| 门控 | 无独立 U gate | Norm(A) ⊙ U,可选 concat(U,A,U⊙A) |
| 时间 | 位置 embedding | 相对位置 bias + 可选时间差 bias |
| 默认目标 | SASRec config 用 CE | HSTU config 用 CE;另有 sampled-softmax |
softmax 强制每行权重和为 1;SiLU 不做概率归一化,因此可保留聚合强度,但它也要求显式控制尺度。当前实现用固定 max_seq_len 而不是当前 batch 长度归一化,避免同一样本的表示随 batch 中最长序列变化。
单层计算¶
对输入 \(X\in\mathbb{R}^{B\times L\times d}\) 先做 pre-norm 和一次线性投影:
每个 head 的空间聚合为:
默认 point-wise transformation:
随后当前仓库再接一个 SiLU FFN 残差块。concat_ua=True 时,输出投影的输入改为 \([U,A,U\odot A]\)。
flowchart LR
X[item embedding] --> N[input LayerNorm]
N --> P[project to U V Q K]
P --> S[SiLU QK + position/time RAB]
S --> A[aggregate V / fixed max length]
A --> G[Norm A gated by U]
G --> R[output projection + residual]
R --> F[SiLU FFN + residual]
相对注意力偏置¶
RelativePositionBias 把 query–key 的相对位置放入小距离精确、大距离对数增长的 buckets。TemporalBias 对 Unix timestamp 的绝对差做以 2 为底的对数分桶,并为每个 head 学习 bias。
时间戳 padding
padding timestamp 为 0,但 key padding 同时被 attention mask 屏蔽。关闭 use_temporal_bias 时 trainer 不向模型传 timestamp;只改 dataset 不会关闭模型中的时间分支。
论文中的 relative attention bias 和生产实现有更多 jagged/长序列优化;本仓库使用 dense [B,H,L,L] 矩阵,目标是学术规模公平对照。
两种损失¶
Full-vocabulary CE¶
默认 config/hstu/amazon.gin 对所有 item 计算:
Sampled softmax¶
config/hstu/amazon_ss.gin 为每个正例建立 [positive, sampled negatives] 分类问题。当前 Meta-aligned 设置包括:
sampling_strategy="local":这里的 local 指 item embedding table 未分片;每个正例独立地从完整目录均匀有放回抽 128 个负例,并非 in-batch;sampling_strategy="in_batch":另一个显式选项,从当前 batch 的唯一有效 targets 中为每个正例独立抽样;- sampled negative 与当前 positive 相同则用
-5e4屏蔽; - query/item embedding L2 normalize;
- temperature 默认为
0.05; - 评测复用相同的 L2-normalized、temperature-scaled score function。
sampling_strategy="global" 保留旧 GenRec 的“整 batch 共用一组、再去重”的均匀目录负例。它与 Meta local sampler 的逐正例 [N,128] 采样不同,历史结果不能与修复后的 local 结果混合。
张量与 API¶
HSTU.forward(input_ids, timestamps=None, targets=None, sampled_softmax=False, ...):
| 张量 | shape | 说明 |
|---|---|---|
input_ids |
[B,L] |
左 padding item IDs,0 为 padding |
timestamps |
[B,L] |
Unix timestamp;关闭 temporal bias 时可为 None |
targets |
[B,L] |
shift 后的 next-item labels |
logits |
[B,L,V+1] 或 None |
sampled-softmax 训练时为 None |
loss |
scalar / None |
CE 或 sampled-softmax |
score_l2_norm 与 score_temperature 是 score function 的单一事实源;训练器会根据 sampled-softmax 配置构造它们。直接实例化模型时必须保持训练和评测一致。
数据与评测¶
Amazon adapter 与 SASRec 的 leave-one-out 结构相同,但同时保留每次行为的 timestamp。collate 左 padding 后创建多位置 target;目标位置使用历史最后一个 timestamp 作为占位时间。评测在最后有效位置对完整目录打分,只排除 padding 0,不屏蔽历史 item。
训练器还接受 dataset_type="ml1m",此时使用 MovieLens1MHSTUDataset;样本 schema 相同,因此复用 HSTU collate。MovieLens 下载/5-core 行为应与 Amazon 结果分开记录。
代码映射¶
| 层次 | 文件 | 关键对象 | 职责 |
|---|---|---|---|
| 模型 | genrec/models/hstu.py |
HSTU |
编码、统一 score、CE/SS dispatch |
| 核心层 | 同上 | HSTULayer |
U/V/Q/K、SiLU 聚合、门控、FFN |
| bias | 同上 | RelativePositionBias, TemporalBias |
相对位置与时间分桶 |
| Amazon 数据 | genrec/data/amazon_hstu.py |
AmazonHSTUDataset |
带时间戳序列与协议切分 |
| ML-1M 数据 | genrec/data/ml1m_hstu.py |
MovieLens1MHSTUDataset |
下载、解析、5-core、LOO |
| 训练 | genrec/trainers/hstu_trainer.py |
train, evaluate |
CE/SS、Accelerate、早停、结果保存 |
| 配置 | config/hstu/amazon.gin |
— | CE 基线 |
| 配置 | config/hstu/amazon_ss.gin |
— | sampled-softmax 基线 |
运行¶
# full-vocabulary CE + temporal bias
python genrec/trainers/hstu_trainer.py \
config/hstu/amazon.gin --split beauty
# sampled softmax(Meta local-table negatives,不是 in-batch)
python genrec/trainers/hstu_trainer.py \
config/hstu/amazon_ss.gin --split beauty
# 时间偏置消融
python genrec/trainers/hstu_trainer.py \
config/hstu/amazon.gin --split beauty \
--gin 'train.use_temporal_bias=False'
# global temporal 协议必须使用独立输出目录
python genrec/trainers/hstu_trainer.py \
config/hstu/amazon.gin --split beauty \
--gin 'AmazonHSTUDataset.evaluation_protocol="global_temporal"' \
--gin 'train.save_dir_root="out/hstu/amazon/beauty/global_temporal/s42"'
与论文/官方实现的差异¶
| 方面 | Meta 工作 | 本仓库 |
|---|---|---|
| 规模 | 工业长序列、可扩展至极大参数量 | 2 层、64-dim 等学术规模配置 |
| 张量 | jagged tensor 与专用 kernel | dense PyTorch attention |
| 特征 | 多种 action/feature 语义 | 单 item ID + timestamp |
| HSTU block | 论文/官方配方 | 保留额外 FFN;可选 position bias 与 concat gate |
| loss | sampled softmax 是重要设置 | 同时提供 CE 和近似对齐的 sampled softmax |
| evaluation | 工业任务与内部协议 | Amazon/ML-1M next-item full catalog |
因此页面使用 “HSTU-inspired implementation” 的复现边界:它适合验证 SiLU attention、U gate 和 temporal RAB 的小规模效果,不能代表 Meta 生产系统的吞吐或 scaling claim。
常见问题¶
- sampled-softmax 训练正常、评测骤降:确认评测没有绕过
_compute_logits;L2 normalize 与 temperature 必须一致。 - 多卡各自训练不同模型:loss 必须经过 Accelerate 包装后的
model(...);不要直接调用 unwrapped module 的forward_sampled_softmax。 - 改变 eval batch size 后指标变化:attention 必须除固定
max_seq_len,不能除当前 batch padding 长度。 - 关闭时间偏置仍有相对偏置:
use_temporal_bias=False只关时间;若要同时关闭位置 RAB,设置train.use_position_bias=False。 - 声称与 SASRec 公平但参数量不同:同时记录
embed_dim / heads / blocks / dropout / loss;只对齐名称不够。 - 结果与历史 SS 数字冲突:核对
ss_sampling_strategy。旧结果可能来自 global negative sampling。