✨ Transformers#

• 多头注意力
• Transformer 构建模块
• Transformer XL
• 相对多头注意力
• 旋转式位置编码 (ROPE)
• 线性偏差注意力 (AliBI)
• RETRO
• 压缩 Transformer
• GPT 架构
• GLU 变体
• kNN-LM：通过记忆实现泛化
• 自反馈 Transformer
• Switch Transformer
• 快速权重 Transformer
• FNet
• 无注意力 Transformer
• 掩码语言模型
• MLP-Mixer：一种用于视觉的全 MLP 架构
• 门控多层感知器 (gMLP)
• 视觉 Transformer (ViT)
• Primer
• 沙漏网络

✨ Low-Rank Adaptation (LoRA)#

✨ Eleuther GPT-neox#

• 在一块 48GB GPU 上生成
• 在两块 48GB GPU 上微调
• llm.int8 ()

✨ 扩散模型#

• 去噪扩散概率模型 (DDPM)
• 去噪扩散隐式模型 (DDIM)
• 潜在扩散模型
• Stable Diffusion

✨ 生成对抗网络#

• 原始 GAN
• 使用深度卷积网络的 GAN
• 循环 GAN
• Wasserstein GAN
• 具有梯度惩罚的 Wasserstein GAN
• StyleGan 2

✨ 循环高速路网络#

✨ LSTM#

✨ 超网络-HyperLSTM#

✨ ResNet#

✨ ConvMixer#

✨ 胶囊网络#

✨ U-Net#

✨ Sketch RNN#

✨ 图神经网络#

• 图注意力网络 (GAT)
• 图注意力网络 v2 (GATv2)

✨ 强化学习#

• 近端策略优化 与 广义优势估计
• 具有 对抗网络、优先回放 和双 Q 网络的 深度 Q 网络

✨ 虚拟遗憾最小化（CFR）#

使用 CFR 解决诸如扑克等不完全信息游戏

• 库恩扑克

✨ 优化器#

• Adam 优化器
• AMSGrad 优化器
• 具有预热的 Adam 优化器
• Noam 优化器
• RAdam 优化器
• AdaBelief 优化器
• Sophia-G Optimizer

✨ 归一化层#

• 批量归一化
• 层归一化
• 实例归一化
• 组归一化
• 权重标准化
• 批-通道归一化
• DeepNorm

✨ 蒸馏#

✨ 自适应计算#

• PonderNet

✨ 不确定性#

• 用于量化分类不确定性的证据深度学习

✨ 激活函数#

• 模糊平铺激活函数

✨ 语言模型采样技术#

• 贪婪采样
• 温度采样
• Top-K 采样
• 核采样

✨ 可扩展训练/推理#

• ZeRO-3 内存优化