笔记

Python

Pytorch

注意力

注意力机制
  • 注意力汇聚
    •
  • 注意力得分数
    •
  • 多头注意力
    •
  • 自注意力
    •
  • 交叉注意力
    •

    模型优化

    EMA与动态学习率
  • 指数移动平均
    •
  • 动态学习率
    •

    优化器
  • GD
    •
  • SGD
    •
  • Adam
    •
  • AdamW
    •
  • LAMB
    •

    Tensorboard可视化
  • 安装
    •
  • 基本使用方法
    •
  • 查看可视化内容
    •
  • 端口占用问题
    •
  • 使用
    •

    Git

    Git学习笔记
  • 安装与卸载
    •
  • 使用
    •