Skip to content

Feat: add named parameters - #194

Open
JYMiracle305 wants to merge 2 commits into
masterfrom
feat/named-parameters
Open

Feat: add named parameters#194
JYMiracle305 wants to merge 2 commits into
masterfrom
feat/named-parameters

Conversation

@JYMiracle305

Copy link
Copy Markdown
Contributor

1. 主要修改

  • 为 Module 新增 NamedParameters(prefix, recurse, remove_duplicate),支持参数名前缀、递归遍历和共享参数去重。
  • 为 Optimizer 新增 parameter_names_ 及设置、读取接口。
  • Adam 的 StateDict() 和 LoadStateDict() 使用参数名生成状态 key。
  • 未设置参数名时保留数字下标 key,兼容不使用命名参数接口的调用方式。
  • GPT-2 和 LLaMA3 入口根据 Tensor 指针为 optimizer 参数绑定模型参数名。
  • 测试使用现有 Linear 和 Sequential,覆盖 prefix、递归、共享参数去重和空子模块。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant