Llama-2-7b：vocab size:32000；embeddings:4096；hidden_layers是什么意思

目录

Llama-2-7b：vocab size:32000；embeddings:4096

vocab size：模型能解析词汇数量==n_vocab

num_hidden_layers: 32

nanogpt隐藏层4

"initializer_range": 0.02

Token Embed是什么

举例说明

不同Chat版本的Token Embed（Token Embeddings）

区别

---

Llama-2-7b：'vocab size":32000；embeddings":4096

"num attention heads": 32
'num hidden layers": 32,

vocab size：模型能解析词汇数量==n_vocab

"num_hidden_layers": 32