bert参数量隐藏在每一层的shape当中。把如上shape累加即为全部参数量。
总参数量=input_parm+12*encoder_parm=(30522+512+2)768+12(76812643+12643+6412768+768+768+768+7683072+3072+3072*768+768+768+768)=101675520个
参数简单解释如下：input_parm=(30522+512+2)*768就是输入embeding层对应的参数，分别对应的是**token-embedding,position-embedding，segment-embedding。**其中768是embedding的维度，也就是有768个特征。
后面的encoder_parm表示每个encoder部分的参数量。
**768*12 *64 *3 +12 *64 *3：**是Self-Attention自注意层12个多头Q,K,V对应的参数量；
**64 *12 *768 +768：**是将自注意层12个多头输出进行拼接后接全连接层输出对应的参数量；
**768 +768：**是自注意层后接归一层(layer norm)的参数beta和gamma；
**768 *3072 +3072：**是前馈神经网络进行调制生成全连接层输出对应的参数；
**3072 *768 +768：**则是前馈神经网络进行解调生成全连接层输出对应的参数；
**768 +768：**是前馈神经网络层后接归一层的参数beta和gamma
总参数量=input_parm+12*encoder_parm=(18000+513+2)768+12(76812643+12643+6412768+768+768+768+7683072+3072+3072*768+768+768+768)=101675520个
参数简单解释如下：input_parm=(18000+513+2)*768就是输入embeding层对应的参数，分别对应的是token-embedding， position-embedding， segment-embedding。其中768是embedding的维度，也就是有768个特征。
后面的encoder_parm表示每个encoder部分的参数量。
**768 *12 *64 *3 +12 *64 *3：**是自注意层12个多头Q,K,V对应的参数量；
**64 *12 *768 +768：**是将自注意层12个多头输出进行拼接后接全连接层输出对应的参数量；
**768 +768：**是自注意层后接归一层的参数beta和gamma；
**768 *3072 +3072：**是前馈神经网络进行调制生成全连接层输出对应的参数；
**3072 *768 +768：**则是前馈神经网络进行解调生成全连接层输出对应的参数；
**768 +768：**是前馈神经网络层后接归一层的参数beta和gamma
vocab_size： 18000 词表大小 hidden_size： 768 隐藏层神经元数 num_hidden_layers： 12 Transformer encoder中的隐藏层数 num_attention_heads： 12 multi-head attention 的head数 intermediate_size： encoder的“中间”隐层神经元数（例如feed-forward layer） hidden_act： relu 隐藏层激活函数 hidden_dropout_prob： 0.1 隐层dropout率 attention_probs_dropout_prob： 0.1 注意力部分的dropout max_position_embeddings： 513 最大位置编码 type_vocab_size： 2 token_type_ids的词典大小 initializer_range： 0.02 truncated_normal_initializer初始化方法的stdev
这里要注意一点，可能刚看的时候对type_vocab_size这个参数会有点不理解，其实就是在next sentence prediction任务里的Segment A和 Segment B。在下载的bert_config.json或ernie_config.json文件里也有说明，默认值应该为2。
参考链接：参考链接
