在设计深度学习模型的时候，我们经常需要使用正则化（Regularization）技巧来减少模型的过拟合效果，例如 L1 正则化、L2 正则化等。在Keras中，我们可以方便地使用三种正则化技巧：
keras.regularizers.l1keras.regularizers.l2keras.regularizers.l1_l2那么，我们应该如何使用这三种正则化技巧呢？以Keras中的Dense层为例，我们发现有以下三个参数：
kernel_regularizerbias_regularizeractivity_regularizer这三个参数代表什么含义，我们该使用哪一个呢？国内论坛鲜少有相关讨论，写此文以记之。
kernel_regularizer：初看似乎有点费解，kernel代表什么呢？其实在旧版本的Keras中，该参数叫做weight_regularizer，即是对该层中的权值进行正则化，亦即对权值进行限制，使其不至于过大。bias_regularizer：与权值类似，限制该层中 biases 的大小。activity_regularizer：更让人费解，activity又代表什么？其实就是对该层的输出进行正则化。由此可见Keras的命名团队各个都是鬼才。
现在我们知道了这三个参数的异同，那么，我们该在什么时候使用哪一个参数呢？网友 Bloc97 [1] 如是说：
大多数情况下，使用kernel_regularizer就足够了；如果你希望输入和输出是接近的，你可以使用bias_regularizer；如果你希望该层的输出尽量小，你应该使用activity_regularizer。我们使用一个简单的模型来测试以下正则化的效果，基准代码如下：
from tensorflow.python import keras mnist = keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 model = keras.Sequential([ keras.layers.Flatten(input_shape=(28, 28)), keras.layers.Dense(128, activation='relu'), keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) model.fit(x_train, y_train, epochs=10) model.evaluate(x_test, y_test) 1234567891011121314151617181920实验结果如下：
参数结果no regularizer0.9770kernel_regularizer=l1(0.001)0.9421kernel_regularizer=l2(0.001)0.9690kernel_regularizer=l2(0.0001)0.9785kernel_regularizer=l1_l2(l1=0.0001, l2=0.0001)0.9753bias_regularizer=l2(0.0001)0.9755activity_regularizer=l2(0.0001)0.9764kernel_regularizer=l2(0.0001) bias_regularizer=l2(0.0001)0.9771activity_regularizer=l2(0.0001)0.9783activation=‘linear’0.9233activation='linear’ kernel_regularizer=l2(0.0001) bias_regularizer=l2(0.0001)0.9225activation='linear’ activity_regularizer=l2(0.0001)0.9199实验结果（初步分析，并不绝对）说明：
正则化系数的选择很重要，选的不对容易有负面影响，选的好的话实验效果有提升；实验四、五、六说明，在当前实验环境下，无论是 L1、L2，还是 L1_L2，对实验结果影响都不大；可能是由于 MNIST 任务太过于简单，实验结果区别都不是很大。具体使用哪种方法，只能由各位看官自己探索了。
