自动求导–GradientTape

TensorFlow提供了一个专门用来求导的类GradientTape，可以形象的理解为记录梯度数据的磁带，通过它可以实现对变量的自动求导和监视。

GradientTape类实现了上下文管理器，它能够监视with语句块中所有的变量和计算过程，并把它们自动记录在梯度带中。

with GradientTape() as tape: 函数表达式 grad = tape.gradient(函数，自变量)

GradientTape()是GradientTape类的构造函数

首先使用它来创建梯度带对象tape。 tape同时也是一个上下文管理器对象。然后把函数表达式或计算过程写在with语句块中，监视要求导的变量，最后使用tape对象的gradient()函数求得导数。

gradient()函数的第1个参数是被求导的函数，第2个参数是被求导的自变量。

函数或计算过程是需要我们来写的。例如，要求函数$y=x^2{|}_{x=3}$，在$x=3$处的导数。

首先将x创建为tf.Variable对象，然后创建梯度带对象tape，并把函数表达式$y=x^2$放在梯度带对象的with语句块中。这样x和y的数值和计算过程都会被自动的记录下来，然后通过tape对象的gradient()函数求得y对x的导数，最后输出y的值和导数值，$y=x^2$在$x=3$处的函数值是9，导数是6

with tf.GradientTape() as tape: y = tf.square(x) dy_dx = tape.gradient(y, x) print(y) # tf.Tensor(9.0, shape=(), dtype=float32) print(dy_dx) # tf.Tensor(6.0, shape=(), dtype=float32)

可以看到输出结果和我们的计算结果是一致的。

GradientTape的构造函数有两个参数。

GradientTape(persistent, watch_accessed_variables) 第1个参数persistent，默认为False，表示这个tape只能使用一次，在求导之后就被销毁了，如果设置为True，那么就可以多次求导。 例如，这里增加了一个$z^3$ x = tf.Variable(3.) with tf.GradientTape() as tape: y = tf.square(x) z = pow(x, 3) dy_dx = tape.gradient(y, x) dy_dz = tape.gradient(y, z) print(y) print(dy_dx) print(z) print(dy_dz)

运行时会出现错误提示，非持续的tappe只能被调用一次 如果希望持续的使用tape对象，则需要将persistent的值设置为True，表示这个tape永久存在。要注意的是在这种情况下，在使用完tape的时候，需要del语句手动释放它

x = tf.Variable(3.) with tf.GradientTape(persistent=True) as tape: y = tf.square(x) z = pow(x, 3) dy_dx = tape.gradient(y, x) dy_dz = tape.gradient(y, z) print(y) print(dy_dx) print(z) print(dy_dz) del tape

这是运行的结果

tf.Tensor(9.0, shape=(), dtype=float32) tf.Tensor(6.0, shape=(), dtype=float32) tf.Tensor(27.0, shape=(), dtype=float32) tf.Tensor(27.0, shape=(), dtype=float32)

可以看到这里不仅计算出了y的值， y对x的导数值，还计算了z的值以及z对x的导数。

第2个参数watch_accessed_variables表示自动监视所有的可训练变量，也就是Variable对象，它的取值是布尔类型，默认为True。通过将参数设置为False，那么就无法自动监视x变量。 x = tf.Variable(3.) with tf.GradientTape(watch_accessed_variables=False) as tape: y = tf.square(x) dy_dx = tape.gradient(y, x) print(y) print(dy_dx) tf.Tensor(9.0, shape=(), dtype=float32) None

可以看到导数的输出为None

添加监视–watch()

在这种情况下，可以使用watch()函数手动添加对变量的监视，例如这里自动监视参数设为false，使用watch函数指定需要监视的变量x

x = tf.Variable(3.) with tf.GradientTape(watch_accessed_variables=False) as tape: tape.watch(x) y = tf.square(x) dy_dx = tape.gradient(y, x) print(y) print(dy_dx)

可以得到同样的结果，

tf.Tensor(9.0, shape=(), dtype=float32) tf.Tensor(6.0, shape=(), dtype=float32)

监视非可训练变量

GradientTape类默认自动监视所有的可训练变量，使用watch()函数还可以监视非可训练变量，例如这里使用tf.constant()的函数创建x，这个x是tensor对象，不是一个可训练变量。

x = tf.constant(3.) with tf.GradientTape(watch_accessed_variables=False) as tape: tape.watch(x) y = tf.square(x) dy_dx = tape.gradient(y, x) print(y) print(dy_dx)

在这里增加一句tape.watch(x)，就能够实现对x的监视，得到相同的结果

tf.Tensor(9.0, shape=(), dtype=float32) tf.Tensor(6.0, shape=(), dtype=float32)

多元函数求偏导数

在机器学习中，通常需要对多元函数求偏导数。

tape.gradient(函数，自变量)

gradient()函数中的第2个参数指明求导的自变量，这里的自变量可以是一个也可以是多个。当需要对多个自变量求偏导数时，只要把所有的自变量都放在一个列表中就可以了。 例如这是一个二元函数$f(x,y)=x^2+2y^2+1$，自变量为x和y。 下面用编程实现

x = tf.Variable(3.) y = tf.Variable(4.) with tf.GradientTape() as tape: f = tf.square(x) + 2 * tf.square(y) + 1 df_dx, df_dy = tape.gradient(f, [x, y]) print(f) print(df_dx) print(df_dy)

这是运行结果

tf.Tensor(42.0, shape=(), dtype=float32) tf.Tensor(6.0, shape=(), dtype=float32) tf.Tensor(16.0, shape=(), dtype=float32)

也可以使用一个变量名来接收两个偏导数的结果，这时返回值是一个列表，其中包括两个元素，每个元素都是一个张量

x = tf.Variable(3.) y = tf.Variable(4.) with tf.GradientTape() as tape: f = tf.square(x) + 2 * tf.square(y) + 1 first_grads = tape.gradient(f, [x, y]) print(f) print(first_grads) [<tf.Tensor: id=27, shape=(), dtype=float32, numpy=6.0>, <tf.Tensor: id=32, shape=(), dtype=float32, numpy=16.0>]

求二阶导数

通过梯度带还可以求解高阶导数。

这是求二阶导数的例子，这时需要使用双重with语句

内层的with语句创建梯度带对象tape1，并使用这个tape1，来计算一阶导数first_grads。外层with语句创建梯度带对象tape2，这个tape2使用一阶导数的结果作为被求导的函数，再对它求一次导得到二阶导数 x = tf.Variable(3.) y = tf.Variable(4.) with tf.GradientTape(persistent=True) as tape2: with tf.GradientTape(persistent=True) as tape1: f = tf.square(x) + 2 * tf.square(y) + 1 first_grads = tape1.gradient(f, [x, y]) second_grads = [tape2.gradient(first_grads, [x, y])] print(f) print(first_grads) print(second_grads) del tape1 del tape2

这是运行的结果，这是一阶偏导数分别是6和16 这是二阶偏导数分别是2和4

对向量求偏导

在机器学习中，经常需要对向量或者矩阵求导，例如这里x和y都是长度为3的，一维张量。求导的过程不变，结果也是长度为3的一维张量

x = tf.Variable([1., 2., 3.]) y = tf.Variable([4., 5., 6.]) with tf.GradientTape() as tape: f = tf.square(x) + 2 * tf.square(y) + 1 df_dx, df_dy = tape.gradient(f, [x, y]) print(f) print(df_dx) print(df_dy) tf.Tensor([34. 55. 82.], shape=(3,), dtype=float32) tf.Tensor([2. 4. 6.], shape=(3,), dtype=float32) tf.Tensor([16. 20. 24.], shape=(3,), dtype=float32)

通过以上这些例子，可以看到使用tensorflow的自动求导机制，我们在编写程序的时候，不用再自己去写求导数的计算公式，只要告诉梯度带对象，需要对什么函数，求什么样的导数就可以了，他会自动的为我们计算需要的导数