Python API Autograd 和初始化器

---

本章讨论 MXNet 中的 autograd 和初始化器 API。

mxnet.autograd

这是 MXNet 的 NDArray 自动分级 API。它有以下类别 -

类：函数()

它用于 autograd 中的定制微分。它可以写成mxnet.autograd.Function。如果出于某种原因，用户不想使用默认链规则计算的梯度，那么他/她可以使用 mxnet.autograd 的 Function 类来自定义微分计算。它有两个方法，即Forward()和Backward()。

让我们借助以下几点来了解此类的工作 -

• 首先，我们需要在前向方法中定义我们的计算。

• 然后，我们需要在后向方法中提供定制的微分。

• 现在，在梯度计算过程中，mxnet.autograd 将使用用户定义的后向函数，而不是用户定义的后向函数。我们还可以转换为 numpy 数组并返回，以进行向前和向后的某些操作。

例子

在使用 mxnet.autograd.function 类之前，我们先定义一个具有后向和前向方法的稳定 sigmoid 函数，如下所示 -

class sigmoid(mx.autograd.Function):
   def forward(self, x):
      y = 1 / (1 + mx.nd.exp(-x))
      self.save_for_backward(y)
      return y
   
   def backward(self, dy):
      y, = self.saved_tensors
      return dy * y * (1-y)

现在，函数类可以按如下方式使用 -

func = sigmoid()
x = mx.nd.random.uniform(shape=(10,))
x.attach_grad()
with mx.autograd.record():
m = func(x)
m.backward()
dx_grad = x.grad.asnumpy()
dx_grad

输出

当您运行代码时，您将看到以下输出 -

array([0.21458015, 0.21291625, 0.23330082, 0.2361367 , 0.23086983,
0.24060014, 0.20326573, 0.21093895, 0.24968489, 0.24301809],
dtype=float32)

方法及其参数

以下是 mxnet.autogard.function 类的方法及其参数 -

实施例

在下面的示例中，我们将使用 mxnet.autograd.grad() 方法来计算 head 相对于变量的梯度 -

x = mx.nd.ones((2,))
x.attach_grad()
with mx.autograd.record():
z = mx.nd.elemwise_add(mx.nd.exp(x), x)
dx_grad = mx.autograd.grad(z, [x], create_graph=True)
dx_grad

输出

输出如下 -

[
[3.7182817 3.7182817]
<NDArray 2 @cpu(0)>]

我们可以使用 mxnet.autograd.predict_mode() 方法返回要在“with”语句中使用的范围 -

with mx.autograd.record():
y = model(x)
with mx.autograd.predict_mode():
y = sampling(y)
backward([y])

mxnet.初始化器

这是用于称重初始值设定项的 MXNet API。它有以下类 -

类及其参数

以下是mxnet.autogard.function类的方法及其参数：

实施例

在下面的示例中，我们将使用 mxnet.init.Normal() 类创建一个初始值设定项并检索其参数 -

init = mx.init.Normal(0.8)
init.dumps()

输出

输出如下 -

'["normal", {"sigma": 0.8}]'

例子

init = mx.init.Xavier(factor_type="in", magnitude=2.45)
init.dumps()

输出

输出如下所示 -

'["xavier", {"rnd_type": "uniform", "factor_type": "in", "magnitude": 2.45}]'

在下面的示例中，我们将使用 mxnet.initializer.Mixed() 类来使用多个初始化器来初始化参数 -

init = mx.initializer.Mixed(['bias', '.*'], [mx.init.Zero(),
mx.init.Uniform(0.1)])
module.init_params(init)

for dictionary in module.get_params():
for key in dictionary:
print(key)
print(dictionary[key].asnumpy())

输出

输出如下所示 -

fullyconnected1_weight
[[ 0.0097627 0.01856892 0.04303787]]
fullyconnected1_bias
[ 0.]