深入浅出Pytorch函数——torch.nn.init.orthogonal_

分类目录：《深入浅出Pytorch函数》总目录
相关文章：
· 深入浅出Pytorch函数——torch.nn.init.calculate_gain
· 深入浅出Pytorch函数——torch.nn.init.uniform_
· 深入浅出Pytorch函数——torch.nn.init.normal_
· 深入浅出Pytorch函数——torch.nn.init.constant_
· 深入浅出Pytorch函数——torch.nn.init.ones_
· 深入浅出Pytorch函数——torch.nn.init.zeros_
· 深入浅出Pytorch函数——torch.nn.init.eye_
· 深入浅出Pytorch函数——torch.nn.init.dirac_
· 深入浅出Pytorch函数——torch.nn.init.xavier_uniform_
· 深入浅出Pytorch函数——torch.nn.init.xavier_normal_
· 深入浅出Pytorch函数——torch.nn.init.kaiming_uniform_
· 深入浅出Pytorch函数——torch.nn.init.kaiming_normal_
· 深入浅出Pytorch函数——torch.nn.init.trunc_normal_
· 深入浅出Pytorch函数——torch.nn.init.orthogonal_
· 深入浅出Pytorch函数——torch.nn.init.sparse_

torch.nn.init模块中的所有函数都用于初始化神经网络参数，因此它们都在torc.no_grad()模式下运行，autograd不会将其考虑在内。

根据Saxe, A等人在《Exact solutions to the nonlinear dynamics of learning in deep linear neural networks》中描述的方法，用（半）正交矩阵填充输入的张量或变量。输入张量必须至少是2维的，对于更高维度的张量，超出的维度会被展平，视作行等于第一个维度，列等于稀疏矩阵乘积的2维表示，其中非零元素生成自$N(0,{\text{std}}^2)$。

语法

torch.nn.init.orthogonal_(tensor, gain=1)

参数

• tensor：[Tensor] 一个$N$维张量torch.Tensor，其中$N\ge 2$
• gain：[可选] 比例因子

返回值

一个torch.Tensor且参数tensor也会更新

实例

w = torch.empty(3, 5)
nn.init.orthogonal_(w)

函数实现

def orthogonal_(tensor, gain=1):r"""Fills the input `Tensor` with a (semi) orthogonal matrix, asdescribed in `Exact solutions to the nonlinear dynamics of learning in deeplinear neural networks` - Saxe, A. et al. (2013). The input tensor must haveat least 2 dimensions, and for tensors with more than 2 dimensions thetrailing dimensions are flattened.Args:tensor: an n-dimensional `torch.Tensor`, where :math:`n \geq 2`gain: optional scaling factorExamples:>>> # xdoctest: +REQUIRES(env:TORCH_DOCTEST_LAPACK)>>> w = torch.empty(3, 5)>>> nn.init.orthogonal_(w)"""if tensor.ndimension() < 2:raise ValueError("Only tensors with 2 or more dimensions are supported")if tensor.numel() == 0:# no-opreturn tensorrows = tensor.size(0)cols = tensor.numel() // rowsflattened = tensor.new(rows, cols).normal_(0, 1)if rows < cols:flattened.t_()# Compute the qr factorizationq, r = torch.linalg.qr(flattened)# Make Q uniform according to https://arxiv.org/pdf/math-ph/0609050.pdfd = torch.diag(r, 0)ph = d.sign()q *= phif rows < cols:q.t_()with torch.no_grad():tensor.view_as(q).copy_(q)tensor.mul_(gain)return tensor