我有一个将向量映射到向量的函数



我想计算它的Jacobian determinant



雅可比行列式定义为



因为我可以使用numpy.linalg.det来计算行列式,所以我只需要雅可比矩阵。我知道numdifftools.Jacobian,但是它使用了数值微分,因此我需要自动微分。输入Autograd / JAX(我现在会坚持使用Autograd,它具有autograd.jacobian()方法,但是只要得到我想要的东西,我很高兴使用JAX)。如何正确使用此autograd.jacobian()函数和矢量值函数?

作为一个简单的例子,让我们看一下函数

![f(x)=(x_0 ^ 2,x_1 ^ 2)](https://chart.googleapis.com/chart?cht=tx&chl=f(x%29%20%3D%20(x_0%5E2%2C%20x_1%5E2%29

里面有雅可比

![J_f = diag(2 x_0,2 x_1)](https://chart.googleapis.com/chart?cht=tx&chl=J_f%20%3D%20%5Coperatorname%7Bdiag%7D(2x_0%2C%202x_1%29

产生雅可比行列式



>>> import autograd.numpy as np
>>> import autograd as ag
>>> x = np.array([[3],[11]])
>>> result = 4*x[0]*x[1]
array([132])
>>> jac = ag.jacobian(f)(x)
array([[[[ 6],
         [ 0]]],


       [[[ 0],
         [22]]]])
>>> jac.shape
(2, 1, 2, 1)
>>> np.linalg.det(jac)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.8/site-packages/autograd/tracer.py", line 48, in f_wrapped
    return f_raw(*args, **kwargs)
  File "<__array_function__ internals>", line 5, in det
  File "/usr/lib/python3.8/site-packages/numpy/linalg/linalg.py", line 2113, in det
    _assert_stacked_square(a)
  File "/usr/lib/python3.8/site-packages/numpy/linalg/linalg.py", line 213, in _assert_stacked_square
    raise LinAlgError('Last 2 dimensions of the array must be square')
numpy.linalg.LinAlgError: Last 2 dimensions of the array must be square


第一种方法给我正确的值,但形状错误。为什么.jacobian()返回这样的嵌套数组?如果我正确地重塑形状,则会得到正确的结果:

>>> jac = ag.jacobian(f)(x).reshape(-1,2,2)
array([[[ 6,  0],
        [ 0, 22]]])
>>> np.linalg.det(jac)
array([132.])


但是,现在让我们看看当我尝试为x的多个值评估Jacobian行列式时,它如何处理数组广播。

>>> x = np.array([[3,5,7],[11,13,17]])
array([[ 3,  5,  7],
       [11, 13, 17]])
>>> result = 4*x[0]*x[1]
array([132, 260, 476])
>>> jac = ag.jacobian(f)(x)
array([[[[ 6,  0,  0],
         [ 0,  0,  0]],

        [[ 0, 10,  0],
         [ 0,  0,  0]],

        [[ 0,  0, 14],
         [ 0,  0,  0]]],


       [[[ 0,  0,  0],
         [22,  0,  0]],

        [[ 0,  0,  0],
         [ 0, 26,  0]],

        [[ 0,  0,  0],
         [ 0,  0, 34]]]])
>>> jac = ag.jacobian(f)(x).reshape(-1,2,2)
>>> jac
array([[[ 6,  0],
        [ 0,  0]],

       [[ 0,  0],
        [ 0, 10]],

       [[ 0,  0],
        [ 0,  0]],

       [[ 0,  0],
        [14,  0]],

       [[ 0,  0],
        [ 0,  0]],

       [[ 0, 22],
        [ 0,  0]],

       [[ 0,  0],
        [ 0,  0]],

       [[26,  0],
        [ 0,  0]],

       [[ 0,  0],
        [ 0, 34]]])
>>> jac.shape
(9,2,2)


这里显然两个形状都是错误的,正确的(如我想要的雅可比矩阵)

[[[ 6,  0],
  [ 0, 22]],
 [[10,  0],
  [ 0, 26]],
 [[14,  0],
  [ 0, 34]]]


shape=(6,2,2)

如何使用autograd.jacobian(或jax.jacfwd / jax.jacrev)以使其正确处理多个矢量输入?



注意:使用显式循环并手动处理每个点,我得到正确的结果。但是有办法做到这一点吗?

>>> dets = []
>>> for v in zip(*x):
>>>    v = np.array(v)
>>>    jac = ag.jacobian(f)(v)
>>>    print(jac, jac.shape, '\n')
>>>    det = np.linalg.det(jac)
>>>    dets.append(det)
 [[ 6.  0.]
 [ 0. 22.]] (2, 2)

 [[10.  0.]
 [ 0. 26.]] (2, 2)

 [[14.  0.]
 [ 0. 34.]] (2, 2)

>>> dets
 [131.99999999999997, 260.00000000000017, 475.9999999999998]

最佳答案

“如何与向量值函数一起正确使用此autograd.jacobian()函数?”

你写了

x = np.array([[3],[11]])


这有两个问题。首先是这是向量的向量,而autograd是为向量到向量功能而设计的。第二个是autograd需要浮点数,而不是整数。如果您尝试区分整数,则会出现错误。您不会看到vector向量的错误,因为autograd会自动将int列表转换为float列表。

TypeError: Can't differentiate w.r.t. type <class 'int'>


以下代码应为您提供行列式。

import autograd.numpy as np
import autograd as ag

def f(x):
    return np.array([x[0]**2,x[1]**2])

x = np.array([3.,11.])
jac = ag.jacobian(f)(x)
result = np.linalg.det(jac)
print(result)


“如何使autograd.jacobian(或jax.jacfwd / jax.jacrev)使用才能使其正确处理多个矢量输入?”

有一种方法可以完成它,称为jax.vmap。请参阅JAX文档。 (https://jax.readthedocs.io/en/latest/jax.html#vectorization-vmap

在这种情况下,我可以使用以下代码计算Jacobian行列式的向量。请注意,我可以使用与之前完全相同的方式定义函数f,vmap在后台为我们完成了工作。

import jax.numpy as np
import jax

def f(x):
    return np.array([x[0]**2,x[1]**2])

x = np.array([[3.,11.],[5.,13.],[7.,17.]])

jac = jax.jacobian(f)
vmap_jac = jax.vmap(jac)
result = np.linalg.det(vmap_jac(x))
print(result)

关于python - Python JAX/Autograd的向量值函数的Jacobian行列式,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/59737069/

10-12 20:40