machine-learning - Julia ·雷迪夫(Julia ReverseDiff):如何拍摄渐变色只有一部分输入？

在我的数据流中，我正在查询数据库的一小部分，使用这些结果构造大约十二个数组，然后在给定一些参数值的情况下，计算似然值。然后重复数据库的一个子集。我想计算相对于参数而非数据的似然函数的梯度。但是ReverseDiff会计算所有输入的梯度。我该如何解决？具体来说，如何构造ReverseDiff.Tape对象

TL; DR：如何结合随机梯度下降和ReverseDiff？（我不喜欢使用ReverseDiff。这似乎是完成工作的正确工具。）

看来这必须是一种常见的编码模式。它一直在我的领域中使用。但是我想念一些东西。 Julia的范围规则似乎破坏了作用域/匿名函数方法，并且ReverseDiff保留了所生成磁带中的原始数据值，而不是使用突变值。

一些无效的示例代码

using ReverseDiff
using Base.Test


mutable struct data
    X::Array{Float64, 2}
end

const D = data(zeros(Float64, 2, 2))

# baseline known data to compare against
function f1(params)
    X = float.([1 2; 3 4])
    f2(params, X)
end

# X is data, want derivative wrt to params only
function f2(params, X)
    sum(params[1]' * X[:, 1] - (params[1] .* params[2])' * X[:, 2].^2)
end

# store data of interest in D.X so that we can call just f2(params) and get our
# gradient
f2(params) = f2(params, D.X)

# use an inner function and swap out Z's data
function scope_test()
    function f2_only_params(params)
        f2(params, Z)
    end
    Z = float.([6 7; 1 3])
    f2_tape = ReverseDiff.GradientTape(f2_only_params, [1, 2])

    Z[:] = float.([1 2; 3 4])
    grad = ReverseDiff.gradient!(f2_tape, [3,4])
    return grad
end

function struct_test()
    D.X[:] = float.([6 7; 1 3])
    f2_tape = ReverseDiff.GradientTape(f2, [1., 2.])
    D.X[:] = float.([1 2; 3 4])
    grad = ReverseDiff.gradient!(f2_tape, [3., 4.])
    return grad
end

function struct_test2()
    D.X[:] = float.([1 2; 3 4])
    f2_tape = ReverseDiff.GradientTape(f2, [3., 4.])
    D.X[:] = float.([1 2; 3 4])
    grad = ReverseDiff.gradient!(f2_tape, [3., 4.])
    return grad
end

D.X[:] = float.([1 2; 3 4])

@test f1([3., 4.]) == f2([3., 4.], D.X)
@test f1([3., 4.]) == f2([3., 4.])

f1_tape = ReverseDiff.GradientTape(f1, [3,4])
f1_grad = ReverseDiff.gradient!(f1_tape, [3,4])
# fails! uses line 33 values
@test scope_test() == f1_grad
# fails, uses line 42 values
@test struct_test() == f1_grad
# succeeds, so, not completely random
@test struct_test2() == f1_grad

最佳答案

目前这是不可能的（可悲）。 GitHub的问题有两个解决方法：
https://github.com/JuliaDiff/ReverseDiff.jl/issues/36

要么不使用预先录制的磁带
或相对于所有自变量进行区分，而忽略某些输入参数的梯度。

我遇到了同样的问题，我改用了Knet的grad功能。我仅支持相对于一个参数的微分，但是此参数可以非常灵活（例如，数组数组或字典或数组）。

关于machine-learning - Julia ·雷迪夫(Julia ReverseDiff):如何拍摄渐变色只有一部分输入？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50168800/