python - 大阵列的密度估计

我在 SciPy 中使用 gaussian_kde 函数来生成内核密度估计:

from scipy.stats.kde import gaussian_kde
from scipy.stats import norm
from numpy import linspace,hstack
from pylab import plot,show,hist

# creating data with two peaks
sampD1 = norm.rvs(loc=-1.0,scale=1,size=300)
sampD2 = norm.rvs(loc=2.0,scale=0.5,size=300)
samp = hstack([sampD1,sampD2])

# obtaining the pdf (my_pdf is a function!)
my_pdf = gaussian_kde(samp)

# plotting the result
x = linspace(-5,5,100)
plot(x,my_pdf(x),'r') # distribution function
hist(samp,normed=1,alpha=.3) # histogram
show()

上面的代码可以工作，但对于大量样本可能会非常慢。

我没有将我的样本存储在数组中，而是有一个包含 value: counts 键/值对的字典。例如，数组 [1, 1, 1, 2, 2, 3] 将在此直方图字典中编码为:
{1:3, 2:2, 3:1} 。

我的问题是，如何使用字典数据结构生成内核密度估计？作为示例输入，考虑这个字典，其中 6 的值被看到了 2081 次:

samp = {1: 1000, 2: 2800, 3: 6900, 4: 4322:, 5: 2300, 6: 2081}

先谢谢您的帮助。

最佳答案

您可以自己进行高斯 KDE:您只需要首先创建步长足够小的简单直方图。然后使用 fftconvolve 将结果与高斯卷积
(scipy.signal.fftconvolve)

import numpy as np, numpy.random,scipy,scipy.stats,scipy.signal,matplotlib.pyplot as plt
N = 1e5
minx = -10
maxx = 10
bins = 10000
w = 0.1 # kernel sigma

xs1 = np.random.normal(0, 1, size=N)
xs2 = np.random.normal(1.9, 0.01, size=N)
xs = np.r_[xs1, xs2]
hh,loc = scipy.histogram(xs, range=(minx, maxx), bins=bins)
kernel = scipy.stats.norm.pdf((loc[1:]+loc[:-1]) * .5, 0, w)
kde = scipy.signal.fftconvolve(hh, kernel, 'same')
plt.plot((loc[1:] + loc[:-1])*.5, kde)

关于python - 大阵列的密度估计，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/18402592/