我遇到过一个非常奇怪的例子,在修改了一个看似微不足道的细节之后,代码的速度大大加快。我有以下代码,这是Borwein计算阶乘的算法的一个实现,在SageMath中实现(但是除了一些小的东西,比如指数运算的^
,它应该在纯Python2.7中工作)
def sieve(n): #My implementation of the sieve of Eratosthenes
T = [1]*n
for i in xrange(2,n):
if T[i]==1:
for j in xrange(2,ceil(n/i)):
T[i*j]=0
return [i for i in xrange(2,n) if T[i]]
def expp(n,p): #Exponent of p in the factorization of n!
k = p
s = 0
while k<=n:
s += n//k
k = k*p
return s
def quick_prod(T): #Computing product of the elements of an array using binary splitting
if len(T)==1:
return T[0]
if len(T)==2:
return T[0]*T[1]
if len(T)>2:
s = len(T)//2
return quick_prod(T[0:s])*quick_prod(T[s:len(T)])
n = 10^6
P = sieve(n) #Array of primes up to n
exps = [expp(n,p) for p in P] #exponents of all primes in P
l = len(bin(abs(n)))-2
nums = [quick_prod([P[j] for j in xrange(len(P)) if (exps[j] >> i)%2])^(2^i) for i in range(l)] #Array of numbers appearing in Borwein's algorithm, whose product is n!
quick_prod(nums)
(请原谅我糟糕的命名约定(可能还有其他糟糕的编码实践),我是个业余爱好者,只会真正地“快速而肮脏”地编写代码)
我没想到这段代码会特别高效,所以看到它花了10分钟才运行,我一点也不惊讶。但是当我开始修改代码试图改进它时,我注意到用
P = sieve(n)
替换行P = prime_range(n)
(它产生相同的数组,除了它使用SageMath中内置的函数)将运行时间减少到3.5秒。现在,当我看到这一点时,我的第一个想法是,这个解释是显而易见的——我对筛子的实现一定非常糟糕,花了很长时间,而且
prime_range
这样做的效率更高。但结果让我吃惊-sieve(10^6)
花了4秒,而prime_range(10^6)
花了2秒。这还不足以解释10分钟的区别!我和我的朋友有一些想法可以解释这一点:
这两个阵列可能不同,例如它们的顺序可能不同。情况并非如此,因为
sieve(10^6)==prime_range(10^6)
返回True
尽管相等,但数组可以存储为不同的类型。
type(...)
返回两者的list
。正在缓存中间结果。可能不是这样,因为不管编译顺序如何,即使在重新启动内核之后,结果也是大致相同的。
这样大规模的加速(或减速,取决于您如何看待它)的唯一方法是,如果原始代码以某种方式返回到计算后生成P的方式。有什么可能解释这种行为?
最佳答案
SageMath(我不熟悉)可能工作得像numpy。这就是说,它使用(和返回)的数组结构和内部数据类型比标准python列表效率高很多。这可能适用于列出理解和随后使用它执行的其他计算。
下面是这个现象的一个例子(基于numpy)。
import numpy as np
def sieve2(n):
s = np.ones(n+1)
s[4::2] = 0
s[:2] = 0
p = 3
while p*p<=n:
if s[p]:s[p*p::p] = 0
p+=2
return np.arange(n+1)[s==1]
这个函数在0.013秒内返回高达10^6的素数,而你的函数在我的电脑上需要0.27的素数(大约快20倍)。基于numpy的函数返回一个numpy数组,该数组有自己的基本函数实现,如加法、乘法、求幂等。sageMath也可能是这种情况,它可能会加速程序的其他部分。
注意,使用numpy的巨大时差来自于它的计算矢量化能力,以及使用GPU并行执行多个操作的能力。SageMath可以使用相同的技巧来计算大整数(Python可能不会这样做)
关于python - 为什么以不同方式生成数组会导致代码不同部分的大量加速?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/56893998/