我遇到过一个非常奇怪的例子,在修改了一个看似微不足道的细节之后,代码的速度大大加快。我有以下代码,这是Borwein计算阶乘的算法的一个实现,在SageMath中实现(但是除了一些小的东西,比如指数运算的^,它应该在纯Python2.7中工作)

def sieve(n): #My implementation of the sieve of Eratosthenes
    T = [1]*n
    for i in xrange(2,n):
        if T[i]==1:
            for j in xrange(2,ceil(n/i)):
                T[i*j]=0
    return [i for i in xrange(2,n) if T[i]]
def expp(n,p): #Exponent of p in the factorization of n!
    k = p
    s = 0
    while k<=n:
        s += n//k
        k = k*p
    return s
def quick_prod(T): #Computing product of the elements of an array using binary splitting
    if len(T)==1:
        return T[0]
    if len(T)==2:
        return T[0]*T[1]
    if len(T)>2:
        s = len(T)//2
        return quick_prod(T[0:s])*quick_prod(T[s:len(T)])

n = 10^6
P = sieve(n) #Array of primes up to n
exps = [expp(n,p) for p in P] #exponents of all primes in P
l = len(bin(abs(n)))-2
nums = [quick_prod([P[j] for j in xrange(len(P)) if (exps[j] >> i)%2])^(2^i) for i in range(l)] #Array of numbers appearing in Borwein's algorithm, whose product is n!
quick_prod(nums)

(请原谅我糟糕的命名约定(可能还有其他糟糕的编码实践),我是个业余爱好者,只会真正地“快速而肮脏”地编写代码)
我没想到这段代码会特别高效,所以看到它花了10分钟才运行,我一点也不惊讶。但是当我开始修改代码试图改进它时,我注意到用P = sieve(n)替换行P = prime_range(n)(它产生相同的数组,除了它使用SageMath中内置的函数)将运行时间减少到3.5秒。
现在,当我看到这一点时,我的第一个想法是,这个解释是显而易见的——我对筛子的实现一定非常糟糕,花了很长时间,而且prime_range这样做的效率更高。但结果让我吃惊-sieve(10^6)花了4秒,而prime_range(10^6)花了2秒。这还不足以解释10分钟的区别!
我和我的朋友有一些想法可以解释这一点:
这两个阵列可能不同,例如它们的顺序可能不同。情况并非如此,因为sieve(10^6)==prime_range(10^6)返回True
尽管相等,但数组可以存储为不同的类型。type(...)返回两者的list
正在缓存中间结果。可能不是这样,因为不管编译顺序如何,即使在重新启动内核之后,结果也是大致相同的。
这样大规模的加速(或减速,取决于您如何看待它)的唯一方法是,如果原始代码以某种方式返回到计算后生成P的方式。有什么可能解释这种行为?

最佳答案

SageMath(我不熟悉)可能工作得像numpy。这就是说,它使用(和返回)的数组结构和内部数据类型比标准python列表效率高很多。这可能适用于列出理解和随后使用它执行的其他计算。
下面是这个现象的一个例子(基于numpy)。

import numpy as np
def sieve2(n):
    s       = np.ones(n+1)
    s[4::2] = 0
    s[:2]   = 0
    p = 3
    while p*p<=n:
        if s[p]:s[p*p::p] = 0
        p+=2
    return np.arange(n+1)[s==1]

这个函数在0.013秒内返回高达10^6的素数,而你的函数在我的电脑上需要0.27的素数(大约快20倍)。基于numpy的函数返回一个numpy数组,该数组有自己的基本函数实现,如加法、乘法、求幂等。sageMath也可能是这种情况,它可能会加速程序的其他部分。
注意,使用numpy的巨大时差来自于它的计算矢量化能力,以及使用GPU并行执行多个操作的能力。SageMath可以使用相同的技巧来计算大整数(Python可能不会这样做)

关于python - 为什么以不同方式生成数组会导致代码不同部分的大量加速?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/56893998/

10-14 18:11
查看更多