python - 当import_array不在同一个翻译单元中时发生段错误

我在获取NumPy C API正确初始化时遇到问题。我认为我已经将问题隔离到从其他翻译单元调用import_array了，但是我不知道为什么这很重要。

最小的工作示例:

header1.hpp

#ifndef HEADER1_HPP
#define HEADER1_HPP
#include <Python.h>
#include <numpy/npy_3kcompat.h>
#include <numpy/arrayobject.h>

void initialize();

#endif

file1.cpp

#include "header1.hpp"

void* wrap_import_array()
{
  import_array();
  return (void*) 1;
}

void initialize()
{
  wrap_import_array();
}

file2.cpp

#include "header1.hpp"

#include <iostream>

void* loc_wrap_import_array()
{
  import_array();
  return (void*) 1;
}

void loc_initialize()
{
  loc_wrap_import_array();
}

int main()
{
  Py_Initialize();
#ifdef USE_LOC_INIT
  loc_initialize();
#else
  initialize();
#endif
  npy_intp dims[] = {5};
  std::cout << "creating descr" << std::endl;
  PyArray_Descr* dtype = PyArray_DescrFromType(NPY_FLOAT64);
  std::cout << "zeros" << std::endl;
  PyArray_Zeros(1, dims, dtype, 0);
  std::cout << "cleanup" << std::endl;
  return 0;
}

编译器命令:

g++ file1.cpp file2.cpp -o segissue -lpython3.4m -I/usr/include/python3.4m -DUSE_LOC_INIT
./segissue
# runs fine

g++ file1.cpp file2.cpp -o segissue -lpython3.4m -I/usr/include/python3.4m
./segissue
# segfaults

我已经使用Clang 3.6.0，GCC 4.9.2，Python 2.7和Python 3.4(使用经过适当修改的wrap_import_array进行了测试，因为这在Python 2.x和3.x之间是不同的)。各种组合都给出相同的结果:如果我不调用loc_initialize，则该程序将在PyArray_DescrFromType调用中出现段错误。我有NumPy版本1.8.2。作为引用，我在Ubuntu 15.04中运行它。

最让我感到困惑的是this C++ NumPy wrapper似乎可以通过在另一个翻译单元中调用import_array来摆脱。

我想念什么？为什么必须从同一个翻译单元调用import_array才能使其真正生效？更重要的是，当我从另一个翻译单元(如Boost.NumPy包装器)调用import_array时，如何使它工作？

最佳答案

在挖掘了NumPy header 之后，我想我找到了一个解决方案:

在numpy/__multiarray_api.h中，有一个部分处理内部API缓冲区的位置。为简洁起见，以下是相关代码段:

#if defined(PY_ARRAY_UNIQUE_SYMBOL)
#define PyArray_API PY_ARRAY_UNIQUE_SYMBOL
#endif

#if defined(NO_IMPORT) || defined(NO_IMPORT_ARRAY)
extern void **PyArray_API;
#else
#if defined(PY_ARRAY_UNIQUE_SYMBOL)
void **PyArray_API;
#else
static void **PyArray_API=NULL;
#endif
#endif

看起来这是为了允许多个模块定义自己的内部API缓冲区，每个模块必须在其中调用自己的import_array定义。

在每个模块中，使几个翻译单元使用同一内部API缓冲区的一种一致方法是，将PY_ARRAY_UNIQUE_SYMBOL定义为某个库的唯一名称，然后除定义了import_array包装器的翻译单元之外的每个翻译单元都定义NO_IMPORT或NO_IMPORT_ARRAY。顺便说一下，ufunc功能有相似的宏:PY_UFUNC_UNIQUE_SYMBOL和NO_IMPORT/NO_IMPORT_UFUNC。

修改后的工作示例:

header1.hpp

#ifndef HEADER1_HPP
#define HEADER1_HPP

#ifndef MYLIBRARY_USE_IMPORT
#define NO_IMPORT
#endif

#define PY_ARRAY_UNIQUE_SYMBOL MYLIBRARY_ARRAY_API
#define PY_UFUNC_UNIQUE_SYMBOL MYLIBRARY_UFUNC_API

#include <Python.h>
#include <numpy/npy_3kcompat.h>
#include <numpy/arrayobject.h>

void initialize();

#endif

file1.cpp

#define MYLIBRARY_USE_IMPORT
#include "header1.hpp"

void* wrap_import_array()
{
  import_array();
  return (void*) 1;
}

void initialize()
{
  wrap_import_array();
}

file2.cpp

#include "header1.hpp"

#include <iostream>

int main()
{
  Py_Initialize();
  initialize();
  npy_intp dims[] = {5};
  std::cout << "creating descr" << std::endl;
  PyArray_Descr* dtype = PyArray_DescrFromType(NPY_FLOAT64);
  std::cout << "zeros" << std::endl;
  PyArray_Zeros(1, dims, dtype, 0);
  std::cout << "cleanup" << std::endl;
  return 0;
}

我不知道此hack有什么陷阱，或者是否有更好的选择，但这似乎至少可以编译和运行而没有任何段错误。