fortran - MPI 中的多个通信器

这个问题的背景是在一些计算领域，比如计算流体动力学(CFD)。我们经常需要在一些关键区域更精细的网格/网格，而背景网格可能更粗糙。例如，自适应细化网格以跟踪气象学中的冲击波和嵌套域。

使用笛卡尔拓扑，域分解如下图所示。在这种情况下，使用 4*2=8 个处理器。单个数字表示处理器的等级，(x,y) 表示其拓扑坐标。


假设网格在等级为 2、3、4、5(中间)的区域中被细化，并且在这种情况下局部细化比率定义为 R=D_coarse/D_fine=2。由于网格细化，所以时间推进也应该细化。这需要在细化区域中计算时间步长 t、t+1/2*dt、t+dt，而在全局区域中仅计算时间步长 t 和 t+dt。这需要一个较小的通信器，它只包括中间的等级以进行额外的计算。全局秩+坐标和对应的局部(红色)草图如下所示:



但是，我在实现此方案时遇到了一些错误，并显示了 Fortran 中的片段代码(不完整):

integer :: global_comm, local_comm   ! global and local communicators
integer :: global_rank, local_rank   !
integer :: global_grp,  local_grp    ! global and local groups
integer :: ranks(4)                  ! ranks in the refined region
integer :: dim                       ! dimension
integer :: left(-2:2), right(-2:2)   ! ranks of neighbouring processors in 2 directions
ranks=[2,3,4,5]

!---- Make global communicator and their topological relationship
call mpi_init(ierr)
call mpi_cart_create(MPI_COMM_WORLD, 2, [4,2], [.false., .false.], .true., global_comm, ierr)
call mpi_comm_rank(global_comm, global_rank, ierr)
do dim=1, 2
    call mpi_cart_shift(global_comm, dim-1, 1, left(-dim), right(dim), ierr)
end do


!---- make local communicator and its topological relationship
! Here I use group and create communicator

! create global group
call mpi_comm_group(MPI_COMM_WORLD, global_grp, ierr)

! extract 4 ranks from global group to make a local group
call mpi_group_incl(global_grp, 4, ranks, local_grp, ierr)

! make new communicator based on local group
call mpi_comm_create(MPI_COMM_WORLD, local_grp, local_comm, ierr)

! make topology for local communicator
call mpi_cart_create(global_comm, 2, [2,2], [.false., .false.], .true., local_comm, ierr)

! **** get rank for local communicator
call mpi_comm_rank(local_comm, local_rank, ierr)

! Do the same thing to make topological relationship as before in local communicator.
 ...

当我运行程序时，问题来自“**** get rank for local Communicator”步骤。我的想法是建立两个传播者:全局传播者和本地传播者，本地传播者嵌入全局传播者。然后分别在全局和局部通信器中创建它们对应的拓扑关系。如果我的概念错误或某些语法错误，我不会。如果你能给我一些建议，非常感谢。

错误信息是

*** An error occurred in MPI_Comm_rank
 *** reported by process [817692673,4]
 *** on communicator MPI_COMM_WORLD
 *** MPI_ERR_COMM: invalid communicator
 *** MPI_ERRORS_ARE_FATAL (processes in this communicator will now abort,
 ***    and potentially your MPI job)

最佳答案

您正在从包含八个等级的全局通信器组创建 2x2 笛卡尔拓扑。因此，在其中四个中，local_comm 返回的 MPI_Cart_create 值将是 MPI_COMM_NULL 。在空通信器上调用 MPI_Comm_rank 会导致错误。

如果我正确理解您的逻辑，您应该执行以下操作:

if (local_comm /= MPI_COMM_NULL) then
  ! make topology for local communicator
  call mpi_cart_create(local_comm, 2, [2,2], [.false., .false.], .true., &
                     local_cart_comm, ierr)

  ! **** get rank for local communicator
  call mpi_comm_rank(local_cart_comm, local_rank, ierr)

  ...
end if

关于fortran - MPI 中的多个通信器，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/45061422/