Question

使用C ++和OpenMPI我想创建一个向量，然后在主进程中将向量的一部分均匀地分配给要处理的从进程。因此，如果向量具有100个整数并且有5个从属进程，那么每个从属进程将被发送20个整数的向量。

以下是我尝试的代码，但它无效。

#include <iostream>
#include <list>
#include "mpi.h"
#include <stdio.h>
#include <stdlib.h>
#include <vector>
#include <algorithm>
#include <map>
#include <random>

using namespace std;

int main(int argc, char **argv)
{
int rank, size, tag, rc, i;
MPI_Status status;
vector<int> vec(100);
vector<int> split_vec;

rc = MPI_Init(&argc, &argv);
rc = MPI_Comm_size(MPI_COMM_WORLD, &size);
rc = MPI_Comm_rank(MPI_COMM_WORLD, &rank);
tag=7;

random_device rd;
mt19937 gen(rd());
uniform_int_distribution<> dis;
generate(vec.begin(), vec.end(), [&](){ return dis(gen); });
// 100 ints / 5 slave processes
int split_size = vec.size() / size;
// split_size = size of vector of ints that each slave process should get
int offset = 0;
int j = 0;
int max = split_size;
if (rank==0) {
// master process
     for (int i=1; i<size; ++i){
            split_vec.clear();
            while(j < max){
                int elements = i_j + offset;
                split_vec.push_back(vec[elements]);
                j++;
            }
            max = max + split_size;
            offset = offset + split_size;
     MPI_Send(&split_vec[0], split_vec.size(), MPI_INT, i, tag, MPI_COMM_WORLD);
else{
   // slaves processes
   MPI_Recv(&split_vec[0], split_vec.size(), MPI_INT, 0, tag, MPI_COMM_WORLD, &status);
   // process the vector
}
   MPI_Finalize();
}// main

当我运行上面的代码时，我收到以下错误：

[comp-01:7562] *** An error occurred in MPI_Recv
[comp-01:7562] *** on communicator MPI_COMM_WORLD
[comp-01:7562] *** MPI_ERR_TRUNCATE: message truncated
[comp-01:7562] *** MPI_ERRORS_ARE_FATAL: your MPI job will now abort

似乎正在通过vector<int> vec(100)向量正确地工作，抓住前20个整数，接下来的20个等等。但我认为它崩溃了，因为我一直在覆盖元素在split_vec中，车库值正在崩溃。当我打印向量时，因为我在下面发送它是在它崩溃之前打印的内容。

0 64 0 33 0 1819240283 808662067 976302125 892679984 2121015 0 49 0 -773125744 32554 0 0 -773125760 32554 0 0

即使0向量中没有vec或负数。所以我尝试通过添加split_vec.clear();代码来解决此问题，但这似乎也无法解决。

以下是我用来编译和运行它的内容。

mpic++ -std=c++11 prog.cpp -o prog.o
mpirun -np 6 prog.o  // 5 slave process

Answer 1

需要进行以下更改才能使MPI_Recv()成功：

在您发布的代码中，split_vec.size()中的MPI_Recv()为0，因为split_vec尚未填充。因此，MPI_Recv()将收到一条消息，但不会修改该向量。
必须首先分配接收缓冲区。在本例中，这意味着必须在调用split_vec.reserve(split_size);之前添加MPI_Recv(&split_vec[0],MPI_INT,split_size,...);。实际上，方法vector::reserve(size_type n)将增加向量至少n元素的容量。正如@Zulan所注意到的，使用split_vec.resize(split_size);更正确，因为它也会更新向量的大小。

最后，以下代码可以解决问题：

split_vec.resize(split_size);
MPI_Recv(&split_vec[0],MPI_INT,split_vec.size(),...);

这是更正后的代码。请注意，必须修改用于填充排名0的数组的索引。按mpiCC main.cpp -o main -std=c++11 -Wall

编译

#include <iostream>
#include <list>
#include "mpi.h"
#include <stdio.h>
#include <stdlib.h>
#include <vector>
#include <algorithm>
#include <map>
#include <random>

using namespace std;

int main(int argc, char **argv)
{
    int rank, size, tag;
    MPI_Status status;
    vector<int> vec(100);
    vector<int> split_vec;

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    tag=7;

    random_device rd;
    mt19937 gen(rd());
    uniform_int_distribution<> dis;
    generate(vec.begin(), vec.end(), [&](){ return dis(gen); });
    // 100 ints / 5 slave processes
    int split_size = vec.size() / size;
    // split_size = size of vector of ints that each slave process should get
    int offset = 0;
    if (rank==0) {
        // master process
        for (int i=1; i<size; ++i){
            split_vec.clear();
            split_vec.reserve(split_size);
            int j=0; // added j=0
            while(j < split_size){
                int elements = j + offset;
                split_vec.push_back(vec[elements]);
                j++;
            }
            //max =  split_size; 
            offset = offset + split_size;
            MPI_Send(&split_vec[0], split_vec.size(), MPI_INT, i, tag, MPI_COMM_WORLD);
        }
    }
    else{
        // slaves processes
        split_vec.resize(split_size);
        MPI_Recv(&split_vec[0], split_vec.size(), MPI_INT, 0, tag, MPI_COMM_WORLD, &status); // until receive is complete, split_vec.size()==0
    }
    MPI_Finalize();
}// main

最后，您将享受功能MPI_Scatter()，它正是您想要做的！

#include <iostream>
#include <list>
#include "mpi.h"
#include <stdio.h>
#include <stdlib.h>
#include <vector>
#include <algorithm>
#include <map>
#include <random>

using namespace std;

int main(int argc, char **argv)
{
    int rank, size;

    vector<int> vec(100);
    vector<int> split_vec;

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);

    random_device rd;
    mt19937 gen(rd());
    uniform_int_distribution<> dis;
    generate(vec.begin(), vec.end(), [&](){ return dis(gen); });
    // 100 ints / 5 slave processes
    int split_size = vec.size() / size;
    // split_size = size of vector of ints that each slave process should get


    split_vec.resize(split_size);
    MPI_Scatter(&vec[0],split_size,MPI_INT,&split_vec[0],split_size,MPI_INT,0,MPI_COMM_WORLD);

    MPI_Finalize();
}// main

将矢量的一部分分配给从属进程

1 个答案: