ch4/shm: move vci setup from post_init to set_vcis

Transition from world init to per-comm vci init.

Author: hzhou

src/mpid/ch4/shm/posix/eager/include/posix_eager.h

@@ -12,6 +12,7 @@
 
 typedef int (*MPIDI_POSIX_eager_init_t) (int rank, int size);
 typedef int (*MPIDI_POSIX_eager_post_init_t) (void);
+typedef int (*MPIDI_POSIX_eager_set_vcis_t) (MPIR_Comm * comm);
 typedef int (*MPIDI_POSIX_eager_finalize_t) (void);
 
 typedef int (*MPIDI_POSIX_eager_send_t) (int grank, MPIDI_POSIX_am_header_t * msg_hdr,
@@ -37,6 +38,7 @@ typedef size_t(*MPIDI_POSIX_eager_buf_limit_t) (void);
 typedef struct {
     MPIDI_POSIX_eager_init_t init;
     MPIDI_POSIX_eager_post_init_t post_init;
+    MPIDI_POSIX_eager_set_vcis_t set_vcis;
     MPIDI_POSIX_eager_finalize_t finalize;
 
     MPIDI_POSIX_eager_send_t send;
@@ -59,6 +61,7 @@ extern char MPIDI_POSIX_eager_strings[][MPIDI_MAX_POSIX_EAGER_STRING_LEN];
 
 int MPIDI_POSIX_eager_init(int rank, int size);
 int MPIDI_POSIX_eager_post_init(void);
+int MPIDI_POSIX_eager_set_vcis(MPIR_Comm * comm);
 int MPIDI_POSIX_eager_finalize(void);
 
 MPL_STATIC_INLINE_PREFIX int MPIDI_POSIX_eager_send(int grank, MPIDI_POSIX_am_header_t * msg_hdr,

src/mpid/ch4/shm/posix/eager/iqueue/func_table.c

@@ -15,6 +15,7 @@
 MPIDI_POSIX_eager_funcs_t MPIDI_POSIX_eager_iqueue_funcs = {
     MPIDI_POSIX_iqueue_init,
     MPIDI_POSIX_iqueue_post_init,
+    MPIDI_POSIX_iqueue_set_vcis,
     MPIDI_POSIX_iqueue_finalize,
 
     MPIDI_POSIX_eager_send,

src/mpid/ch4/shm/posix/eager/iqueue/iqueue_init.c

@@ -130,17 +130,20 @@ int MPIDI_POSIX_iqueue_init(int rank, int size)
 int MPIDI_POSIX_iqueue_post_init(void)
 {
     int mpi_errno = MPI_SUCCESS;
+    return mpi_errno;
+}
 
-    /* gather max_vcis */
-    int max_vcis = MPIDI_POSIX_global.num_vcis;
+int MPIDI_POSIX_iqueue_set_vcis(MPIR_Comm * comm)
+{
+    int mpi_errno = MPI_SUCCESS;
+    MPIR_FUNC_ENTER;
 
-    MPIR_Comm *comm = MPIR_Process.comm_world->node_comm;
-    /* NOTE: node_comm is NULL if there no other intra-node processes */
-    if (comm) {
-        mpi_errno = MPIR_Allreduce_impl(MPI_IN_PLACE, &max_vcis, 1, MPIR_INT_INTERNAL, MPI_MAX,
-                                        comm, MPIR_ERR_NONE);
-        MPIR_ERR_CHECK(mpi_errno);
-    }
+    MPIR_Assert(comm == MPIR_Process.comm_world);       /* TODO: relax this */
+    MPIR_Assert(MPIDI_POSIX_eager_iqueue_global.all_slab == NULL);
+
+    int max_vcis = MPIDI_POSIX_global.num_vcis;
+    MPIDI_POSIX_eager_iqueue_global.max_vcis = max_vcis;
+    MPIDU_Init_shm_barrier();
 
     MPIDI_POSIX_eager_iqueue_global.max_vcis = max_vcis;
     int slab_size = MPIDI_POSIX_eager_iqueue_global.slab_size * max_vcis * max_vcis;

src/mpid/ch4/shm/posix/eager/iqueue/iqueue_noinline.h

@@ -11,11 +11,13 @@
 
 int MPIDI_POSIX_iqueue_init(int rank, int size);
 int MPIDI_POSIX_iqueue_post_init(void);
+int MPIDI_POSIX_iqueue_set_vcis(MPIR_Comm * comm);
 int MPIDI_POSIX_iqueue_finalize(void);
 
 #ifdef POSIX_EAGER_INLINE
 #define MPIDI_POSIX_eager_init MPIDI_POSIX_iqueue_init
 #define MPIDI_POSIX_eager_post_init MPIDI_POSIX_iqueue_post_init
+#define MPIDI_POSIX_eager_set_vcis MPIDI_POSIX_iqueue_set_vcis
 #define MPIDI_POSIX_eager_finalize MPIDI_POSIX_iqueue_finalize
 #endif
 

src/mpid/ch4/shm/posix/eager/src/posix_eager_impl.c

@@ -19,6 +19,11 @@ int MPIDI_POSIX_eager_post_init(void)
     return MPIDI_POSIX_eager_func->post_init();
 }
 
+int MPIDI_POSIX_eager_set_vcis(MPIR_Comm * comm)
+{
+    return MPIDI_POSIX_eager_func->set_vcis(comm);
+}
+
 int MPIDI_POSIX_eager_finalize(void)
 {
     return MPIDI_POSIX_eager_func->finalize();

src/mpid/ch4/shm/posix/eager/stub/stub_init.c

@@ -20,6 +20,12 @@ int MPIDI_POSIX_stub_post_init(void)
     return MPI_SUCCESS;
 }
 
+int MPIDI_POSIX_stub_set_vcis(MPIR_Comm * comm)
+{
+    MPIR_Assert(0);
+    return MPI_SUCCESS;
+}
+
 int MPIDI_POSIX_stub_finalize()
 {
     MPIR_Assert(0);

src/mpid/ch4/shm/posix/eager/stub/stub_noinline.h

@@ -10,11 +10,13 @@
 
 int MPIDI_POSIX_stub_init(int rank, int size);
 int MPIDI_POSIX_stub_post_init(void);
+int MPIDI_POSIX_stub_set_vcis(MPIR_Comm * comm);
 int MPIDI_POSIX_stub_finalize(void);
 
 #ifdef POSIX_EAGER_INLINE
 #define MPIDI_POSIX_eager_init MPIDI_POSIX_stub_init
 #define MPIDI_POSIX_eager_post_init MPIDI_POSIX_stub_post_init
+#define MPIDI_POSIX_eager_set_vcis MPIDI_POSIX_stub_set_vcis
 #define MPIDI_POSIX_eager_finalize MPIDI_POSIX_stub_finalize
 #endif
 

src/mpid/ch4/shm/posix/posix_impl.h

@@ -28,6 +28,7 @@
         } \
     } while (0)
 
+int MPIDI_POSIX_init_vci(int vci);
 void MPIDI_POSIX_delay_shm_mutex_destroy(int rank, MPL_proc_mutex_t * shm_mutex_ptr);
 
 #endif /* POSIX_IMPL_H_INCLUDED */

src/mpid/ch4/shm/posix/posix_types.h

@@ -51,7 +51,7 @@ typedef struct {
     int *local_ranks;
     int *local_procs;
     int local_rank_0;
-    int num_vcis;
+    int num_vcis;               /* num_vcis in POSIX need >= MPIDI_global.n_total_vcis */
     int *local_rank_dist;
     MPIDI_POSIX_topo_info_t topo;
 } MPIDI_POSIX_global_t;

src/mpid/ch4/shm/posix/posix_vci.c

@@ -10,14 +10,27 @@ int MPIDI_POSIX_comm_set_vcis(MPIR_Comm * comm, int num_vcis)
 {
     int mpi_errno = MPI_SUCCESS;
 
-    MPIDI_POSIX_global.num_vcis = num_vcis;
+    /* We only set up vcis once */
+    MPIR_Assert(MPIDI_POSIX_global.num_vcis == 1);
+
+    MPIR_Comm *node_comm = comm->node_comm;
+    if (node_comm == NULL) {
+        /* nothing to do if there is no local domain */
+        goto fn_exit;
+    }
+
+    int max_vcis;
+    mpi_errno = MPIR_Allreduce_impl(&num_vcis, &max_vcis, 1, MPI_INT, MPI_MAX, node_comm,
+                                    MPIR_ERR_NONE);
+
+    MPIDI_POSIX_global.num_vcis = max_vcis;
 
     for (int i = 1; i < MPIDI_POSIX_global.num_vcis; i++) {
         mpi_errno = MPIDI_POSIX_init_vci(i);
         MPIR_ERR_CHECK(mpi_errno);
     }
 
-    mpi_errno = MPIDI_POSIX_eager_post_init();
+    mpi_errno = MPIDI_POSIX_eager_set_vcis(comm);
     MPIR_ERR_CHECK(mpi_errno);
 
   fn_exit: