MPI: Setup & Hello World

MPI (Message Passing Interface) adalah standar untuk membuat program paralel yang berjalan di banyak proses terpisah dan saling kirim data lewat message passing. MPI itu bukan library tunggal, tapi spesifikasi. Implementasinya banyak seperti:

• OpenMPI
• MPICH
• Intel MPI
• MVAPICH

MPI dipakai di:

• HPC clusters
• supercomputer
• multi-node research systems
• distributed-memory environments

MPI Hello World

Install openmpi di semua node

sudo pacman -S openmpi

Code hello world

// src/main.cpp

#include <mpi.h>
#include <stdio.h>

int main(int argc, char** argv) {
    // Initialize the MPI environment
    MPI_Init(NULL, NULL);

    /*
    function ini menentukan jumlah total proses yang terlibat dalam komunikasi. 
    Hasilnya disimpan di variabel world_size. MPI_COMM_WORLD adalah komunikator (grup default) 
    yang mencakup semua proses yang baru diinisialisasi.
    */
    int world_size;
    MPI_Comm_size(MPI_COMM_WORLD, &world_size);

    /*
    function ini menentukan peringkat (rank) unik dari proses yang sedang menjalankan baris kode ini. 
    Peringkat ini adalah ID unik setiap proses, dimulai dari 0 hingga world_size−1. 
    Hasilnya disimpan di world_rank.
    */
    int world_rank;
    MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);

    /*
    proses ini akan mencari nama fisik dari mesin (node) tempat proses ini berjalan. 
    Ini berguna untuk debugging pada cluster besar.
    */
    char processor_name[MPI_MAX_PROCESSOR_NAME];
    int name_len;
    MPI_Get_processor_name(processor_name, &name_len);

    printf("Hello world from processor %s, rank %d out of %d processors\n",
           processor_name, world_rank, world_size);

    /*
    function ini mematikan environment MPI dan me-release semua sumber daya yang digunakan. 
    Semua proses yang telah menyelesaikan tugasnya akan dipersilakan bubar.
    */
    MPI_Finalize();
}

isi dari CMakeLists.txt. Sebenarnya tidak terlalu perlu tapi mungkin akan berguna jika projek nya sudah besar

cmake_minimum_required(VERSION 4.2)
project(MPIHelloWorld LANGUAGES C CXX)

set(CMAKE_C_STANDARD 11)
set(CMAKE_CXX_STANDARD 17)

find_package(MPI REQUIRED)

add_executable(main src/main.cpp)
target_include_directories(main PRIVATE ${MPI_INCLUDE_PATH})

target_link_libraries(main PRIVATE MPI::MPI_CXX)

target_compile_options(main PRIVATE -Wall -Wextra -O3)

Lalu cara compile:

mkdir build && cd build
cmake ..
make
./main

Cara run:

mpirun -n 4 ./main 

# Output
Hello world from processor tamvanz, rank 2 out of 4 processors
Hello world from processor tamvanz, rank 1 out of 4 processors
Hello world from processor tamvanz, rank 0 out of 4 processors
Hello world from processor tamvanz, rank 3 out of 4 processors

flag -n adalah jumlah process yang akan jalan berbarengan. Dia bukan jumlah thread CPU, tapi jumlah core fisik. Cara melihat jumlah -n yang bisa digunakan jalankan command lscpu lalu lihat di bagian "Core(s) per socket"

Multi-node MPI

Node worker juga harus diinstall openmpi, dan "mungkin" versinya harus sama. Saya belom coba kalau beda versi. Untuk menjalankan MPI multi-node, copy executablenya ke node worker dan pastikan kita sudah bisa login ke sana tanpa password dengan cara copy ssh key

scp main [email protected]:/home/haidhi

Lalu run:

# rumus
mpirun -n <N_PROCESS> localhost:<SLOT>,node:<SLOT> ./executable

# example
mpirun -n 6 -host localhost:2,192.168.83.117:4 ./main

jumlah slot tidak boleh melebihi -n, dari contoh di atas ada total 2 + 4 = 6 slot.

Atau cara yang lebih enak, buat hosts.txt isinya

localhost slots=2
192.168.83.117 slots=4

Lalu run:

mpirun -n 6 -hostfile hosts.txt ./main