View source for Heterogeneous Cluster: tambah node HP android


Setelah dua laptop saling ngobrol via LAN kabel, langkah ini menambahkan node ketiga yang berbeda di hampir semua sumbu: arsitektur, OS, libc, path instalasi, akses jaringan, dan model driver GPU.

== Ringkasan 5W1H ==

{| class="wikitable"
! Aspek !! Penjelasan
|-
| '''What''' (Apa) || Menjalankan satu job MPI (perkalian matriks terdistribusi) di tiga node berbeda arsitektur, di mana tiap rank menjalankan kernel OpenCL di device-nya masing-masing: NVIDIA GPU, AMD CPU (pocl), dan Qualcomm Adreno.
|-
| '''Why''' (Kenapa) || Membuktikan komputasi terdistribusi bisa berjalan lintas-arsitektur (x86_64 + ARM64), lintas-OS (Linux + Android), dan lintas-vendor-GPU dalam satu proses MPI. Nilai utamanya adalah sinyal skill cross-stack (portofolio), bukan platform komputasi yang praktis/cepat.
|-
| '''Who''' (Siapa/komponen) || <code>mpirun</code> sebagai HNP di master (<code>darmogandolz</code>) yang meluncurkan <code>orted</code> di tiap node; tiap rank adalah proses MPI yang memanggil OpenCL di device lokalnya. Perangkat: darmogandolz (NVIDIA), tumbal (AMD/pocl), HP (Adreno).
|-
| '''When''' (Kapan) || Tahap akhir — setelah dua laptop terbukti saling terhubung via LAN kabel. Ini langkah "menambah node ketiga" ke cluster yang sudah jalan.
|-
| '''Where''' (Di mana) || LAN kabel khusus <code>192.168.100.0/24</code> lewat switch unmanaged. HP bergabung via adapter USB-to-LAN dengan IP statik <code>192.168.100.3</code>.
|-
| '''How''' (Bagaimana) || Cek versi+PMIx pkg (cocok → pakai pkg), SSH port 8022 via <code>ssh config</code>, samakan path via trik symlink terbalik, binary per-arch + MPMD, env OpenCL HP via skrip pembungkus, dan fix kunci: paksa policy routing Android lewat eth0. Diluncurkan via MPMD dengan interface dipin + binding hwloc dimatikan.
|}

== Lingkungan ==

{| class="wikitable"
! Komponen !! darmogandolz (master) !! tumbal !! HP (Android)
|-
| Arsitektur || x86_64 || x86_64 || aarch64 (ARM64)
|-
| OS / libc || Arch Linux / glibc || Arch Linux / glibc || Android 13 / bionic (Termux)
|-
| Device OpenCL || NVIDIA RTX 3050 || AMD A8-6410 (pocl, CPU) || Qualcomm Adreno 610
|-
| OpenMPI || 4.1.5 (source) || 4.1.5 (source) || 4.1.5 ('''pkg''' Termux)
|-
| Prefix OpenMPI || <code>/home/haidhi/ompi4</code> || <code>/home/haidhi/ompi4</code> || <code>/data/data/com.termux/files/usr</code> ($PREFIX)
|-
| NIC cluster || enp8s0 → 192.168.100.1 || eno1 → 192.168.100.2 || eth0 (USB) → 192.168.100.3
|-
| Akses SSH || port 22 || port 22 || '''port 8022''' (Termux sshd)
|}

== Konsep: lima sumbu heterogenitas ==

HP berbeda dari laptop di hampir semua sumbu sekaligus. Memahami ini menjelaskan kenapa tiap masalah muncul:

# '''Arsitektur CPU''' — aarch64 vs x86_64 → binary tidak bisa dipakai bersama, wajib MPMD (binary terpisah per-arch).
# '''OS/libc''' — Android(bionic)+Termux vs Linux(glibc) → butuh build/paket sendiri + preload libc++.
# '''Path instalasi''' — <code>$PREFIX</code> vs <code>/home/haidhi/ompi4</code> → aturan "path sama di semua node" pecah.
# '''Jaringan & akses''' — USB-LAN + IP statik + sshd di port 8022.
# '''OpenCL''' — Adreno non-ICD (vendor-first + libc++ preload) vs ICD sistem di laptop.

Benang merah semua: '''versi OpenMPI wajib cocok''' (4.1.5 di semua node).

== Ikhtisar masalah ==

{| class="wikitable"
! # !! Tahap !! Gejala singkat
|-
| 1 || SSH || <code>ssh: connect to host ... port 22: Connection refused</code>
|-
| 2 || Kompatibilitas || Apakah pkg Termux bisa interop dengan build source laptop?
|-
| 3 || Launch || <code>/home/haidhi/ompi4/bin/orted: No such file or directory</code> (di HP)
|-
| 4 || Koneksi || <code>unable to complete a TCP connection ... Local host: localhost</code>
|-
| 5 || Jaringan || HP tidak bisa menjangkau <code>192.168.100.1</code> (routing salah arah)
|}

= Masalah 1: SSH ke HP ditolak (port) =

''Muncul saat:'' mpirun pertama kali mencoba meluncurkan orted di HP. ''Di mana:'' master → HP.

=== Gejala ===
<syntaxhighlight lang="text">
ssh: connect to host 192.168.100.3 port 22: Connection refused
</syntaxhighlight>

=== Penyebab ===
Termux menjalankan sshd di '''port 8022''', bukan 22. mpirun (lewat ssh) default ke port 22, jadi tidak ada yang mendengarkan. "Connection refused" (bukan timeout) justru kabar baik: HP reachable di level IP, jaringan USB-eth sudah jalan.

=== Solusi ===
Beri tahu ssh lewat <code>~/.ssh/config</code> di master (per-host, jadi laptop tetap port 22):
<syntaxhighlight lang="text">
Host 192.168.100.3
    Port 8022
    IdentityFile ~/.ssh/id_ed25519
</syntaxhighlight>
<syntaxhighlight lang="bash">
chmod 600 ~/.ssh/config
# di Termux HP: pastikan sshd jalan + public key master terpasang
sshd
cat ~/.ssh/authorized_keys
# verifikasi (WAJIB lolos sebelum mpirun):
ssh 192.168.100.3 'uname -m'   # → aarch64, tanpa password
</syntaxhighlight>
Catatan: jangan pakai <code>--mca plm_rsh_agent "ssh -p 8022"</code> — itu memaksa SEMUA host ke 8022, termasuk laptop di port 22. <code>ssh config</code> per-host yang benar.

= Masalah 2: apakah pkg Termux kompatibel? =

''Muncul saat:'' memutuskan pakai paket Termux atau build dari source. ''Di mana:'' HP.

=== Pertanyaan ===
OpenMPI di laptop di-build dari source (4.1.5, prefix custom). Di HP terpasang dari <code>pkg</code>. Antar-node, versi '''dan''' build harus cukup cocok agar handshake peluncuran tidak gagal (lihat error "Data unpack" di halaman sebelumnya). Apakah pkg bisa dipakai?

=== Diagnosis ===
<syntaxhighlight lang="bash">
mpirun --version
ompi_info | grep -iE 'configure command|pmix'
</syntaxhighlight>
Hasil di HP:
<syntaxhighlight lang="text">
mpirun (Open MPI) 4.1.5
Configure command line: ... '--host=aarch64-linux-android' '--disable-dlopen'
   'ac_cv_header_ifaddrs_h=no' ... '--enable-shared' '--enable-static'
MCA pmix: isolated (... Component v4.1.5)
MCA pmix: pmix3x (... Component v4.1.5)
</syntaxhighlight>

=== Kesimpulan ===
'''Cocok.''' Versi (4.1.5) dan PMIx (<code>pmix3x</code> internal v4.1.5) '''identik''' dengan laptop — ini faktor penentu handshake, dan dia match. Jadi pkg layak dipakai; '''tidak perlu build dari source.'''

Dua flag pada build pkg sempat jadi kekhawatiran:
* <code>ac_cv_header_ifaddrs_h=no</code> — <code>getifaddrs()</code> dimatikan; deteksi interface jatuh ke fallback (SIOCGIFCONF). Sempat dicurigai bikin HP gagal mengenali IP-nya di multi-node.
* <code>--disable-dlopen</code> — komponen di-static-link, bukan plugin runtime. Tidak masalah untuk handshake.

''Catatan penting (terbukti kemudian):'' kekhawatiran ifaddrs ternyata '''tidak terbukti''' — fallback SIOCGIFCONF membaca eth0 dengan benar. pkg berjalan tanpa modifikasi. Penyebab kegagalan sebenarnya ada di tempat lain (Masalah 5).

= Masalah 3: orted tidak ditemukan di HP =

''Muncul saat:'' mpirun meluncurkan orted di HP (SSH sudah berhasil). ''Di mana:'' HP.

=== Gejala ===
<syntaxhighlight lang="text">
/data/data/com.termux/files/usr/bin/bash: line 1: /home/haidhi/ompi4/bin/orted: No such file or directory
</syntaxhighlight>

=== Penyebab ===
Dua hal:
# '''<code>--prefix</code> per-context tidak ke-propagate''' di OpenMPI 4.1.5. Walau tiap section MPMD diberi <code>--prefix</code> sendiri, mpirun hanya memakai SATU prefix global untuk semua orted. Akibatnya prefix laptop (<code>/home/haidhi/ompi4</code>) dipaksakan ke HP, yang tidak punya path itu.
# '''Tidak bisa membuat <code>/home/haidhi</code> di Android.''' Ini '''bukan''' soal root — root filesystem <code>/</code> di Android '''read-only''' (partisi system + verified boot). <code>su</code> tidak menolong karena mount-nya memang ro; remount rw diblok/merusak boot. Jadi trik symlink "biasa" (bikin path laptop di HP) mati.

=== Solusi ===
'''Balik arah triknya.''' Karena <code>/</code> di laptop writable tapi di HP tidak, buat path HP '''di laptop''', menunjuk ke instalasi laptop:
<syntaxhighlight lang="bash">
# di KEDUA laptop:
sudo mkdir -p /data/data/com.termux/files
sudo ln -s /home/haidhi/ompi4 /data/data/com.termux/files/usr
</syntaxhighlight>
Sekarang path <code>/data/data/com.termux/files/usr/bin/orted</code> valid di '''semua''' node — di HP itu pkg asli, di laptop itu symlink ke ompi4. Lalu pakai SATU <code>--prefix</code> global = path HP (buang per-context):
<syntaxhighlight lang="bash">
mpirun ... --prefix /data/data/com.termux/files/usr ...
</syntaxhighlight>

Tentang executable: di MPMD, path tiap app di-resolve di node masing-masing, dan tiap section menyebut app-nya sendiri, jadi binary boleh beda path antar-arch. '''Wajib pakai path absolut untuk HP''' — jangan <code>~</code>, karena tilde di-expand oleh shell laptop menjadi home laptop sebelum mpirun melihatnya.

= Masalah 4 & 5: TCP gagal — sebenarnya routing Android =

''Muncul saat:'' orted sudah jalan di semua node, masuk fase komunikasi antar-rank. ''Di mana:'' HP ↔ master.

=== Gejala ===
<syntaxhighlight lang="text">
A process or daemon was unable to complete a TCP connection to another process:
  Local host:    localhost
  Remote host:   darmogandolz
This is usually caused by a firewall on the remote host.
</syntaxhighlight>
Investigasi: dari HP, <code>ping 192.168.100.1</code> gagal.

=== Penyebab ===
Pesan menuduh firewall, tapi penyebab sebenarnya adalah '''policy routing Android'''. Bukti:
<syntaxhighlight lang="bash">
su -c 'ip addr show eth0'             # 192.168.100.3 ADA, eth0 UP
su -c 'ip route get 192.168.100.1'
# 192.168.100.1 via 192.168.1.1 dev wlan0 table wlan0 src 192.168.1.136
</syntaxhighlight>
HP mengirim paket untuk <code>192.168.100.1</code> lewat '''WiFi''' (<code>dev wlan0</code>, via gateway router <code>192.168.1.1</code>), bukan lewat eth0 — padahal eth0 sudah punya IP di subnet itu. Router WiFi tidak kenal subnet <code>192.168.100.x</code>, jadi paket nyasar.

Android tidak memakai tabel routing <code>main</code> seperti Linux desktop. Ia memakai banyak tabel + <code>ip rule</code> per-jaringan; rule untuk jaringan WiFi (<code>table wlan0</code>) dibaca lebih dulu, membypass route eth0 yang ada di tabel <code>main</code>. Asimetri ini (inbound via eth0 jalan, outbound lari ke WiFi) yang membuat koneksi TCP balik ke master gagal.

''Catatan:'' "Local host: localhost" hanyalah label hostname default Termux — '''bukan''' indikasi masalah ifaddrs. Itu sempat menyesatkan ke arah rebuild source yang sebenarnya tidak perlu.

=== Solusi ===
Paksa tujuan <code>192.168.100.0/24</code> membaca tabel <code>main</code> (yang punya route eth0), pada prioritas tinggi:
<syntaxhighlight lang="bash">
su -c 'ip route replace 192.168.100.0/24 dev eth0 src 192.168.100.3 table main'
su -c 'ip rule add to 192.168.100.0/24 lookup main priority 100'
# verifikasi:
su -c 'ip route get 192.168.100.1'   # harus jadi: dev eth0 src 192.168.100.3
</syntaxhighlight>
Rule prioritas 100 dibaca sebelum rule WiFi Android (~10000-an), memaksa paket ke subnet wired lewat eth0.

''Catatan operasional:'' hanya perlu di HP (laptop Arch routing-nya normal). Android sering me-reset rule ini saat layar mati / USB re-enumerate / reboot — jika putus, terapkan ulang (bisa dibuat skrip). <code>ping</code> mungkin tetap gagal jika laptop men-drop ICMP, tapi itu tidak relevan — MPI memakai TCP, bukan ICMP.

= Konfigurasi final yang berhasil =

== Skrip pembungkus di HP (env OpenCL Adreno) ==
Rank HP butuh env khusus (vendor-first untuk Adreno + preload libc++), sementara laptop tidak boleh terkena. Dibungkus skrip yang men-set env lalu exec app (path di-hardcode karena env spawn bisa kosong):
<syntaxhighlight lang="bash">
#!/data/data/com.termux/files/usr/bin/bash
PREFIX=/data/data/com.termux/files/usr
HOME=/data/data/com.termux/files/home
export LD_LIBRARY_PATH=/vendor/lib64:/system/vendor/lib64:/system/lib64:$PREFIX/lib
export LD_PRELOAD=$PREFIX/lib/libc++_shared.so
exec "$HOME/app_arm" "$@"
</syntaxhighlight>
Simpan sebagai <code>/data/data/com.termux/files/home/phone_launch.sh</code>, lalu <code>chmod +x</code>. (<code>app_arm</code> = matmul yang dikompilasi di HP untuk ARM.)

== Perintah peluncuran (MPMD) ==
<syntaxhighlight lang="bash">
mpirun \
  --mca btl_tcp_if_include 192.168.100.0/24 \
  --mca oob_tcp_if_include 192.168.100.0/24 \
  --mca hwloc_base_binding_policy none \
  --prefix /data/data/com.termux/files/usr \
  --host 192.168.100.1,192.168.100.2 -np 2 ./matmul \
  : --host 192.168.100.3 -np 1 /data/data/com.termux/files/home/phone_launch.sh
</syntaxhighlight>
Penjelasan flag: <code>btl/oob_tcp_if_include</code> mengunci jalur data & kontrol ke subnet wired; <code>hwloc_base_binding_policy none</code> mematikan binding proses (syscall-nya diblok seccomp Android); <code>--prefix</code> tunggal + symlink laptop menyeragamkan path; sintaks <code>:</code> (MPMD) memberi binary berbeda per-arch.

== Hasil ==
<syntaxhighlight lang="text">
Hello World from MPI rank 0/3 on host 'darmogandolz' using OpenCL device 'NVIDIA GeForce RTX 3050 6GB Laptop GPU'
Hello World from MPI rank 2/3 on host 'localhost' using OpenCL device 'QUALCOMM Adreno(TM)'
Hello World from MPI rank 1/3 on host 'tumbal' using OpenCL device 'cpu-ivybridge-AMD A8-6410 APU with AMD Radeon R5 Graphics'
Matrix multiply 512x512 * 512x512 = 512x512 selesai pada 3 proses MPI. Verifikasi: OK ✓
</syntaxhighlight>
Tiga node, tiga arsitektur/OS, tiga vendor OpenCL, satu job MPI — terverifikasi benar.

= Ringkasan =

{| class="wikitable"
! Masalah !! Penyebab inti !! Solusi inti
|-
| SSH refused (port 22) || Termux sshd di port 8022 || <code>~/.ssh/config</code> per-host Port 8022
|-
| Kompatibilitas pkg || (ternyata cocok: 4.1.5 + pmix3x internal) || Pakai pkg apa adanya — tidak perlu build source
|-
| orted not found di HP || per-context prefix tak propagate + <code>/</code> Android read-only || Symlink terbalik (path HP di laptop) + satu <code>--prefix</code> global
|-
| TCP gagal / "localhost" || Policy routing Android (paket wired lari ke WiFi) || <code>ip rule ... lookup main priority 100</code> + route eth0
|}

= Catatan / Pelajaran =

* '''pkg ternyata cukup.''' Faktor penentu interop adalah versi + PMIx, dan keduanya match. Flag <code>ifaddrs=no</code> / <code>--disable-dlopen</code> yang ditakutkan tidak mematahkan multi-node (fallback SIOCGIFCONF membaca eth0). '''Jangan rebuild dari source secara prematur''' — coba pkg dulu.
* '''Blocker terberat justru jaringan Android, bukan MPI.''' Policy routing yang membypass eth0 adalah penyebab sebenarnya kegagalan TCP, bukan handshake MPI maupun ifaddrs.
* '''Android <code>/</code> read-only walau di-root.''' Karena itu unifikasi path dibalik: buat path HP di laptop (yang writable), bukan sebaliknya.
* '''ping ≠ MPI.''' <code>ping</code> memakai ICMP; banyak host men-drop ICMP tapi menerima TCP. Kegagalan ping bisa menyesatkan — uji TCP langsung (mis. <code>ssh</code> ke host; sampai prompt password pun berarti TCP nyampe).
* '''"localhost" itu kosmetik.''' Hanya hostname default Termux, bukan kegagalan pengalamatan. Jika ingin output rapi, set hostname HP.
* '''Per-context <code>--prefix</code> tidak bekerja''' di OpenMPI 4.1.5 untuk peluncuran orted — hanya satu prefix global. Atasi dengan menyeragamkan path (symlink), bukan mengandalkan prefix per-section.

= Lihat pula =

* [[Troubleshooting Cluster OpenMPI Multi-Node (Build & Koneksi)]]
* [[OpenCL Adreno di Termux]]
* [[Troubleshooting OpenCL + MPI di Termux]]

[[Category:OpenMPI]]
[[Category:HPC]]
[[Category:Cluster]]
[[Category:Android]]
[[Category:Termux]]
[[Category:Troubleshooting]]