Gustafson's Law

Gustafson's Law dicetuskan oleh John Gustafson pada 1988 sebagai "jawaban" atas keterbatasan cara pandang Amdahl. Keduanya membahas paralelisasi, tapi dari sudut pandang yang fundamental berbeda. Gustafson's Law menyatakan bahwa seiring bertambahnya jumlah prosesor, kita cenderung mengerjakan tugas yang lebih besar dalam waktu yang sama, bukannya mengerjakan tugas yang sama dalam waktu yang lebih cepat. Gustafson berargumen kalau asumsi itu tidak realistis. Di dunia nyata, kalau kita dikasih 10x lebih banyak prosesor, kita tidak mengerjakan tugas yang sama - kita mengerjakan tugas yang 10x lebih besar. Simulasi cuaca yang tadinya resolusi rendah, sekarang resolusi tinggi. Model ML yang tadinya kecil, sekarang dilatih dengan dataset jauh lebih besar, dll.

Formula

$S(n)=n-p\cdot (n-1)$

Di mana:

• $S(n)$ = scaled speedup
• $n$ = jumlah prosesor
• $p$ = proporsi bagian parallelizable (0 sampai 1)
• $(1-p)$ = proporsi bagian serial

Artinya: bagian serial tetap konstan, bagian parallelnya yang membesar seiring jumlah prosesor.

Singkatnya: Amdahl pesimis tapi realistis untuk kecepatan, sedangkan Gustafson optimis dan relevan untuk skala. Keduanya benar tergantung pertanyaan yang diajukan.