Pasokan data berkelanjutan memastikan simulasi intensif data dapat berjalan dengan kecepatan maksimum
Computer

Pasokan data berkelanjutan memastikan simulasi intensif data dapat berjalan dengan kecepatan maksimum


Mengatur pergerakan data antara lebih banyak lapisan penyimpanan jarak jauh dan memori utama dapat mempercepat simulasi hingga 2,5 kali lipat. Kredit: KAUST

Sistem manajemen memori pre-emptive yang dikembangkan oleh peneliti KAUST dapat mempercepat simulasi intensif data hingga 2,5 kali dengan menghilangkan penundaan karena pengiriman data yang lambat. Pengembangan ini secara elegan dan transparan mengatasi salah satu hambatan yang paling membandel dalam superkomputer modern — mengirimkan data dari memori dengan cukup cepat untuk mengimbangi komputasi.

“Mengurangi pergerakan data sekaligus menjaganya tetap dekat dengan perangkat keras komputasi adalah salah satu tantangan paling menakutkan yang dihadapi ilmuwan komputasi yang menangani data besar,” jelas Hatem Ltaief dari tim peneliti. “Hal ini diperparah dengan melebarnya kesenjangan antara kecepatan komputasi dan kapasitas transmisi memori, dan kebutuhan untuk menyimpan data volume tinggi pada media penyimpanan jarak jauh.”

Tantangan utama dalam memproses big data adalah biaya dan skala penyimpanan data dalam memori. Semakin cepat memori, semakin mahal harganya, dan semakin cepat data perlu dipindahkan antar elemen komputasi. Karena hanya kapasitas yang relatif kecil dari memori tercepat yang tersedia bahkan pada platform superkomputer paling kuat sekalipun, insinyur sistem menambahkan lapisan memori yang lebih besar, lebih lambat, dan lebih jauh secara berturut-turut untuk menampung tera dan petabyte data yang khas dari kumpulan data besar.

“Dalam lanskap yang tidak bersahabat inilah sistem kami ikut bermain dengan mengurangi overhead pemindahan data masuk dan keluar dari perangkat keras penyimpanan jarak jauh,” kata Ltaief.

Ltaief bersama rekannya David Keyes dan Tariq Alturkestani mengembangkan sistem buffer multilayer (MLBS) mereka untuk bekerja secara proaktif dalam memelihara data sedekat mungkin dengan perangkat keras komputasi dengan mengatur pergerakan data di antara lapisan memori.

“MLBS mengandalkan teknik buffering multilevel yang mengakali simulasi dengan membuatnya ‘melihat’ ratusan petabyte data sebagai memori cepat,” kata Alturkestani. “Mekanisme penyanggaan mencegah aplikasi terhenti ketika diperlukan untuk mengakses data yang terletak di penyimpanan jarak jauh, memungkinkan aplikasi untuk melanjutkan dengan kecepatan penuh dengan operasi komputasi asinkron.”

Sinergisme yang disediakan oleh MLBS ini mencapai kecepatan 2,5 kali untuk simulasi eksplorasi seismik tiga dimensi yang melibatkan ratusan petabyte pergerakan data menggunakan superkomputer Shaheen-2 KAUST.

“Pendekatan ini juga mengurangi energi yang dibutuhkan untuk memindahkan data ke dan dari media penyimpanan jarak jauh, yang bisa ratusan kali lebih tinggi daripada energi untuk melakukan komputasi tunggal pada memori lokal,” kata Ltaief. “Dengan menggunakan MLBS, kami dapat mengurangi overhead energi pergerakan data, yang merupakan salah satu tujuan utama pusat kami.”


Penyimpanan data multi-negara meninggalkan biner


Informasi lebih lanjut:
Tariq Alturkestani dkk. Memaksimalkan Bandwidth I / O untuk Migrasi Waktu Terbalik pada Sistem Skala Besar yang Heterogen, Euro-Par 2020: Pemrosesan Paralel (2020). DOI: 10.1007 / 978-3-030-57675-2_17

Disediakan oleh Universitas Sains dan Teknologi Raja Abdullah

Kutipan: Pasokan data berkelanjutan memastikan simulasi intensif data dapat berjalan dengan kecepatan maksimum (2020, 9 November), diakses 27 November 2020 dari https://techxplore.com/news/2020-11-data-intensive-simulations-maximum.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.




Halaman Ini Di Persembahkan Oleh : Pengeluaran HK