Algoritma baru memudahkan komputer untuk memecahkan masalah pengambilan keputusan
Computer

Algoritma baru memudahkan komputer untuk memecahkan masalah pengambilan keputusan


Biaya komputasi masalah multi-agen dapat sangat dikurangi dengan menggunakan pendekatan PI agen-per-agen. Kredit: Jurnal IEEE / CAA dari Automatica Sinica

Ilmuwan komputer sering menghadapi masalah yang relevan dengan skenario kehidupan nyata. Misalnya, “masalah multi-agen”, kategori yang ditandai dengan pengambilan keputusan multi-tahap oleh beberapa pembuat keputusan atau “agen”, memiliki aplikasi yang relevan dalam misi pencarian dan penyelamatan, pemadam kebakaran, dan tanggap darurat.

Masalah multiagen sering diselesaikan menggunakan teknik pembelajaran mesin yang dikenal sebagai pembelajaran penguatan (RL), yang memusatkan perhatian pada bagaimana agen cerdas membuat keputusan di lingkungan yang tidak mereka kenal. Pendekatan yang biasanya diadopsi dalam upaya semacam itu adalah iterasi kebijakan (PI), yang dimulai dengan ‘kebijakan dasar’ dan kemudian menyempurnakannya untuk menghasilkan ‘kebijakan peluncuran’ (dengan proses pembuatan yang disebut peluncuran). Peluncuran sederhana, andal, dan sangat sesuai untuk implementasi online tanpa model.

Namun demikian, ada masalah serius. “Dalam algoritme peluncuran standar, jumlah total komputasi tumbuh secara eksponensial dengan jumlah agen. Hal ini dapat membuat komputasi menjadi mahal bahkan untuk jumlah agen yang sedikit,” jelas Prof Dimitri Bertsekas dari Massachusetts Institute of Technology dan Arizona State University , AS, yang mempelajari komputasi skala besar dan pengoptimalan komunikasi dan kontrol.

Intinya, PI hanyalah penerapan berulang dari peluncuran, di mana kebijakan peluncuran di setiap iterasi menjadi kebijakan dasar untuk iterasi berikutnya. Biasanya, dalam kebijakan peluncuran multi-agen standar, semua agen diizinkan untuk memengaruhi algoritme peluncuran sekaligus (kebijakan “semua-agen-sekaligus”). Sekarang, dalam studi baru yang diterbitkan di Jurnal IEEE / CAA dari Automatica Sinica, Prof. Bertsekas telah menemukan pendekatan yang mungkin bisa mengubah permainan.

Algoritma baru memudahkan komputer untuk memecahkan masalah pengambilan keputusan

Struktur konseptual dari sistem multi-agen. Setiap agen diberikan “info status” dari “cloud” pada setiap tahap pengambilan keputusan, yang kemudian melakukan komputasi lokal berdasarkan informasi status ini untuk menerapkan kontrol mereka. Kredit: Jurnal IEEE / CAA dari Automatica Sinica, Gambar milik: Dimitri Bertsekas

Dalam makalahnya, Prof. Bertsekas fokus pada penerapan PI untuk masalah dengan kontrol beberapa komponen, setiap komponen dipilih oleh agen yang berbeda. Dia berasumsi bahwa semua agen memiliki informasi negara yang sempurna dan membagikannya di antara mereka sendiri. Ia kemudian merumuskan kembali masalah tersebut dengan menukar kompleksitas ruang kendali dengan kompleksitas ruang negara. Selain itu, alih-alih kebijakan semua-agen-sekaligus, ia mengadopsi kebijakan agen-per-agen di mana hanya satu agen yang diizinkan untuk menjalankan algoritme peluncuran pada satu waktu, dengan informasi koordinasi yang disediakan oleh agen lain.

Hasilnya sangat mengesankan. Alih-alih kompleksitas yang tumbuh secara eksponensial, Prof. Bertsekas hanya menemukan pertumbuhan linier dalam komputasi dengan jumlah agen, yang mengarah pada pengurangan dramatis dalam biaya komputasi. Selain itu, penyederhanaan komputasi tidak mengorbankan kualitas kebijakan yang ditingkatkan, yang berkinerja setara dengan algoritme peluncuran standar.

Prof Bertsekas kemudian mengeksplorasi algoritma PI yang tepat dan perkiraan menggunakan versi baru dari perbaikan kebijakan agen-oleh-agen dan penerapan berulang dari peluncuran. Untuk masalah yang sangat kompleks, dia mempelajari penggunaan jaringan neural untuk menyandikan kebijakan peluncuran yang berurutan, dan untuk memprakarsai kebijakan pensinyalan yang mengoordinasikan komputasi paralel dari agen yang berbeda.

Secara keseluruhan, Prof. Bertsekas optimis dengan temuannya dan prospek pendekatannya di masa depan. “Ide peluncuran agen-oleh-agen dapat diterapkan untuk menantang masalah kontrol multidimensi, serta masalah optimisasi diskrit / kombinatorial deterministik, yang melibatkan kendala yang menggabungkan kontrol dari tahapan yang berbeda,” ia mengamati. Dia telah menerbitkan dua buku tentang RL, salah satunya, berjudul “Peluncuran, Iterasi Kebijakan, dan Pembelajaran Penguatan Terdistribusi” yang akan segera diterbitkan oleh Tsinghua Press, China, membahas subjek studinya secara rinci.

Pendekatan baru untuk sistem multi-agen mungkin sangat merevolusi bagaimana masalah keputusan berurutan yang kompleks diselesaikan.


Peneliti memperkenalkan algoritme baru untuk mengurangi waktu pembelajaran mesin


Informasi lebih lanjut:
Dimitri Bertsekas. Pembelajaran Penguatan Multiagen: Peluncuran dan Iterasi Kebijakan, Jurnal IEEE / CAA dari Automatica Sinica (2021). DOI: 10.1109 / JAS.2021.1003814

Disediakan oleh Asosiasi Otomasi Cina

Kutipan: Algoritme baru memudahkan komputer untuk memecahkan masalah pengambilan keputusan (2021, 28 April) diambil 28 April 2021 dari https://techxplore.com/news/2021-04-algorithm-easier-decision-problems.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.




Halaman Ini Di Persembahkan Oleh : Pengeluaran HK