Kerangka kerja untuk mengevaluasi kemampuan kognitif agen pembelajaran mesin
Computer

Kerangka kerja untuk mengevaluasi kemampuan kognitif agen pembelajaran mesin


Kredit: Kadam & Vaidya.

Selama kurang lebih satu dekade terakhir, para ilmuwan komputer telah mengembangkan teknik pembelajaran mesin (ML) yang bekerja sangat baik pada berbagai tugas. Meskipun algoritme ini dirancang untuk mereplikasi keterampilan kognitif manusia secara artifisial, masih ada kekurangan alat untuk membandingkan kemampuannya dengan kemampuan manusia.

Dengan pemikiran ini, dua peneliti di Savitribai Phule Pune University (SPPU) di India baru-baru ini membuat kerangka kerja untuk melakukan evaluasi kognitif pada agen pembelajaran mesin. Kerangka unik ini, diuraikan dalam makalah yang diterbitkan di Elsevier’s Penelitian Sistem Kognitif jurnal, menarik paralel dari kognisi manusia, seperti yang dijelaskan oleh teori psikologi, dan kognisi mesin.

“Ketika saya mulai mengerjakan penelitian inti saya tentang pembelajaran beberapa tembakan (FSL), penasihat saya dan saya merenungkan tentang bagaimana manusia dapat dengan mudah belajar mengklasifikasikan objek secara visual dan mengapa begitu sulit untuk mesin,” Suvarna Kadam, salah satu peneliti yang melakukan penelitian, kata TechXplore. “Manusia dapat menggeneralisasi, tetapi mesin menganggapnya cukup menantang. Analisis cepat metode FSL yang canggih membuat kami menyadari bahwa tidak hanya sulit untuk menilai ‘seberapa banyak yang dipelajari’ dengan metrik kinerja, tetapi sering kali, kami juga tidak tahu apakah mesin benar-benar memahami tugas yang ada atau hanya meniru. “

Begitu mereka menyadari bahwa ada kekurangan metode yang dapat diandalkan untuk mengevaluasi kognisi teknik ML, Kadam dan supervisornya Vinay Vaidya mulai menanyakan pertanyaan mendasar tentang kognisi mesin dan bagaimana cara menilai teknik tersebut secara efektif. Akhirnya, mereka memutuskan untuk merancang pendekatan terstruktur yang dapat membantu para peneliti memahami bagaimana mesin memperoleh keterampilan baru dan menilai seberapa banyak yang sebenarnya mereka pelajari. Kerangka kerja yang mereka buat menawarkan cara berpikir sederhana tentang kognisi mesin, yang paralel dengan kognisi manusia.

“Kami memutuskan untuk menggunakan kebijaksanaan kolektif manusia tentang bagaimana manusia belajar dan bagaimana mereka mengukur pembelajaran,” jelas Kadam. “Kerangka kerja kami menggunakan teori kognitif manusia untuk memberikan panduan bertahap guna menilai pembelajaran mesin dalam domain apa pun. Kerangka kerja kami menyarankan agar kami mencantumkan tugas domain dan memeriksa apakah tugas tersebut sederhana atau menantang untuk diterapkan, yang kemudian memungkinkan kami untuk mengatur tugas dalam berbasis taksonomi pada kesulitan kognitif mereka. “

Kerangka kerja yang dibuat oleh Kadam dan Vaidya dirancang untuk mendorong perenungan tentang apa yang membuat tugas lebih sulit atau lebih mudah ditangani daripada yang lain. Pembelajaran manusia umumnya dievaluasi berdasarkan seberapa baik seorang pelajar melakukannya pada tugas tertentu. Kerangka yang diajukan oleh para peneliti dapat digunakan untuk mengevaluasi kognisi khusus tugas mesin, menggunakan konsep yang disebut sebagai taksonomi tugas.

“Karena manusia sangat pandai menggeneralisasi dan cepat beradaptasi dengan tugas baru, kami juga mendemonstrasikan cara mengukur potensi generalisasi mesin,” kata Kadam. “Untuk pertama kalinya, studi kami menyoroti fakta bahwa mesin menampilkan kecerdasan yang lebih tinggi dan kami harus bergerak melampaui metrik kinerja untuk mengukurnya.”

Dalam makalah terbaru mereka, Kadam dan Vaidya menggunakan kerangka kerja mereka untuk membandingkan dua teknik ML yang canggih. Dengan demikian, ini juga terbukti berguna bagi tim peneliti lain yang mencoba mengidentifikasi model ML ‘terbaik’ untuk menyelesaikan tugas tertentu di antara opsi yang berbeda.

Di masa mendatang, kerangka kerja yang sama juga dapat membantu untuk lebih memahami proses di balik prediksi atau tindakan mesin. Hal ini pada akhirnya dapat meningkatkan keandalan sistem AI, memungkinkan pengembang untuk mendapatkan wawasan yang lebih luas tentang kemampuan kognitif mereka.

“Dengan kerangka ini, kami mengeksplorasi bagaimana kognisi dan pembelajaran saling terkait, dan pembelajaran sangat dipengaruhi oleh kognisi,” kata Kadam. “Namun, pembelajaran juga sangat dipengaruhi oleh keterampilan yang dimiliki pelajar dan sikap yang ia bawa. Akan sangat menarik untuk melihat apakah kita dapat memperluas pekerjaan kita untuk menilai keterampilan fisik dan emosional mesin. Meskipun keterampilan emosional mesin terlihat jauh. dan tidak disadari, mesin telah digunakan dalam interaksi manusia yang dekat (misalnya, chatbot, robot untuk pengasuhan atau persahabatan, dll.), jadi kami merasa mesin tersebut juga harus diuji kecerdasan emosionalnya. ”


Bagaimana manusia menggunakan objek dengan cara baru untuk memecahkan masalah


Informasi lebih lanjut:
Evaluasi kognitif dari agen pembelajaran mesin. Penelitian Sistem Kognitif(2020). DOI: 10.1016 / j.cogsys.2020.11.003.

© 2021 Science X Network

Kutipan: Kerangka kerja untuk mengevaluasi kemampuan kognitif agen pembelajaran mesin (2021, 7 Januari) diambil pada 7 Januari 2021 dari https://techxplore.com/news/2021-01-framework-cognitive-capabilities-machine-agents.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.




Halaman Ini Di Persembahkan Oleh : Pengeluaran HK