'Audeo' mengajarkan kecerdasan buatan untuk bermain piano
Sciences

‘Audeo’ mengajarkan kecerdasan buatan untuk bermain piano


Kredit: Universitas Washington

Siapapun yang pernah ke konser tahu bahwa sesuatu yang ajaib terjadi antara pemain dan instrumen mereka. Ini mengubah musik dari hanya “catatan di halaman” menjadi pengalaman yang memuaskan.

Sebuah tim dari Universitas Washington bertanya-tanya apakah kecerdasan buatan dapat menciptakan kembali kegembiraan itu hanya dengan menggunakan isyarat visual — video dari atas ke bawah tanpa suara dari seseorang yang bermain piano. Para peneliti menggunakan pembelajaran mesin untuk membuat sistem, yang disebut Audeo, yang membuat audio dari pertunjukan piano senyap. Saat grup tersebut menguji musik yang Audeo buat dengan aplikasi pengenalan musik, seperti SoundHound, aplikasi tersebut dengan benar mengidentifikasi bagian yang dimainkan Audeo sekitar 86% dari waktu tersebut. Sebagai perbandingan, aplikasi ini mengidentifikasi bagian dalam trek audio dari video sumber sepanjang 93% waktu.

Para peneliti mempresentasikan Audeo 8 Desember di konferensi NeurIPS 2020.

“Untuk membuat musik yang terdengar seperti bisa dimainkan dalam pertunjukan musik sebelumnya diyakini mustahil,” kata penulis senior Eli Shlizerman, asisten profesor di jurusan matematika terapan dan teknik listrik dan komputer. “Algoritme perlu mengetahui isyarat, atau ‘fitur’, dalam bingkai video yang terkait dengan menghasilkan musik, dan perlu ‘membayangkan’ suara yang terjadi di antara bingkai video tersebut. Ini membutuhkan sistem yang keduanya tepat dan imajinatif. Fakta bahwa kami mendapatkan musik yang terdengar cukup bagus adalah sebuah kejutan. “

Audeo menggunakan serangkaian langkah untuk memecahkan kode apa yang terjadi di video dan kemudian menerjemahkannya ke dalam musik. Pertama, ia harus mendeteksi tombol mana yang ditekan di setiap bingkai video untuk membuat diagram dari waktu ke waktu. Kemudian diagram itu perlu diterjemahkan menjadi sesuatu yang akan dikenali oleh music synthesizer sebagai suara yang dihasilkan piano. Langkah kedua ini membersihkan data dan menambahkan lebih banyak informasi, seperti seberapa kuat setiap tombol ditekan dan berapa lama.

“Jika kami mencoba untuk mensintesis musik dari langkah pertama saja, kami akan menemukan kualitas musiknya tidak memuaskan,” kata Shlizerman. “Langkah kedua adalah seperti bagaimana seorang guru memainkan musik komposer siswa dan membantu menyempurnakannya.”

Para peneliti melatih dan menguji sistem menggunakan video YouTube dari pianis Paul Barton. Pelatihan terdiri dari sekitar 172.000 bingkai video Barton yang memainkan musik dari komposer klasik terkenal, seperti Bach dan Mozart. Kemudian mereka menguji Audeo dengan hampir 19.000 frame Barton memainkan musik yang berbeda dari komposer ini dan lainnya, seperti Scott Joplin.

Setelah Audeo menghasilkan transkrip musik, inilah waktunya untuk memberikannya ke penyintesis yang dapat menerjemahkannya menjadi suara. Setiap penyintesis akan membuat suara musik sedikit berbeda — ini mirip dengan mengubah pengaturan “instrumen” pada keyboard listrik. Untuk penelitian ini, peneliti menggunakan dua synthesizer yang berbeda.

“Fluidsynth membuat suara piano synthesizer yang kita kenal. Ini agak terdengar mekanis tetapi cukup akurat,” kata Shlizerman. “Kami juga menggunakan PerfNet, AI synthesizer baru yang menghasilkan musik yang lebih kaya dan ekspresif. Tapi juga menghasilkan lebih banyak noise.”

Audeo dilatih dan diuji hanya pada video piano Paul Barton. Penelitian di masa depan diperlukan untuk melihat seberapa baik dapat mentranskripsikan musik untuk musisi atau piano mana pun, kata Shlizerman.

“Tujuan dari studi ini adalah untuk melihat apakah kecerdasan buatan dapat menghasilkan musik yang dimainkan oleh pianis dalam rekaman video — meskipun kami tidak bermaksud untuk meniru Paul Barton karena dia adalah seorang virtuoso,” kata Shlizerman. “Kami berharap studi kami memungkinkan cara-cara baru untuk berinteraksi dengan musik. Sebagai contoh, satu aplikasi di masa mendatang adalah Audeo dapat diperluas ke piano virtual dengan kamera yang merekam hanya tangan seseorang. Juga, dengan menempatkan kamera di atas sebuah piano, Audeo berpotensi dapat membantu dengan cara baru dalam mengajari siswa cara bermain. ”


Tips membuat musik obat yang baik


Informasi lebih lanjut:
fakultas.washington.edu/shlizee/audeo/

Disediakan oleh University of Washington

Kutipan: ‘Audeo’ mengajarkan kecerdasan buatan untuk bermain piano (2021, 4 Februari) diakses 4 Februari 2021 dari https://techxplore.com/news/2021-02-audeo-artificial-intelligence-piano.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize