Metode pembelajaran mendalam untuk membuat karakter gim video yang terlihat seperti orang sungguhan
Sciences

Metode pembelajaran mendalam untuk membuat karakter gim video yang terlihat seperti orang sungguhan


Baris pertama: potret masukan. Baris kedua: karakter dalam game yang dihasilkan dengan metode peneliti. Teknik mereka kuat untuk perubahan pencahayaan, bayangan, dan oklusi, dan dengan setia dapat mengembalikan detail yang dipersonalisasi seperti warna kulit, riasan, dan kerutan. Kredit: Lin, Yuan & Zou.

Dalam beberapa tahun terakhir, pengembang gim video dan ilmuwan komputer telah mencoba merancang teknik yang dapat membuat pengalaman bermain gim semakin imersif, menarik, dan realistis. Ini termasuk metode untuk secara otomatis membuat karakter gim video yang terinspirasi oleh orang sungguhan.

Sebagian besar metode yang ada untuk membuat dan menyesuaikan karakter videogame mengharuskan pemain untuk menyesuaikan fitur wajah karakter mereka secara manual, untuk membuat ulang wajah mereka sendiri atau wajah orang lain. Baru-baru ini, beberapa pengembang mencoba mengembangkan metode yang dapat menyesuaikan wajah karakter secara otomatis dengan menganalisis gambar wajah orang sungguhan. Namun, metode ini tidak selalu efektif dan tidak selalu mereproduksi wajah yang mereka analisis dengan cara yang realistis.

Para peneliti di Netease Fuxi AI Lab dan University of Michigan baru-baru ini menciptakan MeInGame, teknik pembelajaran mendalam yang secara otomatis dapat menghasilkan wajah karakter dengan menganalisis satu potret wajah seseorang. Teknik ini, yang disajikan dalam makalah yang diterbitkan sebelumnya di arXiv, dapat dengan mudah diintegrasikan ke dalam sebagian besar video game 3D yang ada.

“Kami mengusulkan metode pembuatan wajah karakter otomatis yang memprediksi bentuk dan tekstur wajah dari satu potret, dan dapat diintegrasikan ke dalam sebagian besar game 3D yang ada,” Jiangke Lin, Yi Yuan, dan Zhengxia Zou, tiga peneliti yang melakukan penelitian tersebut, tulis di koran mereka.

Beberapa sistem kustomisasi karakter otomatis yang disajikan pada karya sebelumnya didasarkan pada teknik komputasi yang dikenal sebagai 3D morphable face model (3DMMs). Sementara beberapa dari metode ini telah ditemukan untuk mereproduksi fitur wajah seseorang dengan tingkat akurasi yang baik, cara mereka merepresentasikan properti geometris dan hubungan spasial (yaitu, topologi) sering berbeda dari jerat yang digunakan di kebanyakan video game 3D.

MeInGame: Metode pembelajaran mendalam untuk membuat karakter videogame yang terlihat seperti orang sungguhan

Perbandingan teknik yang dibuat oleh peneliti dengan metode lain yang digunakan dalam game yaitu: A Dream of Jianghu, Loomie, Justice (Shi et al. 2020), ZEPETO. Di kolom terakhir: hasil yang dicapai dengan metode berbasis 3DMM (Deng et al. 2019). Kredit: Lin, Yuan & Zou.

Agar 3DMM dapat mereproduksi tekstur wajah seseorang dengan andal, mereka biasanya perlu dilatih tentang kumpulan data gambar yang besar dan data tekstur terkait. Mengompilasi kumpulan data ini bisa memakan waktu yang cukup lama. Selain itu, kumpulan data ini tidak selalu berisi gambar nyata yang dikumpulkan di alam liar, yang dapat mencegah model yang dilatih padanya untuk bekerja secara konsisten dengan baik saat disajikan dengan data baru. Untuk mengatasi batasan ini, Lin, Yuan, dan Zou melatih teknik mereka pada kumpulan data gambar yang diambil di alam liar.

“Dengan memasukkan foto wajah, pertama-tama kami merekonstruksi wajah 3D berdasarkan model wajah 3D morphable (3DMM) dan jaringan saraf konvolusional (CNN), kemudian mentransfer bentuk wajah 3D ke mesh template,” para peneliti menjelaskan dalam laporannya. kertas. “Jaringan yang diusulkan mengambil foto wajah dan peta tekstur UV kasar yang tidak terbungkus sebagai masukan, kemudian memprediksi koefisien pencahayaan dan peta tekstur yang disempurnakan.”

Lin, Yuan, dan Zou mengevaluasi teknik pembelajaran mendalam mereka dalam serangkaian eksperimen, membandingkan kualitas karakter game yang dihasilkan dengan wajah karakter yang dihasilkan oleh metode canggih lainnya untuk kustomisasi karakter otomatis. Metode mereka bekerja dengan sangat baik, menghasilkan wajah karakter yang sangat mirip dengan gambar masukan.

“Metode yang diusulkan tidak hanya menghasilkan karakter permainan yang detail dan jelas yang mirip dengan potret masukan, tetapi juga dapat menghilangkan pengaruh pencahayaan dan oklusi,” tulis para peneliti dalam makalah mereka. “Eksperimen menunjukkan bahwa metode kami mengungguli metode canggih yang digunakan dalam game.”

Di masa depan, metode pembuatan wajah karakter yang dirancang oleh tim peneliti ini dapat diintegrasikan ke dalam sejumlah video game 3D, memungkinkan pembuatan otomatis karakter yang sangat mirip dengan orang sungguhan. Kode model MeInGame dan kumpulan data yang digunakan untuk melatihnya dipublikasikan secara online dan dapat diakses oleh pengembang game di seluruh dunia di: github.com/FuxiCV/ MeInGame.


Sistem yang secara otomatis menghasilkan buku komik dari film dan video lainnya


Informasi lebih lanjut:
MeInGame: Buat wajah karakter game dari satu potret. arXiv: 2102.02371 [cs.CV]. arxiv.org/abs/2102.02371

© 2021 Science X Network

Kutipan: MeInGame: Metode pembelajaran mendalam untuk membuat karakter videogame yang terlihat seperti orang sungguhan (2021, 4 Maret), diakses pada 4 Maret 2021 dari https://techxplore.com/news/2021-03-meingame-deep-method-videogame-characters .html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize