Sistem yang secara otomatis menghasilkan buku komik dari film dan video lainnya
Spotlight

Sistem yang secara otomatis menghasilkan buku komik dari film dan video lainnya


Pipa keseluruhan dari sistem peneliti. (a): Ekstraksi dan Stilisasi Bingkai Utama. (b): Kerangka Tata Letak Multi-Halaman Otomatis, kotak bertitik merah, ungu dan hijau berarti kelompok yang berbeda. (c): Pembuatan dan Penempatan Balon. Pada langkah (a), kami melakukan pemilihan dan penataan bingkai utama untuk mendapatkan bingkai utama bergaya dari bingkai video masukan. Pada langkah (b), pertama-tama kita mendapatkan empat parameter tata letak frame termasuk wilayah minat, peringkat kepentingan, hubungan semantik, dan mengalokasikan bingkai di halaman yang berbeda. Kemudian, kami melakukan algoritma tata letak di [2] untuk tata letak multi-halaman. Pada langkah (c), kami merancang model sadar emosi untuk pembuatan dan penempatan balon. Kredit: Yang et al.

Selama beberapa tahun terakhir, ilmuwan komputer telah menciptakan banyak teknik komputasi yang secara otomatis dapat menghasilkan teks, gambar, dan jenis data lainnya. Model ini sangat menguntungkan, terutama untuk pembuatan data atau karya kreatif yang menuntut dan menyita waktu manusia untuk membuatnya secara manual.

Para peneliti di Dalian University of Technology di China dan City University of Hong Kong baru-baru ini menciptakan kerangka kerja inovatif yang dapat secara otomatis menghasilkan buku komik manga, yang biasanya dirancang oleh seniman profesional yang sangat terampil dan membutuhkan pekerjaan ekstensif. Kerangka kerja mereka, disajikan dalam makalah yang diterbitkan sebelumnya di arXiv, membuat buku komik dengan mengekstrak data dari serial TV, film, animasi, atau video lainnya.

“Kami mengusulkan sistem otomatis untuk menghasilkan buku komik dari video tanpa campur tangan manusia,” tulis para peneliti dalam makalah mereka. “Dengan adanya video masukan beserta subtitelnya, pendekatan kami pertama-tama mengekstrak bingkai utama informatif dengan menganalisis subtitel dan mengatur gaya bingkai utama menjadi gambar bergaya komik.”

Setelah mengekstrak bingkai utama dari video dan mengubahnya menjadi gambar bergaya komik, sistem yang dirancang oleh para peneliti menggunakan kerangka tata letak multi-halaman untuk menyebarkan gambar ke beberapa halaman dan membuat tata letak yang menarik secara visual yang mencerminkan hubungan antara gambar.

Daripada selalu menggunakan jenis balon ucapan yang sama seperti kebanyakan framework pembuatan komik lainnya, framework yang dibuat oleh peneliti menghasilkan jenis balon yang berbeda yang mencerminkan emosi yang disampaikan oleh kata-kata karakter. Untuk melakukan ini, pertama-tama mencoba memahami emosi yang disampaikan oleh baris dialog berbeda dengan menganalisis trek audio video dan subtitle yang sesuai.

Bentuk balon dialog yang dibuat oleh model dan ukuran kata yang terkandung di dalamnya bervariasi berdasarkan emosi yang disampaikan oleh karakter. Ini secara signifikan meningkatkan pengalaman membaca komik secara keseluruhan, menghasilkan tata letak yang lebih menarik yang mencerminkan konten dialog antara karakter yang berbeda.

Sistem yang secara otomatis menghasilkan buku komik dari film dan video lainnya

Perbandingan metode peneliti dengan sistem tercanggih yang disebut Content-Aware Video2Comics. (a) – (d) komik yang dibuat oleh sistem peneliti. (e) – (h) komik yang diproduksi oleh Content-Aware Video2Comics. (a) dan (e): Titanic (1997) (20th Century Fox, Paramount Pictures dan Lightstorm Entertainment). (b) dan (f): Pesan (Huayi Brothers). (c) dan (g): Teman [Bright/Kauffman/Crane Productions, Warner Bros. Television, NBC and Warner Bros. Television Distribution (worldwide)]. (d) dan (h): Up in the Air (DW Studios, The Montecito Picture Company, Rickshaw Productions dan Paramount Pictures). Kredit: Yang et al.

Balon ucapan yang dihasilkan oleh sistem ditempatkan berdekatan dengan karakter yang sedang berbicara. Untuk melakukan ini, model pertama-tama mendeteksi speaker yang berbeda dalam video dan kemudian menempatkan balon bicara yang selaras dengan emosi yang diekspresikan oleh mereka di dekatnya.

Para peneliti mengevaluasi sistem mereka dalam serangkaian eksperimen, menilai modul individualnya dan membandingkan kualitas komik yang dihasilkannya dengan yang dihasilkan oleh teknik canggih lainnya untuk menerjemahkan video ke dalam buku komik. Sistem ini digunakan untuk membuat komik berdasarkan 16 klip video yang diambil dari empat film dan serial: “Titanic”, “The Message”, “Friends”, dan “Up in the Air.” Klip video ini berdurasi antara dua dan enam menit.

Tim meminta sekelompok orang untuk mengevaluasi kualitas komik yang diproduksi oleh model mereka secara keseluruhan, dibandingkan dengan komik yang diproduksi oleh sistem generasi komik alternatif. Sebagian besar pengguna yang mengambil bagian dalam penelitian ini mengatakan bahwa mereka lebih menyukai tata letak yang dibuat oleh model peneliti daripada yang dibuat oleh sistem yang dikembangkan sebelumnya.

“Eksperimen kami menunjukkan bahwa sistem kami dapat mensintesis komik yang lebih ekspresif dan menarik dibandingkan dengan sistem generasi komik yang canggih,” tulis para peneliti dalam makalah mereka. “Meskipun sistem kami telah terbukti mencapai hasil yang menjanjikan, sistem ini masih memiliki beberapa batasan. Misalnya, pemilihan bingkai utama tidak cukup akurat. Dalam beberapa kasus, bingkai utama yang dipilih mirip satu sama lain, yang tentunya akan menyebabkan redundansi ke dalam komik yang dihasilkan. “

Setelah disempurnakan, sistem pembuatan komik yang dikembangkan oleh tim peneliti ini dapat digunakan untuk membuat buku komik yang menarik berdasarkan film, serial TV, atau konten video lainnya secara otomatis. Dalam studi mereka selanjutnya, para peneliti berencana untuk mengembangkan modul alternatif untuk pemilihan bingkai utama, karena ini dapat meningkatkan kualitas tata letak yang dihasilkan oleh sistem mereka dan mengurangi redundansi bingkai utama.

“Terlebih lagi, terinspirasi oleh banyak metode yang ada yang dapat menghasilkan urutan gambar yang diberikan cerita dengan banyak kalimat, dimungkinkan untuk menghasilkan buku komik dari cerita tekstual dan kami tertarik untuk memperluas metode kami untuk memanfaatkan informasi tekstual untuk membantu menghasilkan manga,” peneliti menyimpulkan dalam makalah mereka.


Amazon untuk membeli perusahaan komik digital


Informasi lebih lanjut:
Pembuatan komik otomatis dengan tata letak multi-halaman gaya dan pembuatan balon teks yang digerakkan oleh emosi. arXiv: 2101.11111 [cs.CV]. arxiv.org/abs/2101.11111

© 2021 Science X Network

Kutipan: Sistem yang secara otomatis menghasilkan buku komik dari film dan video lainnya (2021, 18 Februari) diambil pada 18 Februari 2021 dari https://techxplore.com/news/2021-02-automatically-comic-movies-videos.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Pengeluaran SGP Hari Ini