Algoritme untuk mengaktifkan sinematografi berbasis drone otonom
Sciences

Algoritme untuk mengaktifkan sinematografi berbasis drone otonom


CineMPC beraksi. Kiri atas: representasi dari instruksi pengguna. Zona biru mewakili bagian gambar yang harus keluar fokus sedangkan zona merah mewakili bagian gambar yang harus berada dalam fokus. Garis kuning adalah pedoman komposisi yang diinginkan. Kanan atas: keluaran berlabel tambahan yang mewakili informasi inti yang digunakan CineMPC. Gambar diberi label dengan kotak pembatas yang diperoleh dari modul persepsi dan pedoman komposisi yang diinginkan. Kiri bawah: Drone yang merekam dan target dari sudut pandang orang ketiga. Kanan bawah: Output kamera saat tidak menggunakan CineMPC untuk mengontrol parameter intrinsik kamera (yaitu, panjang fokus konstan dan bukaan dan tanpa fokus). Kredit: Pueyo et al.

Teknologi yang muncul seperti algoritme kecerdasan buatan (AI), robot seluler, dan kendaraan udara tak berawak (UAV) dapat meningkatkan praktik di berbagai bidang, termasuk sinematografi. Dalam beberapa tahun terakhir, banyak sinematografer dan perusahaan hiburan secara khusus mulai mengeksplorasi penggunaan UAV untuk merekam rekaman video udara berkualitas tinggi (misalnya, video lokasi tertentu yang diambil dari atas).

Para peneliti di Universitas Zaragoza dan Universitas Stanford baru-baru ini menciptakan CineMPC, alat komputasi yang dapat digunakan untuk mengendalikan kamera video on-board drone secara otonom. Teknik ini, yang diperkenalkan dalam makalah yang diterbitkan sebelumnya di arXiv, dapat secara signifikan meningkatkan praktik sinematografi saat ini berdasarkan penggunaan UAV.

“Saat membaca literatur yang ada tentang sinematografi otonom dan, khususnya, pembuatan film drone otonom, kami melihat bahwa solusi yang ada berfokus pada pengendalian ekstrinsincs kamera (misalnya, posisi dan rotasi kamera),” Pablo Pueyo, salah satu peneliti yang melakukan penelitian tersebut, kepada TechXplore. “Namun, menurut literatur sinematografi, salah satu faktor paling menentukan yang menentukan rekaman bagus atau buruk adalah mengontrol parameter intrinsik lensa kamera, seperti jarak fokus, panjang fokus, dan apertur fokus.”

Parameter intrinsik kamera (misalnya, jarak fokus, panjang, dan bukaan) adalah parameter yang menentukan bagian mana dari gambar yang berada dalam fokus atau diburamkan, yang pada akhirnya dapat mengubah persepsi pemirsa tentang pemandangan tertentu. Mampu mengubah parameter ini memungkinkan sinematografer untuk membuat efek tertentu, misalnya, menghasilkan footage dengan berbagai kedalaman bidang atau secara efektif melakukan zoom ke bagian tertentu dari sebuah gambar. Tujuan keseluruhan dari pekerjaan baru-baru ini oleh Pueyo dan rekan-rekannya adalah untuk mencapai kontrol optimal dari pergerakan drone dengan cara yang secara otomatis akan menghasilkan jenis efek ini.

Dalam salah satu studi mereka sebelumnya, Pueyo dan rekan-rekannya mengembangkan pendekatan yang disebut CinemAirSim. Teknik ini memungkinkan mereka untuk mensimulasikan drone dengan kamera sinematografi terpasang yang dapat mereka kontrol. Dengan mengintegrasikan CinemAirSim dengan CineMPC, algoritme baru yang mereka kembangkan, para peneliti dapat mensimulasikan efek perubahan spesifik dalam parameter intrinsik lensa pada keseluruhan rekaman video yang dikumpulkan oleh drone.

“Menggunakan Model Predictive Control (MPC) yang terkenal, metode kontrol proses yang canggih, kami mengoptimalkan parameter ekstrinsik dan intrinsik kamera drone untuk memenuhi serangkaian pedoman artistik dan komposisi yang diberikan oleh pengguna,” jelas Pueyo. “MPC menemukan parameter optimal untuk mengkonfigurasi kamera, meminimalkan fungsi biaya yang terkait dengan kendala pengguna. Fungsi biaya ini adalah ekspresi matematis yang membantu kami mengontrol beberapa aspek artistik seperti kedalaman bidang, bidikan kanonik yang dijelaskan oleh sastra, atau posisi elemen adegan, seperti aktor dalam posisi tertentu dari gambar yang dihasilkan (misalnya, memenuhi ‘aturan sepertiga’). “

CineMPC dapat mendeteksi objek atau orang tertentu dalam sebuah adegan dan melacaknya di lintasan kamera tertentu yang ditentukan oleh pengguna. Khususnya, lintasan “perkiraan” ini juga mencakup informasi terkait yang terkait dengan parameter intrinsik yang paling diinginkan.

“Terbaru, dan sejauh pengetahuan kami, tidak ada solusi sebelumnya yang mengoptimalkan parameter lensa kamera untuk mencapai tujuan sinematografi,” kata Pueyo. “Ini sangat praktis dalam hal pembuatan film drone otonom. Non-ahli dan ahli sinematografi dapat menyatakan beberapa kendala sinematografi yang akan dipenuhi oleh solusi kami dengan menyesuaikan parameter ekstrinsik dan intrinsik kamera.”

Di masa depan, alat baru ini dapat meningkatkan sinematografi berbasis drone, memungkinkan pembuat film untuk menangkap rekaman berkualitas lebih tinggi dari tampilan udara. Berbeda dengan metode yang dikembangkan sebelumnya, pada kenyataannya, CineMPC memungkinkan peneliti untuk terus menyesuaikan parameter intrinsik kamera untuk mencapai tujuan artistik mereka.

“Kami sekarang berencana untuk meningkatkan CineMPC dengan ide-ide artistik dan robotik yang lebih canggih,” kata Pueyo. “Misalnya, kami ingin memperkenalkan lebih banyak drone pembuatan film (yaitu, merancang pendekatan multi-robot) dan mengoptimalkan kecerdasan artistik tambahan untuk memastikan bahwa drone dapat secara mandiri memutuskan pedoman artistik terbaik, daripada mengikuti batasan yang diperkenalkan oleh pengguna. ”


Sony Airpeak drone: Kendaraan udara tak berawak kecil yang merekam video film 4K dari atas


Informasi lebih lanjut:
CineMPC: Mengontrol intrinsik dan ekstrinsik kamera untuk sinematografi otonom. arXiv: 2104.03634 [cs.RO]. arxiv.org/abs/2104.03634

© 2021 Science X Network

Kutipan: CineMPC: Algoritme untuk mengaktifkan sinematografi berbasis drone otonom (2021, 5 Mei) diambil pada 5 Mei 2021 dari https://techxplore.com/news/2021-05-cinempc-algorithm-enable-autonomous-drone-based.html

Dokumen ini memiliki hak cipta. Selain dari transaksi yang adil untuk tujuan studi atau penelitian pribadi, tidak ada bagian yang boleh direproduksi tanpa izin tertulis. Konten tersebut disediakan untuk tujuan informasi saja.


Halaman Ini Di Persembahkan Oleh : Hongkong Prize