√ Image Inpainting, Metode Merekonstruksi Gambar
Teknologi.id – Para peneliti dari NVIDIA, yang dipimpin oleh Guilin Liu, memperkenalkan metode deep learning mutakhir berjulukan image inpainting yang bisa merekonstruksi gambar yang rusak, berlubang, atau ada piksel yang hilang. Metode ini juga sanggup dipakai untuk mengedit gambar, dengan cara menghapus bab konten yang ingin diedit.
Metode canggih ini sanggup diimplementasikan dalam perangkat lunak pengedit foto. Terlebih untuk menghapus konten yang tidak diinginkan. Sembari mengisinya dengan alternatif yang dihasilkan AI.
Baca juga: GauGAN, AI yang Mampu Ubah Sketsa menjadi Foto Realistis
“Model kami sanggup menangani lubang dalam aneka macam bentuk, lokasi, ukuran, atau jarak dari batas gambar. Deep learning sebelumnya difokuskan pada wilayah persegi panjang yang terletak di sekitar sentra gambar. Dan sering bergantung pada pasca-pemrosesan yang mahal,” tambah para peneliti. Namun sekarang metode ini (image inpainting) sanggup dengan gampang menangani celah ukuran yang lebih besar.
Untuk mempersiapkan neural network mereka, tim pertama-tama menghasilkan 55.116 mask garis acak dan lubang bentuk dan ukuran acak untuk pelatihannya. Mereka juga menghasilkan hampir 25.000 sample sukses dalam tes ini. Setelah pemindaian, selanjutnya piksel tersebut dikategorikan ke dalam enam kategori menurut ukuran relatif terhadap gambar input, untuk meningkatkan akurasi rekonstruksi.
Dengan memakai NVIDIA Tesla V100 GPUs dan framework dalam PyTorch yang dipercepat cuDNN. Tim melatih neural network mereka dengan menerapkan mask ke gambar dari dataset ImageNet, Places2 dan CelebA-HQ.
Para peneliti mengungkapkan bahwa metode Image Inpainting ini memang terkadang membiarkan beberapa bab tidak tepat dan hanya berupa gambar blur. Hasil output ini sangat ketergantungan terhadap data yang diinput. Karena kalau lubang sangat luas, AI tidak sanggup mempelajari piksel dulunya membentuk apa.
Untuk memperbaiki duduk kasus ini, tim NVIDIA membuatkan metode yang menjamin output untuk piksel yang hilang tidak bergantung pada nilai input yang disediakan untuk piksel tersebut. Metode ini memakai lapisan “partial convolution” yang menormalkan kembali setiap output tergantung pada validitas bidang reseptif yang sesuai.
Renormalisasi ini memastikan bahwa nilai output tidak akan bergantung pada nilai-nilai piksel yang hilang di setiap bidang reseptif. Model ini dibangun dari arsitektur UNet yang diimplementasikan dengan konvolusi parsial ini. Serangkaian fungsi kehilangan, pencocokan kehilangan fitur dengan model VGG, serta kehilangan style, dipakai untuk melatih model untuk menghasilkan output yang realistis.
Sumber: Nvidia
Sumber https://teknologi.id