Mensintesis Data Matting Manusia Pelbagai Contoh dengan MaskRCNN dan BG20K

Jadual Pautan

Abstrak dan 1. Pengenalan

1. Karya Berkaitan

2. MaGGIe

   3.1. Matting Instans Berpandu Topeng yang Cekap

   3.2. Konsistensi Temporal Ciri-Matte

3. Dataset Matting Instans

   4.1. Matting Instans Imej dan 4.2. Matting Instans Video

4. Eksperimen

   5.1. Pra-latihan pada data imej

   5.2. Latihan pada data video

5. Perbincangan dan Rujukan

\ Bahan Tambahan

1. Butiran seni bina

2. Matting imej

   8.1. Penjanaan dan penyediaan dataset

   8.2. Butiran latihan

   8.3. Butiran kuantitatif

   8.4. Lebih banyak keputusan kualitatif pada imej semula jadi

3. Matting video

   9.1. Penjanaan dataset

   9.2. Butiran latihan

   9.3. Butiran kuantitatif

   9.4. Lebih banyak keputusan kualitatif

8. Matting imej

Bahagian ini mengembangkan proses matting imej, menyediakan pandangan tambahan mengenai penjanaan dataset dan perbandingan menyeluruh dengan kaedah sedia ada. Kami mendalami penciptaan dataset I-HIM50K dan M-HIM2K, menawarkan analisis kuantitatif terperinci, dan membentangkan keputusan kualitatif lanjut untuk menekankan keberkesanan pendekatan kami.

8.1. Penjanaan dan penyediaan dataset

Dataset I-HIM50K telah disintesis daripada dataset HHM50K [50], yang terkenal dengan koleksi luas matte imej manusia. Kami menggunakan model MaskRCNN [14] Resnet-50 FPN 3x, yang dilatih pada dataset COCO, untuk menapis imej satu orang, menghasilkan subset sebanyak 35,053 imej. Mengikuti metodologi InstMatt [49], imej-imej ini digabungkan dengan latar belakang pelbagai daripada dataset BG20K [29], mewujudkan senario berbilang instans dengan 2-5 subjek setiap imej. Subjek-subjek tersebut disaiz semula dan diletakkan untuk mengekalkan skala realistik dan mengelakkan pertindihan berlebihan, seperti yang ditunjukkan oleh IoU instans tidak melebihi 30%. Proses ini menghasilkan 49,737 imej, dengan purata 2.28 instans setiap imej. Semasa latihan, topeng panduan dijana dengan membinarkan matte alfa dan menggunakan operasi dropout rawak, dilasi, dan hakisan. Sampel imej daripada I-HIM50K dipaparkan dalam Rajah 10.

\ Dataset M-HIM2K direka untuk menguji ketahanan model terhadap kualiti topeng yang berbeza-beza. Ia terdiri daripada sepuluh topeng setiap instans, dijana menggunakan pelbagai model MaskRCNN. Maklumat lanjut mengenai model yang digunakan untuk proses penjanaan ini ditunjukkan dalam Jadual 8. Topeng-topeng tersebut dipadankan dengan instans berdasarkan IoU tertinggi dengan matte alfa kebenaran asas, memastikan ambang IoU minimum sebanyak 70%. Topeng yang tidak memenuhi ambang ini dijana secara buatan daripada kebenaran asas. Proses ini menghasilkan set menyeluruh sebanyak 134,240 topeng, dengan 117,660 untuk komposit dan 16,600 untuk imej semula jadi, menyediakan penanda aras teguh untuk menilai matting instans berpandu topeng. Dataset penuh I-HIM50K dan M-HIM2K akan dikeluarkan selepas penerimaan karya ini.

\

\

\

:::info Pengarang:

(1) Chuong Huynh, University of Maryland, College Park (chuonghm@cs.umd.edu);

(2) Seoung Wug Oh, Adobe Research (seoh,jolee@adobe.com);

(3) Abhinav Shrivastava, University of Maryland, College Park (abhinav@cs.umd.edu);

(4) Joon-Young Lee, Adobe Research (jolee@adobe.com).

:::

:::info Kertas kerja ini tersedia di arxiv di bawah lesen CC by 4.0 Deed (Attribution 4.0 International).

:::

\