Tóm tắt: BrushNet là mô hình cải tiến mới cho bài toán Image Inpainting. So sánh với các mô hình tốt nhất hiện tại như Stable Diffusion Inpainting hay PowerPaint thì chất lương bức ảnh tạo ra từ BrushNet được cải thiện từ 6-7 % (trong nghiên cứu của tác giả).
1.Giới thiệu
Vào ngày 11/03/1014, BrushNet một cải tiến mới từ nhà Tencent cho tác vụ Image Inpainting chính thức được công bố paper và mã nguồn mở đi kèm <3. So với các mô hình trước đây thì chất lượng của BrushNet được cho là tốt hơn từ 6 -7% (chủ yếu đến từ độ phân giải được cải thiện đáng kể) dựa theo đánh giá từ chính nghiên cứu của họ. Dưới đây là một số kết quả demo từ nhà sản xuất:
Kết quả cho thấy độ chân thực khá cao, ảnh đầu ra vẫn giữa được khuôn mặt của Mark gần giống với ảnh ban đâu (môi vẫn bị bóng hơn so với ảnh gốc). Oke vậy với thử nghiệm trong thực tế thì sao :v
2. Kiến trúc mô hình
(Đang cập nhập … )
3. So sánh với các mô hình khác
Theo nhận định cá nhân, mô hình BrushNet có tốt hơn các mô hình khác ở độ phân giải, vùng inpainting hài hòa với vùng outpainting và vùng chuyển tiếp mượt mà hơn. Điều đó cũng được thể hiện trong paper của tác giả.
Trong bảng đánh giá chi tiết giữa các mô hình, nổi bật nhất là điểm PSNR của BrushNet tăng tới 30% so với SDI và đạt 31.94 điểm, gần đạt tới ngưỡng mắt người không phân biệt được (PSNR = 40).
Với những kết quả trên cũng có thể thấy mô hình BrushNet hiện tại đang là một trong số các mô hình tốt nhất bên cạnh SDI.
4. Kết luận
Sự cải tiến của BrushNet vẫn đảm bảo cho nó tương thích với các mô hình Stable Diffusion khác (như DreamShaper, MajixMix,…) do vậy BrushNet tuy chưa có nhiều cải tiến nhưng với những gì nó mang lại thì đây là lựa chọn hàng đầu ở thời điểm hiện tại cho bài toán Image Inpainting.
