Trong nghiên cứu này, bắt nguồn từ giải thuật học thặng dư được dùng để dự đoán các thông tin bị mất trong vùng bị phá hủy, thuận lợi cho tích hợp các đặc trưng và dự đoán kết cấu, chúng tôi đề xuất mạng nhân chập từng phần thặng dư cải tiến dựa trên kiến trúc mã hóa và giải mã U-net để lấp đầy vùng bị phá hủy bảo toàn kết cấu không chỉ với các hình dạng phổ dụng mà còn cho các hình dạng bất kỳ. | Hoàn thiện các vùng phá hủy hình dạng bất kỳ trong ảnh sử dụng kiến trúc mạng thặng dư và nhân chập từng phần ISSN: 1859-2171 TNU Journal of Science and Technology 208(15): 19 - 26 e-ISSN: 2615-9562 HOÀN THIỆN CÁC VÙNG PHÁ HỦY HÌNH DẠNG BẤT KỲ TRONG ẢNH SỬ DỤNG KIẾN TRÚC MẠNG THẶNG DƯ VÀ NHÂN CHẬP TỪNG PHẦN Lê Đình Nghiệp1, Phạm Việt Bình2, Đỗ Năng Toàn3, Hoàng Văn Thi4 1 Trường Đại học Hồng Đức, 2 Trường Đại học Công nghệ thông tin & Truyền thông – ĐH Thái Nguyên, 3 Viện Công nghệ thông tin – ĐH Quốc gia Hà Nội, 4Sở giáo dục và Đào tạo Thanh Hóa TÓM TẮT Ngày nay, các giải thuật dựa trên học sâu cho bài toán hoàn thiện ảnh (image inpainting) đã thu được kết quả tốt khi xử lý các vùng mất mát thông tin có hình dạng vuông hoặc các hình phổ dụng. Tuy nhiên, vẫn thất bại trong việc tạo ra các kết cấu hợp lý bên trong vùng bị phá hủy do thiếu các thông tin xung quanh. Trong nghiên cứu này, bắt nguồn từ giải thuật học thặng dư được dùng để dự đoán các thông tin bị mất trong vùng bị phá hủy, thuận lợi cho tích hợp các đặc trưng và dự đoán kết cấu, chúng tôi đề xuất mạng nhân chập từng phần thặng dư cải tiến dựa trên kiến trúc mã hóa và giải mã U-net để lấp đầy vùng bị phá hủy bảo toàn kết cấu không chỉ với các hình dạng phổ dụng mà còn cho các hình dạng bất kỳ. Các thí nghiệm dựa trên định tính và định lượng đều cho thấy mô hình đề xuất có thể giải quyết các vùng bị phá hủy có hình dạng bất kỳ và đạt hiệu suất thực thi tốt hơn các phương pháp inpainting trước đó. Từ khóa: inpainting ảnh; mặt nạ không phổ dụng; mặt nạ bất kỳ; mạng thặng dư; thị giác máy tính; nhân chập từng phần; Ngày nhận bài: 11/9/2019; Ngày hoàn thiện: 18/9/2019; Ngày đăng: 03/10/2019 IMAGE INPAINTING FOR ARBITRARY HOLES USING CUSTUMIZED RESIDUAL BLOCK ARCHITECTURE WITH PARTIAL CONVOLUTIONS Le Dinh Nghiep1, Pham Viet Binh2, Do Nang Toan3, Hoang Van Thi4 1 Hong Duc University, 2 University of Information and Communication .
