Trong nghiên cứu này, nhóm tác giả đề xuất sử dụng thông tin về khung xương để định hướng Mask R-CNN phân mảnh cá thể người trong mỗi frame của video nhằm cải thiện kết quả phân mảnh Nhóm tác giả đề xuất các giải pháp sửa lỗi khung xương trong video như nội suy, tinh chỉnh khung xương nhằm tối ưu hóa việc dùng khung xương để điều hướng mạng nơ-ron phân mảnh. | Giải thưởng Sinh viên nghiên cứu khoa học Euréka lần 20 năm 2018 Kỷ yếu khoa học ĐỊNH HƯỚNG PHÂN MẢNH ĐỐI TƯỢNG NGƯỜI TRONG VIDEO DỰA TRÊN THÔNG TIN TƯ THẾ NGƯỜI Ninh Văn Tú Lê Tử Khiêm Trường Đại học Khoa học Tự nhiên Đại học Quốc gia TP. Hồ Chí Minh Tác giả liên lạc nvtu@ TÓM TẮT Trong nghiên cứu này nhóm tác giả đề xuất sử dụng thông tin về khung xương để định hướng Mask R-CNN phân mảnh cá thể người trong mỗi frame của video nhằm cải thiện kết quả phân mảnh Nhóm tác giả đề xuất các giải pháp sửa lỗi khung xương trong video như nội suy tinh chỉnh khung xương nhằm tối ưu hóa việc dùng khung xương để điều hướng mạng nơ-ron phân mảnh. Nhóm tác giả áp dụng trường ngẫu nhiên có điều kiện dày đặc với bộ lọc trung vị để tinh chỉnh đường biên của mask kết quả và lọc nhiễu nhằm nâng cao chất lượng của kết quả. Giải pháp của nhóm tác giả được đánh giá và so sánh với Mask R-CNN trên tập train-val của bộ dữ liệu DAVIS Challenge 2017 chỉ bao gồm đối tượng người. Các thí nghiệm cho thấy cấu hình tốt nhất của nhóm tác giả cải thiện kết quả định lượng tức trung bình của điểm J và F cao hơn 0 232 so với phương pháp Mask R-CNN gốc và đạt độ chính xác trung bình . Từ khóa Phân mảnh đối tượng người tinh chỉnh khung xương tinh chỉnh đường biên mask. POSE GUIDANCE FOR HUMAN INSTANCE SEGMENTATION IN VIDEOS Ninh Van Tu Le Tu Khiem University of Science VNU Ho Chi Minh City Corresponding Author nvtu@ ABSTRACT In this project the Authors propose to use pose information to guide Mask R-CNN segmenting human instance in each frame of a video with the aim to enhance segmented results. The Authors propose pose interpolation pose keypoints refinement to optimize the use of pose information in human instance segmentation. The Authors also apply Dense Conditional Random Field with median filter to refine mask boundary and eliminate noises to enhance final output. Our remedy is evaluated and compared with Mask R-CNN on train-val set of DAVIS Challenge 2017 dataset which .
