Bài viết Ứng dụng Bag-of-Visual-Words trong nhận dạng cử chỉ bàn tay qua đặc trưng hình dáng của ảnh độ sâu và vị trí các khớp đề xuất phương pháp rút trích đặc trưng hình dáng bàn tay từ ảnh độ sâu và vị trí các khớp bàn tay áp dụng phương pháp Bag-of-Visual Words. | LIÊN NGÀNH ĐIỆN - ĐIỆN TỬ - TỰ ĐỘNG HÓA Ứng dụng Bag-of-Visual-Words trong nhận dạng cử chỉ bàn tay qua đặc trưng hình dáng của ảnh độ sâu và vị trí các khớp Using Bag-of-Visual-Words in dynamic hand gesture recognition from shape features of depth image and hand skeletons Trần Nguyễn Quỳnh Trâm1 Phạm Thị Hường2 Email tramtnq@ 1 Trường Đại học Ngoại ngữ - Tin học TP. HCM 2 Trường Đại học Sao Đỏ Ngày nhận bài 21 5 2022 Ngày nhận bài sửa sau phản biện 28 10 2022 Ngày chấp nhận đăng 03 01 2023 Tóm tắt Nhận dạng cử chỉ tay trong thời gian thực là một thách thức do các dáng tay khác nhau trong cùng một cử chỉ tay hay tương đồng giữa các cử chỉ khác nhau hoặc việc che lấp và độ phức tạp của các khớp tay. Bài báo đề xuất phương pháp rút trích đặc trưng hình dáng bàn tay từ ảnh độ sâu và vị trí các khớp bàn tay áp dụng phương pháp Bag-of-Visual Words. Các đặc trưng này qua mô hình temporal pyramid sẽ khai thác được mối tương quan theo thời gian giữa các dáng tay. Kết quả thực nghiệm trên tập dữ liệu DHG cho kết quả tốt có thể áp dụng trong bài toán thực tế về điều khiển robot hay điều khiển thuyết trình trong giảng dạy. Từ khóa Nhận dạng cử chỉ tay động Bag-of-Visual Words temporal pyramid đặc trưng hình dáng tay hệ thống tương tác người-máy. Abstract Hand gesture recognition in real-time is challenged by the intra-class dissimilarities of hand postures in the same gesture and the inter-class similarities of hand postures in the different gestures or self-occlusion and the high complexity of hand skeletons. This paper proposes a method to extract hand shape features from depth images and hand skeletons using the Bag-of-Visual Words method. The dynamic hand gesture features are based on the temporal pyramid method to exploit the temporal information among hand posture features. Experimental results on the DHG dataset gave good results it applicable to real-world problems such as robot control or the presentation control system in teaching. Keywords Dynamic .
