Ngày xưa, vào thời Vĩnh Trị nhà Lê, năm 1675, vua Lê Hi Tôn phải chống nhau với Mạc Kính Vụ, cháu Mạc Đăng Dung, kẻ võ tướng xuất thân thuyền chài đã chiếm đoạt ngôi vua trong một thời. Bị quan quân nhà Lê đánh đuổi, con cháu Mạc Đăng Dung lui về miền thượng du, chiếm cứ bốn châu ở vùng Cao Bằng, truyền kế mấy đời trong 85 năm. Mạc Kính Vụ là kẻ nối dõi cuối cùng của nhà Mạc, xây thành đắp lũy ở hạt Vũ Thúy, tỉnh lỵ Cao Bằng ngày nay, để chống.