Sự tích ra đời của ngôi chùa được lưu truyền trong dân gian: đầu thế kỷ XIX một nhà sư từ miền Trung vào, không biết vì lý do gì đã ẩn vào một hang đá trong rừng. Dân làng đi rừng phát hiện được tiếng tụng kinh ở hang đá vọng ra. Biết mình bị lộ, nhà sư bỏ hang đá ra đi để lại một tấm bản đồ chỉ dẫn vị trí xây cất ngôi chùa sau này. | Thời chống Pháp, thực hiện tiêu thổ kháng chiến, dân làng đã dời tượng Phật vào giấu ở trong hang đá và phá dỡ chùa; mãi đến năm 1986 - 1987, mới có điều kiện xây dựng lại ngôi chùa trên nền xưa. Trước đó vài năm, nhà sư già Phạm Hành đào đất trồng chuối cạnh tảng đá "Voi phục" trước chùa, lỡi cuốc đụng phải một chiếc ấn đúc bằng đồng màu đen, nặng 650gram, ấn có hình chữ nhật, chiều dài 9,8cm, rộng 6,5cm bên trên có núm tròn để cầm. Phía lưng ấn có 15 chữ Hán khắc chìm chia thành 2 dòng hai bên núm ấn. Dòng bên phải khắc 10 chữ với nội dung: "Trung nghĩa vệ, Trung thắng tứ hiệu quán quân sứ". Dòng bên trái khắc 5 chữ: "Tân Hợi niên đông tạo". Dưới mặt ấn có 10 chữ khắc theo lối chữ triện; hai dòng hai bên, mỗi bên 3 chữ và dòng ở giữa 4 chữ. 10 chữ trên mặt ấn trùng với 10 chữ trên lưng ấn. Về niên đại với 5 chữ: "Tân Hợi niên đông tạo" có thể biết chiếc ấn làm vào năm Quang Trung thứ tư (1791) (Ở Bảo tàng lịch sử Hà Nội hiện lưu giữ 2 quả ấn tương tự như chiến ấn Quang Trung tìm thấy ở Linh Sơn Tự. Chiếc thứ nhất đúc năm Quang Trung thứ tư với 9 chữ Hán "Suất cùng cư quan hệ ngũ hiệu đô ty”.).
