Tháp xây trên gò Rùa nơi xưa từ thời vua Lê Thánh Tông đã dựng Điếu Đài ở đó để nhà vua ra câu cá[1]. Sang thời Lê Trung Hưng (khoảng thế kỷ 17-thế kỷ 18) thì chúa Trịnh cho xây đình Tả Vọng trên gò nhưng sang thời nhà Nguyễn thì không còn dấu tích gì nữa. Sau khi Pháp hạ thành Hà Nội năm 1883 thì dân vùng ven hồ xiêu tán cả. Các quan Việt cũng bỏ sở nhiệm. Riêng có Nguyễn Ngọc Kim chức dịch làng Tự Tháp được cử làm trung gian giữa quân Pháp và người Việt, lại được chính quyền.
