Được xây dựng trước khi có kinh thành Thăng Long, đền Bạch Mã có từ năm 866. Tương truyền khi đó Cao Biền, một viên tướng Tàu sang nước Nam đắp thành Đại La. Cao Biền nổi tiếng là người có nhiều phép thuật nhưng không đắp nổi thành. Thành đang đắp dở đã bị sụt lở. Một đêm, Cao Biền đứng trên vọng lâu nhìn ra thấy một vị thần cưỡi ngựa trắng chạy đi chạy lại như bay rồi bảo Cao Biền cứ theo vết chân ngựa chạy mà đắp thành. Quả nhiên sau đó thành xây đến đâu.