Đẹp của gốm Việt Nam không chỉ trong đồ dùng, mà cả trong kiến trúc. Năm 1937, trong cuộc khai quật di chỉ chùa Vạn Phúc (Phật Tích), tìm thấy các loại gạch và đá chạm trổ hình rồng, phượng, hoa văn của thế kỷ 11. Có viên gạch còn ghi rõ niên hiệu dựng tháp "Năm Long Thụy Thái Bình thứ 4, triều vua thứ 3 nhà Lý" (1057). Văn bia của ngôi chùa cũng ghi rõ "Vị hoàng đế thứ 3 của nhà Lý (Lý Thánh Tôn) năm Long Thụy Thái Bình thứ 4 cho dựng ở đây một.