Vào năm 1058, vua Lý Thánh Thông sau khi ngự giá qua biển Ba Lộ đã lệnh xây tháp ở đây. Ngài đã nằm mộng thấy rồng vàng nên đã hạ lệnh đặt tên tháp là Tường Long (“thấy rồng vàng hiện lên”) để ghi nhớ điềm lành.
Trải qua hàng nghìn năm, tháp trở thành một di tích khảo cổ. Người ta tìm thấy phế tích tháp với nền móng hình vuông, lòng tháp rỗng. Trên các viên gạch còn những hàng chữ nổi bằng tiếng Hán rằng: Lý gia đệ tam đế Long Thuỵ Thái Bình tứ niên tạo.
Nơi đây sở hữu nét kiến trúc mang đậm chất dân tộc linh thiêng. Đặc biệt, có thể kể đến pho tượng Phật A Di Đà được phỏng dựng bằng đá ngọc thạch nguyên khối quý giá. Hàng năm, du khách thập phương thường đến đây cầu bình an và may mắn.
