Sử cũ cho chúng ta biết năm 968, sau khi dẹp loạn mười hai sứ quân, thống nhất đất nước, Đinh Bộ Lĩnh lên ngôi Hoàng đế, đặt tên nước là Đại cồ Việt, đóng đô ở Hoa Lư. Đến năm 984, Lê Hoàn đã dựng nhiều cung điện và xây điện Bách - Bảo - Thiên - Tuế ở núi Đại Vân, cột điện dát vàng bạc, làm nơi coi chầu; bên đông là điện Phong Lưu, bên tây là điện Tử Hoa, bên tả là điện Bồng Lai, bên hữu là điện Cực Lạc; rồi làm lầu Đại Vân, dựng điện Trường Xuân làm nơi vua ngủ, bên cạnh điện Trường Xuân lại dựng điện Long Lộc lợp bằng ngói bạc (Đại Việt sử kí toàn thư).
Một nghìn năm đã trôi qua, những cung điện dát vàng dát bạc thời Tiền Lê không còn nữa; chỉ còn lại một tòa thành rộng 300 ha, nằm trọn vẹn trong xã Trường Yên, huyện Hoa Lư, tỉnh Ninh Bình. Thành Hoa Lư được chia làm hai khu vực: thành Nội và thành Ngoại. Khu thành Ngoại rộng 300 ha, bao gồm các thôn Yên Thượng, Yên Thành hiện nay. Khu thành Nội rộng tương đương với khu thành Ngoại là địa phận thôn Chi Phong, xã Trường Yên, tương truyền là nơi ở và làm kho.
Xây dựng kinh đô Hoa Lư, Đinh Tiên Hoàng đã khéo lợi dụng địa thế tự nhiên hiểm trở ở đây để xây thành đắp luỹ. Thành Hoa Lư nằm trên một khoảng đất khá bằng phẳng trong dãy núi đá vôi của huyện Hoa Lư. Dải núi đá vôi bao bọc xung quanh tạo thành bức tường thành thiên nhiên vô cùng kiên cố. Chỉ có mặt đông và đông bắc là không có núi che kín. Giữa các khoảng trống của hai quả núi, Đinh Tiên Hoàng đã cho đắp những dãy thành đất tạo thành một bình diện gần tròn. Hiện nay ở xã Trường Yên còn lại dấu vết và địa danh của mười tường thành như: tường Đông, tường Vàu, thành Dền, thành Bồ, thành Bin...