Theo Đại Việt sử ký, vào mùa thu năm Canh Tuất - 1070, Vua Lý Thánh Tông đã cho khởi công xây dựng Văn Miếu để thờ các bậc tiên thánh tiên hiền, các bậc nho gia có công với nước, trong đó có thờ Khổng Tử - người sáng lập ra nền nho giáo phương Đông và Tư nghiệp Quốc Tử Giám Chu Văn An, người thầy tiêu biểu đạo cao, đức trọng của nền giáo dục Việt Nam. Sáu năm sau - năm 1076, Vua Lý Nhân Tông quyết định khởi xây Quốc Tử Giám - một trường Nho học cao cấp nhất hồi bấy giờ nhằm đào tạo nhân tài cho đất nước. Đây là một sự kiện có ý nghĩa quan trọng đánh dấu sự chọn lựa đầu tiên của triều đình phong kiến Việt Nam về vấn đề giáo dục, đào tạo con người Việt Nam theo mô hình Nho học châu Á.
Hiện trong di tích còn có 82 tấm bia đá, trên đó được khắc tên của 1306 vị đã từng đỗ tiến sĩ trong 82 kỳ thi từ giữa năm 1484 và 1780. Cũng trên các tấm bia này đã ghi lại người đỗ tiến sĩ cao tuổi nhất trong lịch sử là ông Bàn Tử Quang. Ông đỗ tiến sĩ khi 82 tuổi. Người trẻ nhất là Nguyễn Hiền, quê Nam Trực (Nam Định), đậu trạng nguyên năm Đinh Mùi niên hiệu Thiên ứng Chính bình thứ 16 (tức năm 1247) dưới triều Trần Thái Tông khi đó mới 13 tuổi. Từ đó Văn Miếu cùng Quốc Tử Giám - được coi là trường đại học đầu tiên của Việt Nam đã tồn tại đến thế kỷ 19.
Tọa lạc trên khuôn viên hơn 54.000m2, khu di tích Văn Miếu - Quốc Tử Giám nằm giữa bốn dãy phố, cổng chính ở đường Quốc Tử Giám (phía Nam), phía Bắc giáp đường Nguyễn Thái Học, phía Đông giáp phố Tôn Đức Thắng, phía Tây là phố Văn Miếu. Bên ngoài có tường vây bốn phía, bên trong chia làm 5 khu vực. Khu vực 1 gồm có Văn hồ (hồ văn); Văn Miếu môn, tức cổng tam quan ngoài cùng, cổng có ba cửa, cửa giữa to cao và xây hai tầng, tầng trên có ba chữ Văn Miếu môn. Khu vực thứ hai, từ cổng chính đi thẳng vào cổng thứ hai là Đại Trung môn, bên trái là Thánh Dực môn, bên phải có Đạt Tài môn. Tiếp trong là Khuê Văn Các (được xây dựng vào nǎm 1805). Khu vực 3 là giếng Thiên Quang (Thiên Quang Tỉnh có nghĩa là giếng trời trong sáng). Tại khu vực này có 82 bia Tiến sĩ dựng thành hai hàng, mặt bia quay về giếng, là một di tích thật sự có giá trị. Qua cửa Đại Thành là vào khu vực thứ 4, cửa Đại Thành cũng mở đầu cho những kiến trúc chính như hai dãy Tả Vu và Hữu Vu, chính giữa là Toà Đại Bái đường, tạo thành một cụm kiến trúc hình chữ U cổ kính và truyền thống. Xưa, đây là nơi thờ những vị Tổ đạo Nho. Khu trong cùng là nơi giảng dạy của trường Quốc Tử Giám thời Lê, nhiều thế hệ nhân tài "nguyên khí của nước nhà" đã được rèn giũa tại đây. Khi nhà Nguyễn dời trường Quốc học vào Huế, nơi đây dùng làm đền thờ Khi Thánh (cha mẹ Khổng Tử), nhưng ngôi đền này đã bị hư hỏng hoàn toàn trong chiến tranh...
Điều đáng mừng là trong nǎm 2000, Chính phủ Việt Nam đã quyết định khởi công xây dựng Thái học đường với giá trị 22 tỷ đồng. Dự kiến sẽ hoàn thành vào năm 2003 nhằm làm cho khu di tích Vǎn Miếu - Quốc Tử Giám ngày càng hoàn chỉnh hơn, đúng với tầm cỡ và vị trí của di tích. Công trình này mang tính yêu cầu của thời đại, đó là công trình mới nhằm tôn vinh nền văn hoá của dân tộc. Những người đời sau đến đây có được những giây phút tưởng niệm những người đã có công sáng lập và xây dựng nền giáo dục Việt Nam.
Trải qua bao thăng trầm và những biến cố của lịch sử, Văn Miếu - Quốc Tử Giám không còn nguyên vẹn như xưa. Những công trình thời Lý, thời Lê hầu như không còn nữa. Song Văn Miếu - Quốc Tử Giám vẫn giữ nguyên được những nét tôn nghiêm cổ kính của một trường đại học có từ gần 1000 năm trước của Hà Nội, xứng đáng là khu di tích vǎn hoá hàng đầu và mãi là niềm tự hào của người dân Thủ đô khi nhắc đến truyền thống ngàn năm văn hiến của Thăng Long - Đông Đô - Hà Nội.