Hồ Gươm đã tồn tại từ trước nay rất lâu. Cách đây khoảng 6 thế kỷ, theo những địa danh hiện nay, hồ gồm hai phần chạy dài từ phố Hàng Đào, qua Hai Bà Trưng, Lý Thường Kiệt tới phố Hàng Chuối, thông với sông Hồng. Nước hồ quanh năm xanh biếc nên hồ Gươm cũng được gọi là hồ Lục Thuỷ.
Vào thế kỷ XV, hồ được đổi tên thành hồ Hoàn Kiếm. Sự kiện ấy gắn liền với truyền thuyết trả gươm thần cho Rùa Vàng của vị vua khai triều nhà Hậu Lê - người anh hùng của khởi nghĩa Lam Sơn chống lại giặc Minh (1417-1427), Lê Lợi. Truyền thuyết kể rằng khi Lê Lợi khởi nghĩa ở Lam Sơn, có người dân mò được một lưỡi gươm, sau đó chính ông nhặt được một cái chuôi ở trong rừng. Khi lưỡi gắn vào chuôi gươm thì thân gươm ánh lên hai chữ "Thuận Thiên" - "Thuận theo ý trời". Gươm báu này đã theo Lê Lợi trong suốt thời gian kháng chiến chống giặc Minh. Khi lên ngôi về đóng đô ở Thăng Long, trong một lần nhà vua đi chơi thuyền trên hồ Lục Thuỷ, bỗng một con rùa xuất hiện. Rùa vươn đầu cất tiếng nói: "Xin bệ hạ hãy hoàn lại gươm cho Long Quân”. Lê Thái Tổ hiểu ra sự việc bèn rút gươm khỏi vỏ, giơ gươm ra thì gươm bay về phía con rùa. Rùa ngậm gươm lặn xuống đáy hồ, và từ đó hồ Lục Thuỷ có tên gọi mới là hồ Hoàn Kiếm (trả gươm) hay hồ Gươm. Chính truyền thuyết đặc sắc này đã khẳng định tấm lòng yêu chuộng hoà bình, ghét chiến tranh của người dân Thăng Long - Hà Nội nói riêng và nhân dân Việt Nam nói chung. Câu chuyện này đã được nhấn mạnh trong ngày lễ Hà Nội đón nhận danh hiệu "Thành phố Vì hoà bình”
Sau đó, cũng vào thời Lê, hồ còn được dùng làm nơi tập luyện của thuỷ quân nên có lúc được gọi là hổ Thuỷ Quân.
Hồ Hoàn Kiếm là một thắng cảnh nổi tiếng của Hà Nội. Quanh hồ trồng nhiều loại hoa và cây cảnh. Đó là những hàng liễu rủ thướt tha, những nhành lộc vừng nghiêng nghiêng đổ hoa soi bóng dưới lòng hồ. Giữa hồ có tháp Rùa, cạnh hồ có đền Ngọc Sơn có "Đài Nghiên Tháp Bút chưa sờn"... Hình ảnh hồ Gươm lung linh giống như một tấm gương xinh đẹp giữa lòng thành phố đã đi vào lòng nhiều người dân Hà Nội. Người dân Hà Nội sống ở khu vực quanh hồ có thói quen ra đây tập thể dục vào sáng sớm, đặc biệt là vào mùa hè. Họ gọi các khu phố nằm quanh hồ là Bờ Hồ.
Không phải là hồ nước lớn nhất trong Thủ đô, song với nguồn gốc đặc biệt, hồ Hoàn Kiếm từ đã gắn liền với cuộc sống và tâm tư của nhiều người. Hồ nằm ở trung tâm một quận với những khu phố cổ chật hẹp, đã mở ra một khoảng không đủ rộng cho những sinh hoạt văn hóa bản địa. Hồ có nhiều cảnh đẹp. Và hơn thế, hồ gắn với huyền sử, là biểu tượng khát khao hòa bình (trả gươm cầm bút), đức văn tài võ trị của dân tộc (thanh kiếm thiêng nơi đáy hồ và tháp bút viết lên trời xanh). Do vậy, nhiều văn nghệ sĩ đã lấy hình ảnh Hồ Gươm làm nền tảng cho các tác phẩm của mình. Nhà thơ Trần Đăng Khoa từng viết:
Hà Nội có Hồ Gươm Nước xanh như pha mực Bên hồ ngọn Tháp Bút Viết thơ lên trời cao
Và như thế, Hồ Gươm sẽ mãi sống trong tiềm thức mỗi người dân Thủ đô nói riêng và người dân cả nước nói chung như một biểu tượng thiêng liêng về lịch sử và truyền thống văn hóa dân tộc