Ngày xửa ngày xưa vùng đất này còn hoang vắng, bọn giặc cướp hoành hành rất dữ. Bà con các làng nghề đi chợ phiên Phù Lỗ để mua nguyên liệu và bán sản phẩm thủ công thường bị bọn cướp bắt trói và trấn lột dã man. Muốn đi đến chợ Phù Lỗ, các lái buôn vùng sông Cầu, vùng Đông Ngàn, Võ Giàng hay trấn Kinh Bắc thường phải đi chợ rất sớm để qua bến đò Kim Lũ. Bọn cướp thường đội lốt kẻ chở đò để cướp hàng hóa, tài sản của thương lái và người đi chợ. Vì thế bến đò Kim Lũ được gọi là Bến Lo.
Hễ đoàn thương lái và người đi chợ đủ đông, mạnh thì bọn cướp không dám ho he gì! Nhân dân bèn có sáng kiến chọn sân đình xã Phú Mẫn làm chỗ tập trung, ai đến sớm thì ngồi chờ, khi nào người đông, mạnh mới đi tiếp. Lâu dần, sân đình Phú Mẫn thành chợ, gọi là Chợ Chờ. Dân gian vẫn truyền tụng câu ca:
“Chợ sao lại gọi chợ Chờ,
Bến sao lại gọi Bến Lo, hỡi nàng?"
Bến Lo và Chợ Chờ vào cuối thời vua Lê chúa Trịnh loạn lạc, bọn cướp nổi lên như ong, nhân dân sống quanh vùng rất hoang mang lo sợ, nhất là bà con các làng nghề.
Thuở ấy, người ta thấy một sư ông và một chú tiểu thường bưng giỏ đi quyên giáo tại các xã bên này sông thuộc huyện Yên Phong, qua Bến Lo, sang bên kia sông thuộc huyện Kim Anh. Nhiều người cứ lo lắng cho nhà sư đi một mình vào lúc tranh tối tranh sáng. Có hôm lại thấy hai thầy trò nhà sư đi qua Chợ Chờ. Ai hỏi chuyện thì nhà sư nhẹ nhàng bảo: Nhà chùa đi quyên giáo còn có gì mà sợ cướp bóc. Cho đến một ngày vào mùa lễ hội đầu xuân, khi sư ông vừa ở Bến Lo lên thì bị bọn cướp vây bắt. Thằng nào cũng lăm lăm dao kiếm trong tay, sát khí đằng đằng, vừa quát hỏi vừa lục túi lục đãy sư ông. Thằng tướng cướp reo lên khi đến dốc túi vải nhà sư tước được mấy đồng bạc trắng! Không ngờ sư ông là một tay võ nghệ cao cường dùng đoản côn mang theo giắt trong lưng quần đánh cho chí tử. Tướng cướp bị đánh vỡ mồm, không còn một chiếc răng, quỳ xuống Bến Lo vái lia lịa. Bọn lâu la tan tác, hạt vía kinh hồn.
Sau đó, bà con quanh vùng mới biết sư ông là một hiệp sĩ của đảng Tiêu Sơn. Những tháng ngày nhà sư và chú tiểu đi quyên giáo chính là để dò la tung tích, nhận mặt bọn cướp. Chỉ một tháng sau, tướng cướp tại Bến Lo đi chầu Diêm Vương, hơn hai chục tay chân của hắn bị đảng Tiêu Sơn bắt sạch.
Từ đó, việc giao thông, buôn bán của bà con các làng nghề trở nên bình yên. Chợ Chờ trở nên đông vui, nhộn nhịp, nhất là những ngày chẵn chợ phiên. Bến Lo không còn là nỗi lo, nỗi sợ của người đi chợ nữa. Trai gái quanh vùng Phù Lỗ nay lại hát:
“Bến Lo nay gọi Bến Vui,
Chợ Chờ phiên chính nơi tôi gặp mình... ”