Lê Chính Xác (1510-1583) là người mở đầu khoa bảng dòng họ Lê Sỹ. Năm 31 tuổi ông thi tam trường đậu phó bảng. Ông vốn là người thông minh, thông thiên văn, tường địa lý, được triều đình nhà Lê phong tặng “Kiệt tiết tuyên lực công thần”.Con cả cụ Lê Chính Xác là Lê Nghĩa Trạch, năm 30 tuổi thi hội đậu tiến sỹ đồng xuất thân nhậm chức Hàn lâm (1564). Ông là vị tiến sĩ đầu tiên của dòng họ, làm quan dưới thời vua Lê Gia Tông, do có nhiều công lao được phong tới Binh bộ Thượng thư.
Khoa thi Canh Thân 1640, cháu ruột cụ Lê Nghĩa Trạch là Lê Sỹ Triệt thi hội đậu đồng tiến sỹ, xuất thân nhậm chức Hàn lâm tiến triều. Nhiều năm ở chốn biên thùy, ông góp công lớn trong việc khôi phục, giữ gìn, mở mang bờ cõi cho đất nước, được tiến triều nhậm chức Đô Ngự sử, sau phong là Dực Bảo Trung Hưng thượng đẳng thần, là một trong những trụ cột triều đình. Năm 1868, ông mất tại quê nhà, thọ 75 tuổi. Khi mất, ông được triều đình ban điếu lễ và 100 quan tiền, được các quan về dụ tế. Ông là người văn võ song toàn, cuộc đời gắn bó với biên cương, một thời cùng cha là Lê Nhân Giáp làm quan trong triều.
Năm 17 tuổi, ông Lê Sỹ Cẩn, con trai ông Lê Sỹ Triệt thi hương đậu tứ trường ra làm quan, năm 1670 là Tham nghệ xứ Hải Dương. Năm 1672 đi dẹp giăc Thuần Quảng cùng cha chung một chiến hào đánh giặc. Năm Canh Thân 1680, khi Lê Sỹ Cẩn 38 tuổi mới về thi hội, đậu Tam giáp đồng tiến sỹ, xuất thân phụng lệnh đi dẹp giặc ở nhiều nơi, có công lớn được phong chức Tham tri Bộ binh và thủy binh.
Năm 1714, Lê Sỹ Cẩn cùng em là Lê Sỹ Tuyền lập gia phả khắc tên tổ tiên lên tấm bia đá 4 mặt đưa về tiền đường tại làng Phù Huệ, xã Hoàng Giang, huyện Nông Cống.
Với truyền thống nối tiếp nhau đỗ đạt tiến sỹ có nhiều công lao trong bảo vệ giang sơn và chấn hưng đất nước, để ghi nhớ công ơn của một dòng họ đại khoa, năm 1680 Vua Lê Thần Tông ban câu đối thêu trên gấm: “Tiến sỹ ba đời lừng đất Việt/Công hầu một họ ánh trời Nam”.
Hiện nay đền thờ 3 đời tiến sỹ nằm ở thôn Phù Huệ, xã Hoàng Giang, bên cạnh đó là văn bia 3 đời tiến sỹ họ Lê. Bia ghi chép công lao, danh thứ người đỗ đạt, về phả hệ nhà họ Lê làm quan nhiều đời ở xã Cổ Đôi, huyện Nông Cống, phủ Tĩnh Gia (nay là xã Hoàng Giang, huyện Nông Cống) và do ông Lê Sỹ Cẩn, con cả cụ Lê Sỹ Triệt chép lại khắc vào bia…
Năm 2018 di tích Đền thờ tiến sỹ họ Lê được trùng tu, tôn tạo với tổng kinh phí trên 1,4 tỷ đồng từ nguồn hỗ trợ của UBND tỉnh và các nguồn huy động hợp pháp khác. Đầu năm 2021, một số hạng mục cơ bản hoàn thành đưa vào sử dụng.
Ban văn hóa xã Hoàng Giang.