Đình, đền Sượt thờ Đại Vương Vũ Hựu (1472 - 1520) - một công thần thời Lê có nhiều công lao trong việc gìn giữ và bảo vệ đất nước. Ông có công đánh giặc Ai Lao và giặc Chiêm. Đền Sượt xây dựng ngay tại nơi Đại vương ra đời. Khi vinh quy về làng, ông cho sửa lại thành nhà quan cư để mỗi khi đi về có chỗ nghỉ ngơi. Sau khi ông mất, dân làng lập đền thờ ngay trên nền nhà cũ. Di tích được trùng tu tôn tạo nhiều lần, ngôi đền hiện nay là kết quả của đợt trùng tu thời Nguyễn năm Tự Đức thứ 34 (1881) và năm Khải Định thứ 9 (1924).
Đền quay mặt về hướng Tây, có kiến trúc kiểu chữ Công (I) gồm tòa bái đường, ống muống và Hậu cung. Kiến trúc tòa cổ các theo kiểu chồng diêm hai tầng, lợp ngói mũi là nét đặc sắc kiến trúc của ngôi đền. Tòa bái đường dài 14 m6, rộng 8m, hai đầu hồi xây bít kín. Rồng kìm đầu hồi oai vệ, ngậm chặt bờ nóc. Đôi rồng lớn uốn khúc vươn mình dưới nắng vàng rực rỡ chầu vào toà cổ các lộng lẫy uy nghi với bốn chữ lớn "Dực bảo trung hưng". 5 gian bái đường kiến trúc theo kiểu chồng giường đấu sen, thượng tam, hạ tứ. Điểm đặc biệt nhất là 20 cột gỗ lim óng chuốt đứng vững trên các tảng đá xanh chạm hoa sen cách điệu. Trên tất cả các vì đều có chạm khắc, nét chạm sâu, tỉa kỹ, phản ánh cuộc sống dân dã gần gũi với đời thường.
Ba gian Hậu cung có kiến trúc kiểu con chồng đấu sen, đầu hồi xây kiểu quai chảo, đắp hổ phù, trên nóc trụ có đắp nghê chầu. Cửa cấm bốn cánh chạm thủng các tích tứ quý nhưng không còn nguyên vẹn. Trong cung cấm là chiếc khám lớn chạm lưỡng long chầu nguyệt, trong để cỗ ngai đặt bài vị đại vương đề: "Minh quốc linh ứng, hiển hựu đại vương".
Giải vũ xây song song với gian ống muống, tạo thành không gian kín. Cột giải vũ bằng đá, bố cục gồm, tạo cảm giác giống cánh của con đại bàng khép lại ôm lấy ngôi đền.
Tại bậc tam cấp, hai đầu hồi hiện có đôi nghê đá túc trực, canh giữ cho ngôi đền. Đây là tác phẩm nghệ thuật điêu khắc đá được cung tiến vào ngày 1-5 niên hiệu Bảo Thái năm thứ hai (1721) đời vua Lê Dụ Tông, 200 năm sau ngày Đại vương Vũ Hựu mất.
Góc sân của đền còn có một giếng tròn, đường kính 1,5m, thành giếng xây hình bát giác. Tương truyền Vũ Hựu được sinh ra bên cạnh giếng này.
Bên cạnh những hạng mục công trình kiến trúc cổ, hiện ở di tích còn lưu giữ một số di vật cổ như: ngai thờ và bài vị, đôi câu đối khảm trai, đôi câu đối chữ triện, bộ đòn bát cống cùng bộ bát biểu, thanh đao, cuốn ngọc phả... Không gian kiến trúc nội thất đền Sượt cũng là những nét kiến trúc tiêu biểu của văn hóa thời Nguyễn.
Cụm di tích đền - Đình Sượt được Bộ Văn hóa - Thông tin (nay là Bộ Văn hóa, Thể thao và Du lịch) xếp hạng di tích quốc gia năm 1993 tại Quyết định số 68/QĐ-BT ngày 29/01/1993). Năm 2020, lễ hội đền - đình Sượt được đưa vào danh mục di sản văn hóa phi vật thể quốc gia. Di tích đã được công nhận là điểm du lịch cấp thành phố.
Lễ hội đền, đình Sượt được tổ chức hàng năm từ ngày 10 đến ngày 12 tháng 3 âm lịch, trong đó ngày 10 tháng 3 là trọng hội, kỷ niệm ngày sinh của đức Thành hoàng Vũ Hựu. Lễ hội đền - đình Sượt là lễ hội đặc sắc và quy mô. Điểm đặc biệt của lễ hội đền Sượt là có lễ Mộc dục (tắm tượng) vào đúng giờ Thìn, để ôn lại giờ phút Đại vương sinh bên cạnh giếng đền. Phần hội tổ chức nhiều trò chơi dân gian như: chọi gà, cờ tướng, trò chơi đánh bệt (đánh hổ) là náo nhiệt nhất. Lễ hội thu hút đông đảo Nhân dân và du khách khắp nơi về tham dự.