Trong số các di tích lịch sử Cách mạng của tỉnh, đình Háng Pài (thôn Khòn Pheo, xã Thụy Hùng, huyện Cao Lộc) là một trong những di tích tiêu biểu gắn với sự kiện thành lập chi bộ Đảng đầu tiên của tỉnh và ngày truyền thống của Đảng bộ tỉnh Lạng Sơn. Di tích đình Háng Pài nằm ngay trong khuôn viên của trường, cách trung tâm xã khoảng 3 km. Đình là một di tích kiến trúc nghệ thuật rộng khoảng 100 m2, có khung bằng gỗ, mái lợp ngói âm dương, được lập vào đầu thế kỷ XX để thờ Thành hoàng làng. Do nhiều nguyên nhân, đến nay, ngôi đình xưa đã không còn nữa nhưng dấu tích của một công trình quy mô, bề thế vẫn còn đó. Tại khu vực sân đình có hai cây đa cổ thụ tán lá xum xuê toả bóng, trên nền đình cũ rải rác những chân tảng lớn bằng đá xanh chạm khắc công phu dùng để kê cột… Địa điểm di tích nằm ở khu vực biên giới Việt – Trung, nơi đồng chí Hoàng Văn Thụ và đồng chí Lương Văn Tri thường xuyên qua lại hoạt động cách mạng, nhất là khoảng thời gian sau khi Đảng Cộng sản Việt Nam ra đời (ngày 3/2/1930) và chi bộ Đảng chỉ đạo phong trào vùng núi biên giới Việt – Trung được thành lập.

Theo kết quả khảo sát, trên địa bàn xã Thụy Hùng có 2 cây đa khoảng gần 300 năm tuổi trong khuân viên Di tích Đình Háng Pài. Tại đây, vào năm 1933 đã diễn ra sự kiện thành lập Chi bộ Đảng Thuỵ Hùng, chi bộ Đảng đầu tiên của tỉnh Lạng Sơn vào năm 1933 và đây cũng là nơi hoạt động bí mật của Lãnh đạo Đảng, Nhà nước ta tại thời điểm đó.  2 cây đa cổ thụ khoảng 300 năm tuổi trong khuân viên Di tích Đình Háng Pài (xã Thụy Hùng) cao khoảng 25m, đường kính gốc khoảng gần 2m, tán lá rộng sum suê và đang phát triển tốt, thế cây mọc thẳng đứng, bộ rễ cắm thẳng giúp cây vững chắc hơn.