Theo các cụ cao niên trong làng Bản Ngần, xã Vĩnh Quang nơi ngôi đền tọa lạc kể lại, trước đây sau khi đồng chí Nùng Chí Cao mất, đền được đặt tại đỉnh núi cao Khau Dắm đỉnh cao nhất của dãy núi Kỳ Sầm. Cùng với ngôi đền Kỳ Sầm dân làng thấy đã có cây Đa xuất hiện từ trước. Cây Đa cổ thụ tại đền Kỳ Sầm có thể phỏng đoán 800-900 năm tuổi; cây Muỗm khoảng 400 năm; Liền kề cây Muỗm là cây Gạo được trồng muộn hơn cả, trước thời Pháp chiếm đóng Cao Bằng tuổi ước độ trên dưới 200 năm. Đây là điểm nổi bật nhất của cụm 3 cây cổ thụ Đền Kỳ Sầm, bởi lẽ nếu Đền Kỳ Sầm không có cụm cây này thì giá trị Văn hóa lịch sử bị giảm đi rất nhiều,...

Tại khuôn viên đền Kỳ Sầm có 3 cây cổ thụ, gồm: Cây Đa Tía có tên khoa học là Ficus altissma Blume (tiếng địa  phương "Co mạy lùng"), có khoảng 800 - 900 năm tuổi, chu vi 6,6 m, đường kính 2,82 m, cao 30 m. Cây Muỗm có tên khoa học là Mangifera foetida Lour (tiếng địa phương "Mạy mác cai"), trên 400 năm tuổi, có chu vi 4,5 m, đường kính 1,43 m, cao 35 m. Cây Gạo có tên khoa học là Bombax ceiba L ( tiếng địa phương "Mạy nghịu"), trên 200 năm tuổi, chu vi 3,25 m, đường kính 1,38 m, cao 35 m. Cả 3 cây đều phát triển xanh tốt, thế đững vững vàng, quấn quýt nương tựa vào nhau cùng phát triển, thân cây Gạo làm giá đỡ cho cây Đa.