Tên gọi Cao Bằng đã hàm ý một vùng đất bằng phẳng nằm giữa miền núi cao xa xôi nơi biên ải Tổ quốc. Còn cái tên “Non nước Cao Bằng” thì được giới nghiên cứu cho rằng ra đời cùng với sự xuất hiện câu ca dao nổi tiếng “Nàng về nuôi cái cùng con / Để anh đi trảy nước non Cao Bằng”. Đó là vào khoảng cuối thế kỷ 16 cho đến tận cuối thế kỷ 17, khi nhà Mạc bỏ kinh thành Thăng Long chạy lên Cao Bằng lập nên vương triều riêng kéo dài tới hơn 80 năm ở đây. Nhà Mạc đã tiến hành chính sách đổi mới toàn diện về chính trị, kinh tế, văn hóa, tôn giáo, tư tưởng, như đã từng đổi mới ở miền xuôi. Không khí cải cách cởi mở, phóng khoáng đã khích lệ lớp trẻ lên Cao Bằng để xây dựng quê hương mới. Tâm tình này đã phổ thành lời ca dao thắm thiết yêu thương và gắn cho vùng đất này cái tên “Non nước Cao Bằng” để gợi nhớ một nơi xa ngái nhưng “sơn thủy hữu tình”. Ngày nay, dù đường sá đã rất thuận tiện để đến với Cao Bằng nhưng những cung đường hiểm trở vượt qua nhiều đèo dốc vẫn là thử thách đối với mỗi du khách. Từ Hà Nội, theo quốc lộ 3, sẽ phải đi quãng đường dài gần 300km để tới Cao Bằng sau khi vượt qua bao núi non trùng điệp cùng ít nhất 5 con đèo là đèo Giàng, đèo Gió, đèo Ngân Sơn, đèo Cao Bắc và đèo Tài Hồ Sìn. Một vùng đất bằng rộng lớn được bao quanh bởi những rặng núi cao được gọi tên Công viên địa chất Non nước Cao Bằng là nơi mà du khách thỏa sức khám phá các danh lam thắng cảnh và những nét văn hóa bản địa độc đáo.