Các triều đại phong kiến nước ta luôn cho quân lính đồn trú tại Cao Bằng (gọi là trấn thủ lưu đồn) vì đây là vùng đất biên giới hiểm yếu. Việc đi lính thú tại Cao Bằng được nhắc đến nhiều lần trong ca dao dân ca.
Áo rách thì để thịt ra
Chị gần không khỏi em xa không chào
Mẹ ru con ngủ cho ngoan,
Mẹ còn xúc nốt xe than cho đầy,
Mẹ ru con ngủ cho say,
Làm xong chuyến nữa nghỉ tay mẹ về
Ở nuôi cha mẹ trọn niềm,
Bao giờ trăng khuyết lưỡi liềm sẽ hay.
Vui đâu cho bằng vui nhà,
Có con có vợ mới là thật vui.
Dạy con nhủ vợ mọi lời,
Gốc kia vững chắc thì chồi mới xanh.
Một tay gây dựng cơ đồ,
Bấy lâu bể Sở, sông Ngô tung hoành
(Truyện Kiều)
Một đèo, một đèo, lại một đèo,
Khen ai khéo tạc cảnh cheo leo.
Cửa son đỏ loét tùm hum nóc,
Hòn đá xanh rì lún phún rêu.
(Đèo Ba Dội - Hồ Xuân Hương)
Kiều từ trở gót trướng hoa,
Mặt trời gác núi chiêng đà thu không.
(Truyện Kiều)
Bình luận