Depuis ses origines, La Capelle se situe en bordure de la voie romaine reliant Reims à Bavay sur laquelle fut approximativement calqué le tracé de l'actuelle RN2. Au Nord de La Capelle, en limite du terroir de La Flamengrie, une borne milliaire romaine érigée sur l'accotement de la route rappelle cette voirie initiale.
Cette borne fut découverte et mise à jour en 1882 par un instituteur historien, M. Gobert, qui recherchait sur les terrains environnants le 16ème milliaire romain (millia passum) posé depuis Bavay.
Oubliée pendant de longues années en bordure de la route nationale où elle avait été de nouveau enterrée, elle fut retrouvée suite à des sondages entrepris en 1933 à l'initiative du Dr Mairesse, alors maire de La Capelle. Cette pierre de forme cylindrique semble provenir des carrières du Laonnois et mesure 1,65 m de hauteur sur 0,60 m de diamètre. Sa base cubique, en partie brisée, ne mesure plus que 0,26 m, ce qui donne à l'ensemble une longueur de 1,91m.
C'est à la suite de cette redécouverte que la borne fut installée sur le bas-côté de la route, en accord avec la société historique de Haute-Picardie et avec l'Administration des Ponts-et-Chaussées.
