L’obelisco venne eretto a testimonianza del passaggio di San Carlo Borromeo al monastero di Breme avvenuto nell’anno 1579.
Nel viaggio di ritorno per la visita alle chiese di Valmacca e Frassineto Po, appartenenti alla vasta Diocesi di Milano, Carlo Borromeo rimase colpito dall’imponenza dell’abbazia e decise di fermarsi per una breve sosta.
L’accoglienza dei monaci e della comunità fu talmente calorosa che Carlo Borromeo si fermò anche per la recita del Santo Rosario.
La colonna fu innalzata nel 1623 e da allora ogni giorno, al tramonto, un rintocco di campana viene dato a ricordo del Suo passaggio.
L’obelisco nel 1623 fu posizionato nella piazza principale del paese di fronte al Corpo di Guardia. Nel 1877 fu spostato al centro di Piazza Marconi ed in seguito, nel 1923, fu collocato ai piedi della Piazza d’armi, oggi Piazza della Chiesa.