La vida de la ciudad de San Agustín no fue pacífica. En 1586 fue atacada por el corsario Francis Drake, al servicio de la corona inglesa. Sus edificios fueron arrasados y quemados, pero sin que ello quebrara la voluntad de España de mantener allí su presencia, como tampoco cejó ante el ataque del capitán pirata Robert Searle, que tuvo lugar ochenta y dos años después, o ante los sucesivos asaltos británicos de 1702 y 1740, siempre peligrosos y atroces, pero siempre sin éxito.