Flaviobriga era uno de los principales puertos en la ruta comercial marítima entre el norte de Hispania y la Galia, además de ser la única colonia romana (conocida) de toda la cornisa cantábrica. Fue creada en el siglo I d.C., posiblemente por el emperador Tito Flavio Vespasiano, aunque sus orígenes se remontan al asentamiento prerromano de Portus Amanum o Samanum. Existen varias discrepancias a la hora de determinar con firmeza si este asentamiento pertenecía a Várdulos o Autrigones. Aunque los restos romanos son conocidos desde hace tiempo, no se habían realizado excavaciones arqueológicas hasta no hace mucho. Las desarrolladas en la Casa de la Mata y en la calle Ardigales han sacado a la luz diversas estructuras de un núcleo de población establecido con algunas construcciones públicas (como termas) y privadas ya de época colonial, abarcando desde finales del siglo I d.C. hasta el II d.C. También se tiene constancia de algunas estructuras bajo-imperiales datables entre los siglos III d.C. e inicios del IV d.C., detectándose además el antiguo trazado ortogonal de la colonia. Desgraciadamente los restos de la antigua ciudad romana se encuentran soterrados en gran parte bajo el actual casco antiguo de la ciudad de Castro Urdiales, por lo que su conservación es desigual.

Flaviobriga, como colonia, vive su auge entre los siglos II y III d.C., quedando demostrado con la construcción de la muralla en el año 140 d.C. y con la reparación de la vía que la unía con el interior en el año 237 d.C. Al igual que gran parte de los pueblos del litoral cantábrico, Flaviobriga fue probablemente devastada por los hérulos o por los visigodos en el siglo V. No se sabe si tras esas guerras Flaviobriga desapareció como tal o simplemente cambio de mano. De hecho se cree que fue reparada o reedificada por los cántabros en el año 585 según fuentes no contrastadas.