現在、廃墟になったスウォンジー城は近代的なビルの間にひっそりと立っていますが、この城が建てられた当時、ここにはTawe川が流れており戦略的に重要な地点だったのだそうです。最初の城は、ヘンリー1世の友人であり、初代ウォリック伯爵でもあるHenry
de Beaumontによって、地方行政の中心地として1106年ごろ建てられました。その後、イングランド人とウェールズ人の手に次々と渡った後、14世紀にBraoses家の所有となりました。Braoses家がスウォンジー城より、オイスターマウス城のほうに好んで滞在したため、城は荒廃していきました。18世紀には刑務所として使用され、その他の部分は19世紀にいろいろな用途に使用されましたが（ひどい時にはハト小屋に使用されていたそう!）、現在は廃墟となっています
