1565年瀬戸内海を制する目的で、小早川隆景が東西900ｍ南北700ｍに本丸・二の丸・三の丸・二層三層のの櫓32・城門14が有ったといわれたが、明治の頃山陽鉄道が本丸を貫いて開通し、城郭のほとんどが壊された。築城以来一度の兵火もなく栄えてきたが、文明の開化により天守台等数か所を残すのみに。