历史上，广德古县城城门三次大建，三次更名；古城墙两次大建；

历用任官员先后九次对城墙和城门进行修缮。

宋淳熙六年（1179），宋太祖赵匡胤大儿子燕王赵德昭的后人，宋高宗赵构绍兴庚辰（1148）年进士、赵希仁任广德军知府（相当今省辖市市长）时，始建城门六座，东曰“迎春”，西曰“崇德”，南曰“明威”，北曰“阅武”，“设子城（衙署）于内”。

元至正十五年（1355），朱元璋率邓愈、邵荣、赵继祖等攻克广德路，令邵荣、赵继祖驻守广德府。

次年，朱元璋下令改广德路为广兴府（不久改称广德府），改广德县为广阳县。广兴府领广阳、建平2县，属江南行中书省。

令邵荣、赵继祖修建城墙，广德古县城始有城墙。凤阳人、明军元帅邵荣和赵继祖建城门6座，东南西北4门各1座，名称依旧，东南增设城门1座，名石溪，东北增设城门1座，名常州；城墙周长8里，高1丈5尺、宽8尺；护城河宽1丈6尺，深8尺。

元至正二十一年（1361），赵继祖调离广德府，广德城无军队驻守，因无人维修，城墙很快倒塌。

成化五年（1469），浙江平湖人、知州陆凤对城墙进行了局部整修。

弘治二年（1488），直隶隆庆人、进士、知州辛礼建城楼四所。

正德七年（1512），江西大庾人、进士、知州刘节又开始对城墙进行局部维修，维修后的城墙高7尺、厚三尺，并在墙上加盖瓦砾。

嘉靖三十二年（1553），福建晋江人，进士、知州庄士元用开始砖砌城墙，并增设女儿墙，用于防卫。

明嘉靖三十二年（1558），广德州兵备道（官名。明制于各省重要地方设整饬兵备的道员）朱舜民用石砌城门4座，城门上设有敌楼，沿城墙四周设窝。

万曆二年（1574），河南固始人、进士、知州吴同春，在城墙上增设子墙。

万曆二十三年（1595），河南固始人、知州段猷显重修城楼，将东门“迎春门”更名为“瞻紫门”，西门“崇德门”更名为“望美门”，南门“明威门”更名为“兆符门”，北门“阅武门”更名为“拱极门”，每门排43名兵快（即担任缉捕等事的衙役）把守，夜晚则派兵轮流巡夜。

康熙二年（1663）湖广（(今湖北省)）应山人、荫生（凭藉上代余荫取得的监生资格）、州守杨苞重新新修建城池，维修十分之三，重建十分之七，除清政府补助外，还自掏腰包用于建造城池，历时一年多工程才竣工，建成的城墙周围9里13步（每步5尺），长1218丈，原来的4座小敌楼重新改建宽敞高大的城门楼，飞阁高耸，城墙雉堞齿立，墙里马道一丈有余，，将城门更名为东门曰“熙春”，南门曰“丽正”，西门曰“安贞”，北门曰“拱辰”。

乾隆三十九年（1744），城墙倒塌二十多丈，满州正红旗人、知州恆豫捐献360两养廉银修复。五十六年（1791）五月，城墙四周顶端后面的平台全都倒塌，顺天大兴人，知州胡文铨捐养廉银修复。

此后，由于道光二十九年（1849）连续三个月的大雨和鹹丰三年（1853）近一个月的地震等自然灾害和人为坏等多种原因，护城河淤塞很久

鹹丰五年（1855），浙江按察使蒋文庆责令直隶人，广德知州张焜（kūn）疏通护城河，历时数月终于疏通，疏通后的护城河宽1丈4尺，深1丈2尺。及至民国初，时有维修。

民国26年(1937)底，广德县城遭日军飞机狂轰滥炸，仅存残垣断壁。日军占领广德后，驻城日军凭城池据守。民国28年1月，国民党广德县政府调集5个区民夫将城楼、城墙全部拆除。

民国32年10月，日本侵略军四陷广德，扶植建立伪政权，意欲长期占领，为加强城防，日伪强派民夫于城墙墙基编筑竹篱，以代城墙。

民国34年12月，国民党广德县政府征派民夫沿城墙基建筑碉堡，夯筑土城墙基，每间隔1丈留一射击孔，险要处筑机枪掩体，以防游击队攻城。

建国初，土城墙毁，广德县人民政府于原城墙基修建成环城公路。

城区街道，清末至民国时期，主要街道有东、西、南、北、南二等5条大街，宽3～5米，路面中间为条石，两边是鹅卵石。

巷道主要有民主路、市场巷、草街、石灰巷、积穀仓等宽窄不等，路面多为土路。

城外东有东关街，西有西关街（又名廊步街），北有北关街，为条石铺就。

另，宋神宗熙宁元年（1068）冬，在衙署前建鼓角楼，唐宋八大家之一的曾巩（1019-1083）为文作记。