碭山，以其山出產“文石（碭字意：有花紋的石頭；文石也指代硯石）”而得名。春秋戰國時為宋國碭邑，后宋為齊、魏、楚瓜分，碭地屬魏。
民國初碭山縣城廂圖
(資料圖)
秦統一天下后設碭郡（治睢陽縣），碭縣（今河南永城市境內以北）。郡、縣均以碭山得名。而今日之碭山縣城在當時為下邑縣，今日之夏邑縣城當時為栗縣。故而清代縣志中說“沿革多以代異，而封域亦盡變矣。”
秦代 碭郡 碭縣 下邑
漢高帝五年，封彭越為梁王，改碭郡為梁國，建都定陶，文帝時遷都睢陽。此后歷經兩漢（略過呂后和王莽），梁王換了一茬又一茬，梁國轄縣也時常增減，但碭縣始終隸屬其下。東漢建初四年，梁國遷都下邑縣。
抗戰時期日軍占據下的碭山縣城，城墻頗具規模
抗戰時期日軍占據下的碭山縣城，遠處可見敵臺
三國時，曹魏黃初中廢梁國為梁郡，屬徐州。晉武帝太始元年，大肆分封宗室諸侯王，復置梁國。太康元年碭縣被廢，其地并入下邑縣。永嘉之亂后，中原地區因戰亂導致行政建置徹底混亂，興廢時常有之。南朝宋時，廢梁國恢復梁郡，復置碭縣；南朝齊碭縣再度被廢。
徐州會戰后的碭山縣城南門
北魏孝昌元年，下邑縣遷治到原栗縣故城，為臨渙郡治。次年，碭郡、碭縣均被恢復。碭縣治于魯城，碭郡治于原下邑故城，梁郡則遷治回了睢陽縣。到北齊時，碭郡、碭縣又被廢除，并新設安陽縣（治麻城）。
碭山縣城東門外甕城
隋開皇十八年，改安陽縣為碭山縣。大業六年，新設永城縣（治馬浦城），碭山、永城二縣以芒碭山為界，碭山縣治北遷至下邑故城。
唐代 碭山 下邑 永城
金興定年間，因水患碭山縣城被淹沒，于是遷治虞山之南的保安鎮（屬永城縣，隋唐時名為山城集，北宋時改設保安鎮，也叫鳳凰城，從山城集和鳳凰城兩個名字可見當地是有城池的，推測可能是南北朝時遺留的碭縣故城）。
刻有“大中十三年宋州碭山縣尉袁府君磚記”的唐代官磚
元至元年間，碭山縣遷回舊址，但并未建筑城池。明正德八年，知縣李金建筑土城，設門五座。嘉靖中，重修土城，并種植柳樹于護城堤上，嘉靖二十六年增筑護城堤，并多植柳樹以為屏障。但嘉靖四十一年，洪水仍是沖陷城堤，縣治被迫遷至小神集，三年后方才遷回。
嘉靖年間徐州志中的碭山城圖，萬歷二十六年，此城被洪水徹底沖毀
隆慶年間，知縣王廷卿重創筑城，將城墻加高至一丈八尺，基寬三丈。萬歷二十六年，洪水再度沖沒城基，城池蕩然無存。知縣熊應祥遷址舊城西的秦家堂重筑城池。新城高一丈五尺，基廣三丈，周長八百四十丈二尺，設城門四座各有城樓：東門景云，西門瑞洛，南門永保，北門企寧。南門東西各有水關。萬歷四十八年，改建磚城，修四門城樓，增筑羊馬墻（護城河靠城一側駁岸建高墻，多見于北方，防止冬季敵兵趁護城河結冰直接穿過）。
1936年國民政府陸軍部測繪碭山縣城
碭山縣城大致范圍示意
清康熙三十七年、乾隆三十八年有兩次大修，尤其是乾隆三十八年修葺，四門城樓被改成了雙層宮殿式，巍峨壯觀。
抗戰后期的碭山縣全圖
1938年徐州會戰期間，國軍102師在碭山縣阻擊日寇西進，此戰中碭山縣城遭受極大的破壞，此后逐步頹廢，解放后城墻被拆除，但古城格局得以保存，城池肌理清晰可見。
1944年左右美軍航空測繪的碭山縣周邊
