「山上」昔時由曾文溪沖積成洲，故附近村落有南勢洲（今之南洲村，民國99年改制後為南洲里）、北勢洲之稱，山上地區乃明末時期，始由鄭成功部將余士龍為了養軍，並開墾荒地、率兵屯駐後，經年累月人口漸漸繁殖，移住成村，山上區原是平埔族西拉雅族新港社的遷徙地之一，因其位於曾文溪河階地上，自低處向上望，似乎像是座落於小山上的聚落，故有山仔頂之稱呼，至日人據台後沿用山仔頂之名，及至民國九年十月一日地方改制，即改為山上庄。
１９２０年，臺灣地方改制，於此地設置「山上庄」，劃歸『臺南州新化郡』管理。
臺灣光復後，民國三十五年一月七日，臺南縣政府成立，改街為鎮、改庄為鄉，於民國三十五年一月十八日本鄉公所成立，仍以山上為鄉名。１９４６年７月１日將轄內潭頂、大社兩村改劃原新市鄉，另接受原左鎮鄉平和村之一部設為平陽村。
自民國九十九年十二月廿五日起，因臺南市、縣合併改制直轄市，而改制為『山上區』
(原臺南縣山上鄉公所外觀照)
因民國105年2月6日美濃地震影響，
造成原公所辦公廳舍成為危樓，
經市府補助經費改建新廳舍，
並於108年遷入辦公。
(0206地震改建後山上區公所外觀照)