「山上」昔時由曾文溪沖積成洲，故附近村落有南勢洲（今之南洲村）、北勢洲之稱，山上地區乃明末時期，始由鄭成功部將余士龍為了養軍，並開墾荒地、率兵屯駐後，經年累月人口漸漸繁殖，移住成村，山上區原是平埔族西拉雅族新港社的遷徙地之一，因其位於曾文溪河階地上，自低處向上望，似乎像是座落於小山上的聚落，故有山仔頂之稱呼，至日人據台後沿用山仔頂之名，及至民國九年十月一日地方改制，即改為山上庄。
１９２０年，臺灣地方改制，於此地設置「山上庄」，劃歸『臺南州新化郡』管理。
臺灣光復後，民國三十五年一月七日，臺南縣政府成立，改街為鎮、改庄為鄉，於民國三十五年一月十八日本鄉公所成立，仍以山上為鄉名。１９４６年７月１日將轄內潭頂、大社兩村改劃原新市鄉，另接受原左鎮鄉平和村之一部設為平陽村。
自民國九十九年十二月廿五日起，因臺南市、縣合併改制直轄市，而改制為『山上區』