光绪二十七年（1901年），清政府宣布实行“新政”。在教育方面颁布了《兴学诏书》，要求各州县改设小学堂。

光绪三十一年（1905年），清政府成立学部。第二年（1906年），本县知县田毓璠在全县较为繁荣的村镇首批兴办了十三所初等小学堂，开宁国县现代教育的先河。现仙霞小学的前身——宁国县东五区官立初等小学堂，就是其中之一，校址设在仙家村（仙霞）仙氏宗祠里，洪锦山任第一任校长，至此，仙霞教育也由民间私立转向公立办学，使仙霞教育迈上正规化。

民国元年（1911年），教育部颁令全国各级学堂改称学校，是年，“宁国县东五区官立初等小学堂”易名为“宁国县仙家初等小学校”。民国五年（1916年），“宁国县仙家初等小学校”更名为“仙家国民学校”。民国十二年（1923年），“仙家国民学校”改称“县立第十二初级小学”。民国十四年（1925年），仙霞小学改为校董制，并由初级小学改为公立完全小学。

民国二十三年（1934年），仙霞小学重新更名为“仙霞小学初级小学校”。民国二十四年（1935年），杨山、仙霞、云梯合为一乡，取名啸天乡。民国二十九年（1940年），仙霞小学改制为完小，称“啸天乡中心小学”。1942年，宁国灾后重振教育，恢复了学校校长专任制度，学校改名为“啸天乡中心小学二部”。

1949年4月23日，宁国解放。5月，人民政府成立，宁国县人民政府接管全县公立小学。同年十月，新中国诞生，从此，这所古老的山区学校获得了新生，走上了发展壮大的道路，很快成为全县较有影响力的一所完全小学。1951年下半年，学校改名为“仙家小学”，1952年下半年，仙家小学正式成为宁国县首批“五年一贯制”的试点学校，实行春季招生。1954年，学校又改名为“仙家中心小学”。1958年学校改名为“仙霞中心小学”。1960年，学校被宁国县教育改革领导小组确定为“教学改革实验校”，1961年，学校被徽州文教局评为“专区重点小学”。1965年，学校改名为“宁国县仙霞中心小学辅导区”。后来十年动乱，但学校仍在坚持教学，直到1976年10月，粉碎“四人帮”后，学校迅速恢复了正常的教学秩序。1978年，“宁国县仙霞中心小学辅导区”更名为“仙霞小学”。1985年9月，成立仙霞中心学区，学校办学规模扩大，在校学生数达三百多人，为此学校新建了一幢两层六间的教学楼。

1997年，仙霞撤乡并镇，原三元乡的石岭、龙亭、瑞林、柘亭四村并入仙霞镇，“仙霞乡中心小学”命名为“仙霞镇中心小学”。随着撤并村小，仙霞中心小学学生数增加，教室不够，1999年，学校多方筹措资金，建成了一幢三层教学楼和教师办公楼。

2004年7月，杨山乡撤除，并入仙霞镇，仙霞、杨山两所中心小学合并，设一所中心小学——仙霞中心小学，教学硬件设施逐步完善，学校先后建起了综合楼、食堂、塑胶运动场等相关设施，教学质量也稳步提升，教学声誉渐响。

2017年，在宁国市政府、宁国市教体局和仙霞镇政府的大力支持下，仙霞中心小学新校区项目拉开序幕。

2021年9月仙霞小学顺利搬进新校区。