衡阳地处南岳衡山之南，因山南水北为“阳”，故得此名。因“北雁南飞，至此歇翅停回”，栖息于市区回雁峰，故又雅“雁城”。

    衡阳市位于湖南省中南部，湘江中游。西南接永州市，西北挨邵阳市，北达娄底市、湘潭市，东邻株洲市，南抵郴州市。

　  衡阳市处于湖南省凹形面的轴带部分。周围环绕着古老宕层形成的断续环带的岭脊山地，内镶大面积白垩系和下第三系红层的红色丘陵台地，构成典型的盆地形势。衡阳盆地南高北低。盆地南面地势较高，1000米以上的山中东西连绵数十公里；盆地北面相对偏低，衡山山脉虽较高，但各峰呈峰林状屹立于中间，其东西两侧都有较低的向北通道，其东侧的湘江河谷两岸海拔高度均在100米以下。整个地形由西南向东北复合倾斜，而盆地由四周向中部降低，呈现1000米，800-700米、400-300米、150米四级夷为平面。四周山丘围绕，中部平岗丘交错。东部为罗霄山余脉天光山、四方山、园明坳；南部为南岭余脉塔山、大义山、天门仙、景峰坳；西部为越城岭的延伸熊罴岭、四明山、腾云岭；西北部、北部为大云山、九峰山和南岳衡山。整个地形比降为7.9‰。南部山峰大多海拔600米以上，常宁天堂山最高，海拔1265米。西部山峰多海拔500米以上，祁东腾云岭最高，海拔1044米。东北部除南岳衡山外，一般地面高程在海拔300米-500米。市境最高点为衡山祝融峰，根据国家最新的测量数据，海拔1300.2米；最低点为衡东的彭陂港，海拔仅39.2米。

　　地貌类型以岗丘为主。山地占总面积的21%，丘陵占27%，岗地占27%，平原占21%，水面占4%。中部大面积分布白垩系和第三系红层，面积3550平方公里，构成衡阳盆地的主体。境内有河长5公里或流域面积10平方公里以上的江河溪流393条，总境长达8355公里，河网密度为每平方公里0.55公里。发源于广西兴安的湘江干流，自祁东归阳镇入境，依次流经祁东县、衡南县、常宁市、市区、衡阳县、衡山县和衡东县，境内长226公里。境内流域面积在3000平方公里以上的湘江一级支流有舂陵水，蒸水，耒水、洣水。