哈尔滨的历史源远流长，是一座从来没有过城墙的城市。早在两万两千年前，旧石器时代晚期，这里就已经有人类活动。大约5000年前，哈尔滨地区进入新石器时代。大约3000年前，殷商晚期，哈尔滨进入青铜时代，属于黑龙江地区最早的古代文明国家——白金宝文化的分布区域。

哈尔滨是金、清两代王朝的发祥地。金收国元年（1115年），金代在上京（哈尔滨阿城区）建都。

金大定十三年（1173年），上京重新被立为陪都。

元、明时，哈尔滨又成为成吉思汗三弟斡斤家族的领地和奴尔干都司的辖地。

明末清初时期，女真人曾用此城遗存的建筑材料在原地修筑阿勒楚喀要塞。

清朝建立后，乾隆二十一年（1756年）在阿城设阿拉楚喀副都统，哈尔滨为其所辖，属于吉林将军。清末民初哈尔滨属于吉林省滨江县治。清中后期，随着“京旗移垦”和“开禁放荒”政策的实施，大量满汉百姓移居哈尔滨地区。

19世纪末，哈尔滨已出现村屯数十个，居民约3万人，交通、贸易、人口等经济因素开始膨胀，为城市的形成与发展奠定了基础。清光绪二十二年（1896年）至清光绪二十九年（1903年），随着中东铁路建设，工商业及人口开始在哈尔滨一带聚集。

中东铁路建成时，哈尔滨已经形成近代城市的雏形。

英国汇丰银行，是哈尔滨金融业强大的反映。

20世纪初，哈尔滨就已成为国际性商埠，先后有33个国家的16万余侨民聚集这里，19个国家在此设领事馆。与此同时，中国民族资本也有了较大发展，建立起哈尔滨在当时的北满经济中心和国际都市地位。

民国二十一年（1932年），哈尔滨沦为日伪统治。哈尔滨人民进行了艰苦卓绝的斗争，先后涌现出赵尚志、杨靖宇、李兆麟、赵一曼等名垂千古的民族英雄和革命烈士。

30年代伪满哈尔滨火车站

民国三十四年（1945年），哈尔滨从日伪统治下解放，人口70余万。

1946年正阳大街（后改名靖宇街）

民国三十五年（1946年）4月28日，哈尔滨正式建立人民政权，成为全国解放最早的大城市。

哈尔滨发展国民经济，在“一五”时期，哈尔滨是国家重点建设城市之一，前苏联援建的156项重点建设工程，有13项设在哈尔滨，成为国家重要工业基地，并迅速由一个消费城市转变为新兴工业城市。

1996年，国务院批准松花江地区与哈尔滨市合并组成新的哈尔滨市。哈尔滨市辖七区十二县（市），行政区划面积5.3万平方千米。

2004年2月4日，国务院批准了哈尔滨市部分行政区划调整。调整后的哈尔滨市辖道里、道外、南岗、香坊、动力、平房、松北和呼兰8个区和宾县、巴彦、依兰、延寿、木兰、通河、方正7个县，五常、双城、阿城、尚志等4个县级市。

2006年8月15日，国务院批准哈尔滨市对部分行政区划进行调整，即：撤销动力区、香坊区，组建新的香坊区；撤销阿城市，设立哈尔滨市阿城区；将阿城市永源镇、巨源镇划归道外区管辖。调整后的哈尔滨市辖道里、道外、南岗、香坊、平房、松北、呼兰、阿城8个区和宾县、巴彦、依兰、延寿、木兰、通河、方正7个县，五常、双城、尚志3个县级市。

2013年9月，哈尔滨成为《黑龙江和内蒙古东北部地区沿边开发开放规划》国家战略定位的沿边开发开放中心城市，东北亚区域性中心城市。