學校前身是創建於1953年的人民解放軍軍事工程學院（簡稱“哈軍工”）。1970年，在“哈軍工”原址，以海軍工程系全建制及其它各系(部)部分幹部教師為基礎，組建哈爾濱船舶工程學院，1994年更名為哈爾濱工程大學。1978年，學校被國務院確定為全國重點大學；1982年，被國務院批准為首批具有博士、碩士學位授予權的單位；1996年，進入國家“211工程”首批重點建設高校行列；2002年，被教育部批准設立研究生院。學校現隸屬於國防科工委，並由國防科工委與黑龍江省人民政府重點共建。