1917年的灣仔是香港最早開發地區,當時香港富商杜仲文以二千二百多元購入灣仔船街五萬多平方呎地皮,並於1918年建成南固臺。船街是華人聚居地,而附近的莊士敦道是臨海的馬路,南固臺處於一個十米高台上,傲視海港繁盛的交通往來。1921年,杜仲文以三萬元把南固臺售予其弟、即永安百貨副司理杜澤文。杜澤文與永安百貨的創辦人郭泉份屬姻親,杜澤文在1921年開始,隨親家郭泉到香港打理生意,同年購入南固臺作為居所。1943年,日本佔領香港期間,74歲的杜澤文死於大宅內,死亡證上記錄是「死因不明」。杜澤文死後,南固臺落入日本人手上,日軍在船街設立慰安所,而建築雅緻的南固臺被佔領作「貴賓廳」。當時在港九各地捉拿婦女充當慰安婦,供日兵洩慾。1945年日本投降後,大宅一直丟空。杜家於1988年把南固臺以一千六百多萬元售予合和實業。
1970年代,合和實業有意發展灣仔南部,收購了南固臺一帶的地段,擬建Mega Tower Hotel,但會保留大宅並融入發展。然而Mega Tower Hotel的興建一直未能落實,所以大宅一直空置。2008年12月合和二期工程終於落實興建,合和決定把南固臺加以活化並對外開放。
由於南固臺空置多時,因此有不少鬧鬼傳聞。2003年,有8名青年到荒廢多年的船街南固臺探險,其中一位少女疑被鬼上身狂叫亂跑,變了男聲加上力大無窮,要出動4位警員才可以制伏她。「南固臺」亦成為不少恐怖電影取景之地,電視劇《大鬧廣昌隆》是其中之一。