1961年4月13日圖書館落成啟用。3層樓高的紅牆洋樓外觀,已是當時校園內的巍峨建築。
1974年的圖書館,週遭景觀已有些許變遷。
1983年11月26日圖書館擴建工程落成,廣場前前一排大王椰子樹高聳整齊,是許多高醫人的共同回憶。
2005年9月15日圖書館新館正式啟用,定名為「杜聰明紀念圖書館」。以「樹的記憶」為建築主題,大玻璃窗上錯落銀杏葉剪影,功能性與美感兼具。