1839年至1841年，清政府在第一次鴉片戰爭被英國打敗。
1841年簽訂《穿鼻草約》，將香港島割讓英國。
英軍在香港島登陸，在上環嚤囉街一帶興建帳蓬及大棚屋軍營，當年爆發瘧疾、黑死病，治安敗壞。

德己立少將是皇家工程師，1843年12月27日乘卡斯托號巡防艦抵達香港。
1844年1月11日獲指派為香港副總督，成為香港第一位駐港三軍司令，德己立向英國要求在香港建立永久堅固軍營。

1843年6月，英國批准德己立要求，皇家工程師愛秩序少校，到達香港出任工程兵指揮官。

司令總部大樓由皇家工程師高靈臣設計，軍營建築監督布司督建。
參考格林威治王后宮，以麻石建造，外牆全髹成白色，兩層高，屬希臘古典復興式風格。

入口處的柱為多域式，其餘柱子為愛奧尼亞式，屋頂以中式物料建造，加快建造效率，減少成本開支。

主體三面被遊廊連遮陽的木格柵包圍，是西式建築為適應香港氣候而作出的調整，反映殖民地特色。

1846年8月，司令總部大樓落成，同年9月，德己立遷入司令總部大樓居住。
1897年，遊廊加建鐵柱作支撐，木遊廊改為鐵製，加建浴室。

草坪上有一枚鐫有船錨標誌的海軍電台界石，船錨上刻有編號34，之下記有年份1910。

（1932年，司令總部大樓，易名三軍司令官邸又叫旗杆屋）

1900年，英國皇家海軍，銳意加強海軍力量及擴展基地，港英政府同意將皇后大道以北部份陸軍用地，包括北營和海旁的威靈頓軍營交予皇家海軍，興建多幢軍人宿舍。

愛秩序少校在現今紅棉路、堅尼地道、金鐘道交界一帶，建立域多利軍營（域多利兵房），是英軍在香港最早興建的軍營，有三十多座軍事建築物，為愛德華古典復興風格建築。

已婚英軍宿舍（蒙哥馬利樓），樓高三層。（以二戰期間英國著名軍事指揮官，伯納德·蒙哥馬利命名）

已婚宿舍E座（羅拔時樓），為已婚英軍宿舍，樓高三層，由紅磚砌成方形立柱，支撐每樓層的古典柱頂和模製飛簷。
各層設開放式長廊，立柱之間護欄下放置古典瓮狀欄桿柱，欄桿柱塗上白色與紅磚形成對比，有鋼樓梯、半玻璃木門、楣窗。

（二戰時期，已婚宿舍E座被日軍佔用，二戰後為紀念蒙哥馬利麾下，指揮官羅拔時少將，易名為羅拔時樓）

准尉宿舍第一及第二幢（羅年信樓），為已婚英軍軍官宿舍，樓高兩層。
（二戰後為紀念戰績彪炳的英國羅年信將軍，易名為羅年信樓）

准尉宿舍第三及第四幢（華褔樓），是已婚英軍軍官宿舍，樓高兩層。
（二戰後為紀念中東英軍司令部總司令，魏菲爾易名為華褔樓）

1941年香港保衛戰期間，域多利軍營是英軍總司令部。

1942年至1945年日佔時期，域多利軍營被日軍佔用，香港重光後，軍營作大規模修復。

1959年，英國國防部縮減海軍船塢規模，填海興建添馬艦海軍基地。

七十年代後期，中區商業用地不足，港府與軍部及英國政府商議交還軍部用地。

1979年3月30日，駐港英軍將域多利軍營土地交還香港政府，大部份建築物在1985年至1992年拆卸。
小部分具有歷史意義或建築特色建築物獲保留，包括羅拔時樓、卡素樓、蒙哥馬利樓、羅連信樓、華福樓、三軍司令官邸。

政府將大部份域多利軍營用地，交由市政局和英皇御准香港賽馬會，合作發展香港公園，工程耗資達三億九千八百萬元，由王董建築師事務所設計，（美孚新邨、喜來登酒店、太古城的設計師）

香港公園依山而建，佔地8.16公頃，位於中環地段海拔較高位置，地勢相當陡峭，座落法院道、紅棉路、堅尼地道之間山坡。

興建公園時，保留大部分原有樹木，部分列入「古樹名木」名冊，由私人、公司、團體贊助，古樹名木獲得特殊照顧保育。

在香港公園內無拘無束生活的松鼠，主要是麗松鼠屬的腹環松鼠，又名泰國松鼠，原產泰國西部和緬甸。

香港公園有多個入口，東接法院道、北接紅棉路、西接山頂纜車花園道總站、南接堅尼地道。

法院道東面入口鄰近香港高等法院，有扶手電梯連接太古廣場、港鐵金鐘站。

1991年5月23日，香港公園由港督衛奕信爵士主持揭幕儀式。
東面正門入口是一條廣植樹木及噴泉廣場通道，通道盡頭是一座二十米高鐘樓。

鐘樓右邊是三軍司令官邸，1846年至1978年使用，前後有五十四名英軍司令居住，二戰時期，有四位海軍上將居住，為香港現存最古老英國殖民地時期建築物，見證香港百多年英國殖民地歷史。

二次大戰期間，官邸兩遭日軍炮彈襲擊，樓頂被日軍炸毀，修復後被日軍佔用，戰後，大樓重新成為英國三軍司令官邸。

1984年7月，三軍司令官邸交給市政局活化，改為香港茶具文物館，館內分為六個展區，主要介紹中國由唐代至近代有關茶的歷史，展出香港茶具文物收藏家、維他奶創辦人之一羅桂祥，捐出不同款式茶藝文物等等。

1989年，三軍司令官邸列為法定古蹟。
1994年，羅桂祥基金捐出羅桂祥名下，二十五件瓷器、六百多方印章予市政局，其後成為茶具文物館展品。

1995年，市政局在官邸旁加建新翼，模仿殖民地風格，名為羅桂祥茶藝館。

香港公園中央的人工湖和瀑布，由軍營網球場改建而成，是蜻蜓自然保育園地。

2001年3月19日，水務局慶祝香港供水一百五十年，在人工湖旁邊興建「維也納飲用水噴泉」。
噴泉外形獨特，用中國大理石雕塑而成，頂端及配件以銅鑄造，是奧地利著名雕塑家漢斯穆爾作品。

噴泉利用地面紅外線感應器，探測使用者步近，開始噴出飲用水，維持二十秒，噴泉頂端噴出的「W」形水柱，代表「水」（Water）的英文首個字母，是設計者別出心裁意念。

噴泉旁邊的銅製「加拿大准尉紀念銅像」，紀念二戰時香港保衞戰中，於渣甸山戰壕為保護戰友，用身體擋手榴彈犧牲的加籍軍人約翰·奧士本。
約翰·奧士本獲頒維多利亞十字勳章，是在香港頒發的唯一一枚。

這尊銅像並非按約翰·奧士本鑄造，而是第一次世界大戰英軍士兵銅像，1930年代，由余仁生第二代經營者，余東旋訂製鑄造，放置在淺水灣余園別墅內。

1941年12月，銅像於香港保衛戰，見證英軍與日軍在淺水灣激戰，日軍在余園別墅屠殺五十餘名戰俘。

1981年，余園別墅拆卸重建，屋主將銅像贈送駐港英軍，銅像豎立在九龍塘奧士本軍營衛兵室門前。（軍營以約翰·奧士本准尉命名，1997年後改稱「九龍東軍營」），紀念約翰·奧士本及在香港保衛戰中，英勇犧牲的軍民。
1992年，奧士本銅像重置於香港公園。

人工湖向西行是羅年信樓，1961年改為駐港英軍副司令官邸，1981年起，地下成為紅棉路婚姻登記處，一樓闢作香港公園辦事處。

再前行是香港最大的壁球中心，有十二個空調壁球場，其中一個供比賽及表演用，壁球中心旁邊是香港公園體育館。

體育館對上南面山坡，是由卡素樓被改建的香港視覺藝術中心，取代位於中環香港大會堂的舊址。

1992年4月2日，香港視覺藝術中心啟用，被列為香港一級歷史建築，樓高三層，為愛德華古典復興風格建築。
建築物為遷就陡斜地勢，以四個階級像樓梯般組成，在香港十分罕見，大樓東西兩面原為由拱形列柱組成陽廊，陽廊現已裝上玻璃窗，以增加樓面可用面積。

香港視覺藝術中心隔鄰是兒童遊樂場，兒童遊樂場東面是香港公園尤德觀鳥園，觀鳥園以已故港督尤德爵士命名。
整個觀鳥園外圍，以四個巨型拱架承托不銹鋼圍網，避免園內出現礙眼支柱，圍網覆蓋範圍約三千平方米，上蓋最高點與山谷底部相距三十米。

除原有樹木外，觀鳥園內外種植大量植物，以樹木遮蔽圍網，使環境接近自然景緻。

1992年9月，觀鳥園開放參觀，觀鳥園內雀鳥，大部份來自馬來羣島，屬七十個品種，約有五百五十隻，觀鳥園設有圖文並茂展板，闡述熱帶雨林結構和生態，介紹園內雀鳥。

觀鳥園內設有一條高架棧道，適合坐輪椅者使用，遊人經棧道穿梭於樹冠之間，在不同高度觀賞園內雀鳥、樹木、植物，從不同角度欣賞山谷全景。

觀鳥園山谷底部淺水池和小瀑布形成林蔭河床，河水順山谷地勢向下流動，匯聚於大型水池，水池與觀鳥園出口處外面一個小湖相連，是觀賞各類水禽的好地方。

觀鳥園旁邊是香港公園觀鳥園教育中心，由華褔樓改建，作研習鳥類教育用途，有三個展覽籠作輔助設施，兩個鳥籠內飼養長冠犀鳥和雙角犀鳥，餘下一個飼養產自馬來西亞地區多個雀鳥品種。

觀鳥園對下是太極園，內有多個庭院，供遊人耍太極。
2005年6月25日，抗沙士紀念公園在太極園開幕，名為「弘揚抗疫精神建築景觀」，佔地面積不大，有數個紀念石碑，入口處一條弧形支架橫跨整個公園，寓意「雨後彩虹」。
七名抗疫捐軀的前線醫護人員銅像，包括殉職醫生劉大鈞、謝婉雯、鄭夏恩，醫護劉永佳、鄧香美、劉錦蓉、王庚娣，銅像下刻有他們的生平。

太極園北面角落是鳥瞰角，是三十米高塔，有一百零五級梯級，塔頂設觀景台，可俯瞰整個公園。

太極園東面是專為舉行活動而設的花園廣場，面積達一千一百平方米，約有八百八十個座位。
2005年7月11日，香港獲邀協辦2008年奧運馬術比賽，花園廣場改名奧林匹克廣場，國際奧林匹克委員會會長羅格主持開幕。

奧林匹克廣場上面是霍士傑溫室，以已故市政局主席霍士傑命名，佔地一千四百平方米，全東南亞最大，由展覽廳、旱區植物展覽館、熱帶植物展覽館組成。
溫室內安裝調控環境設備，營造不同氣候環境，展出旱區植物和熱帶植物二千多種。