最开始,因为怕原配和胡母不愿意,他每到一个地方拓展业务,就会在当地置办一间房子,收一个女人。
但后来随着胡雪岩成为富甲天下的大富翁、大官员之后,他便在杭州的元宝街,建了一座胡氏大宅院,取名为“芝园”,取“芝园”二字是为了纪念胡雪岩的父亲胡芝田。宅院既有中国园林的风姿,又有西洋现代建筑的考究,人称“江南第一院”。当时的达官贵人来杭州时,都不喜欢住旅馆官邸,而喜欢住在胡雪岩的芝园。
胡雪岩当年做伙计时,一年的收入才八两银子,但他的芝园却历时三年,花费了白银三百万两。芝园共十六个院落,中轴区为待客厅堂,由轿厅、百狮楼、四面厅组成;主楼为高耸的百狮楼,他用一百个紫檀木雕成一百个狮子,并用黄金制作眼睛,光彩四射,华丽无比。
百狮楼除五开间三进的布局之外,还有荷花池、牡丹台,以及专设唱戏的影怜院、烟室烟榻等,表面宏大,细节精巧。园内假山,用的是西湖第一名山飞来峰的小影,光堆砌假山就花费八万两银子。