最开始，因为怕原配和胡母不愿意，他每到一个地方拓展业务，就会在当地置办一间房子，收一个女人。
但后来随着胡雪岩成为富甲天下的大富翁、大官员之后，他便在杭州的元宝街，建了一座胡氏大宅院，取名为“芝园”，取“芝园”二字是为了纪念胡雪岩的父亲胡芝田。宅院既有中国园林的风姿，又有西洋现代建筑的考究，人称“江南第一院”。当时的达官贵人来杭州时，都不喜欢住旅馆官邸，而喜欢住在胡雪岩的芝园。
胡雪岩当年做伙计时，一年的收入才八两银子，但他的芝园却历时三年，花费了白银三百万两。芝园共十六个院落，中轴区为待客厅堂，由轿厅、百狮楼、四面厅组成；主楼为高耸的百狮楼，他用一百个紫檀木雕成一百个狮子，并用黄金制作眼睛，光彩四射，华丽无比。
百狮楼除五开间三进的布局之外，还有荷花池、牡丹台，以及专设唱戏的影怜院、烟室烟榻等，表面宏大，细节精巧。园内假山，用的是西湖第一名山飞来峰的小影，光堆砌假山就花费八万两银子。