虽然菲尔莫尔给自己安排了种种事务，但鳏居的孤清生活总使他感到有些寂寞——他打算再续娶一位夫人。1858年2月10日，菲尔莫尔与纽约州奥尔巴尼的富孀卡罗琳·卡迈克尔·麦金托什结婚。卡罗琳的前夫是奥尔巴尼著名的实业家伊齐基尔·麦金托什，所以卡罗琳非常富有。结婚前，她与菲尔莫尔还签了一份协议，让菲尔莫尔作她的财产代理人。那时，菲尔莫尔58岁，卡罗琳45岁。和卡罗琳结婚，对于年老的菲尔莫尔来说未尝不是件好事，她给菲尔莫尔带来了一大笔财产，解决了菲尔莫尔的拮据困境，偿付了欧洲之行欠下的账单，还在布法罗的尼亚加拉广场买了一幢豪华的大宅。他们经常在那里召开盛大的宴会，招待该市的达官贵人和社会名流，他们夫妻俩也成了当地社交界的中心人物。在此之前，他们夫妻两人又到欧洲法国和西班牙旅游了一次。按道理来说，续娶夫人之后的菲尔莫尔应该比较幸福美满了，然而，美中不足的是，他唯一的儿子与这位后母总是难以和睦相处，这给菲尔莫尔带来了难以免除的遗憾。作为政治家的菲尔莫尔在处理自己的家庭问题上苦无良策，为自己、为儿子都留下了永久的遗憾。虽然菲尔莫尔在遗嘱中要求儿子和后母努力和睦相处，但是这对母子却在继承权问题上争执得不可开交。或许菲尔莫尔与儿子之间的关系也不是太融洽，他在遗嘱中把他的绝大部分遗产都留给了自己的第二任妻子，而不是自己唯一的儿子，这让人难以理解。鲍尔斯为了遗产问题和他的后母闹到法庭上，最后，他胜诉了，获得了属于他的遗产。但是，获得遗产后，菲尔莫尔的儿子并没有把钱花在应该花的地方，而是整天生活在醉生梦死中，大肆挥霍，不久这笔遗产就被他挥霍一空了。