奥尔华绥叫来了斯维克姆，看到汤姆在他身上留下来的打痕，一切都验证了布利非的话。此时的奥尔华绥已经对汤姆失望到了极点。
等汤姆回来后，奥尔华绥将他叫到了房间里，先数落了他所犯下的罪过，最后说，为了惩罚他，必须要将他赶走。
“从前犯错，我念你年幼无知，屡屡原谅你，可是你一错再错。如今你想要诱拐韦斯顿先生家的女儿，这事我怎么也不能原谅了。为了我的名誉，我必须惩罚你。我为你犯的错感到可耻，从今天起你不许再进这个家门。这里是一些给你的东西，我总不能叫你什么都没有就走。”那是奥尔华绥留给他的一些钱财，希望他能改过自新，好好过日子。
泪水在汤姆的眼中不断地涌出，他知道这回怎么也不可能求得原谅了，奥尔华绥的决绝令他心寒。汤姆吻了吻他的手，然后失落地离开了。
汤姆痛苦极了，在绝望中漫无目的地行走着，根本没有在意奥尔华绥留给他的东西，一路走来一路将东西丢掉。其实此刻最令他痛苦的不是被赶出家，而是对索菲亚的感情。他知道自己离不开她，但为了她的终身幸福又不得不离开她。