三单于各有部众，平时经常为一点儿小事大打出手。虽说内部之间吵吵闹闹，但在欺负汉人方面却空前一致，昨天还打得头破血流，今天就联合起来合作打劫。
几任太守对跋扈的乌桓人都束手无策，说起来也是因中原大乱，曹操的注意力都在内地，兵力也都集中在中原，边境军队数量有限。这些乌桓兵尽管毛病不少，却是当地驻军主力，把他们得罪了，轻则不给你卖力，严重些直接便反了。
归降的乌桓与塞外乌桓、鲜卑本就习俗相近，同种同源，他们若与塞外鲜卑骑兵内外勾结就麻烦了。
这些乌桓人久居内地，熟悉边情，到时，局面可能失控，所以尽管乌桓人嚣张跋扈，地方官只能忍气吞声，还要赔着笑脸安抚，只求这些惹不起也躲不起的乌桓人别闹腾。
建安二十年（215），代郡乌桓又闹事了，这次闹得比较大，太守直接被赶跑，曹操感觉要镇住这些惹是生非的家伙，必须要有得力之人。
很快裴潜奉命来到代郡，成为新任太守。曹操曾要派一支人马护送裴潜，一是为保护裴潜，二是为裴潜壮声势，曹操知道乌桓人素来吃硬不吃软，不派兵压阵，裴潜怕是连城都进不去。
但裴潜却推辞了。理由很简单，代郡是北边大郡，仅乌桓就有数万户，乌桓单于手下精兵上万，曹操给自己的兵不能太多，兵少反而示弱，不如不派。