征南唐时有一件花絮可以说明两人的交情：出征前，太祖许诺若平了南唐便封曹彬为相。潘美听了就先向曹彬贺喜，曹彬便对潘美说了心里话，北汉未平，皇帝是不会封自己为相。结果闰了南唐归来，太祖果然说出同样的话来，潘美为人直爽，听了这话不禁偷偷看着曹彬微笑，被太祖发现询问，潘美说了出征前曹彬的话，太祖大笑，赐钱二十万作为未能封相的赏赐。

而此时，眼望着潘美书房中的宋辽军事地图，两人沉默着，太宗已经下旨，在全国征兵、征粮，封曹彬重禄、赐潘美之女为皇子妃，这一战势在眉睫。望着对方明显斑白的头发犹如看着自己一般，两人明白，这可能是自己军旅生涯中的最后一战。

潘美打破了沉默：“曹公，你看这一次，官家会御驾亲征吗？还是，你我之间，谁会挂帅？”

曹彬摇了摇头道：“难说。上次的高梁河之战，惊了圣驾，此次官家必不会亲征。但是征辽事关重大，未必就全部交到你我中的一个手中。我猜，这次会不会是楚王挂帅？”

潘美怔了一怔：“楚王元佐？”

曹彬点了点头：“正是，楚王元佐。官家的心思大家都明白。若是此战夺回燕云十六州，那样的军功无人可比，回朝之日，就可有理由昭告天下，立楚王为太子了。”

潘美沉默片刻，叹了一口气，道：“那就只可怜……房州的那位了……”

曹彬知道他说的是什么，轻叹一声：“仲询，你我也只能尽臣子的本份，办好差事，别的，原也不是我们能过问的。对了，小妹呢，今天是她大喜，咱们不说这扫兴的话。”

潘美轻叹一声道：“小妹从小被我们宠坏了，­性­子太坏。此番指婚韩王，固然是皇恩浩荡，可是若出点什么错，也不知道是福是祸呢。”

曹彬笑道：“你越发多虑了。我看小妹如今大了，长得越发美丽，举止也是端庄贤淑。谁见着不爱她，不让她三分呢。更何况诸皇子均是谦和有礼之人，韩王也是有名的温良如玉。再说你我的血战功劳，小儿女们纵然有些口角，也说不到福祸上上去。”

潘美一笑：“也是，总是做父母的，虑得多些。”