但是刘秀也是公认的锱铢必较、绝不饶恕，那就是面对背叛的时候。刘秀对背叛几乎是零容忍，他可以饶恕敌人，可是绝不饶恕背叛他的朋友，比如李轶，比如彭宠，比如刘扬，比如邓奉，比如邓晨，对付背叛者，刘秀完全失去了他的大度，而是变得十分计较，必欲置之死地而后快。
朝臣们都摸清了皇帝的路子，谁还敢轻易选择离开？离开就是背叛，按照刘秀的老规矩，背叛者是绝不会有好下场的。
因此，所谓自择去留的诏书，已经被这些人精当作是清除异已的诱饵，大臣们相信，只要他们之中有人敢离开这座城，必定会在某个地方受到秘密处置。
众人在城头站着，没有人说话，各怀着心事，都在等着皇帝出招。
这时，有宦官来传皇帝的圣命：赦免伏湛，即刻送其出城。
这道命令像石子投到水里一样，激起了一阵波澜，原本静默肃立的人们开始交头接耳、议论纷纷。伏湛得罪刘秀，众人皆知，按理说他早该死了，可是皇帝留着不杀，所有人都以为刘秀在等待一个合适的时机处死他，以达到震慑众人的效果。
万万没想到，刘秀会在这个时候宣布赦免伏湛，并要当众送他出城。
这是什么意思？难道是要在城外杀死他吗？
让朝臣们聚集在城头，是要围观对于伏湛的处置吗？
先赦再杀，是对于伏湛的戏弄和污辱吗？还是刘秀要借此观察众人的态度，以分辨忠奸吗？
没有人能猜得透皇帝的意思，他们只能拭目以待，看刘秀一个人怎么把这场戏唱下去。
这时城门缓缓地打开，一辆马车从城门里出来，一个老者峨冠博带端坐车上，等到出了城池，老者忽然示意停车，他从车上下来，转过头来向着城头张望。
这时城头上的众人已看清，此人正是不其侯伏湛。
伏湛拂了拂袖子，正了正衣冠，端端正正地拜倒在地，向着南皮城行了臣子面对君主的大礼，随后他站起身，重新坐上车子。车夫扬起鞭子，赶着车子向南奔去。
城头上的众人眼看着那辆马车穿过城外的南军营地，士兵们就好像没看到一般，理也不理。随着马车越走越远，在空旷的原野上留下了一个小小的背影，众人还在城头伸颈张望，好似在期待着什么意外之事发生。
仿佛老天要满足大家的期望，忽然自南方来了一队骑兵，只有二三十个人左右，慢慢地接近了伏湛的马车。
从这些人打着的旗子可以看出是敌军，而他们在迎上伏湛之后，稍作停留，便从左右护着车子，将其一直护送到远处的耿弇营中。
伏湛就这么稳稳地出了城，安全到了敌军大营，皇帝竟然真的将他放了！
城头诸人都有些傻了，这么说来，这个诏命是。。。真的？他们真能决定自己的去留？
皇帝真的大度到这种程度，可以容忍这么多人公开地背叛他？
众人还在疑惑之际，忽然有人高喊道：“臣愿还乡，请陛下恩准！”
这是在太常任职的一位博士祭酒，家在魏郡，孤身随军北上，他已与家人分离，本以为此生再也不能还乡，没想到竟然有这个机会。所以他一见伏湛真的走了，立即跳出来表示要还乡。
有宦官答道：“陛下早有诏命，去留随意，你愿还乡，直接出城便是。”
于是那位博士祭酒便走出了城门，像伏湛一样，离城向南，越走越远，直至被对面敌军迎入大营。
有了先行者，其他人就没了什么顾虑，大臣们纷纷自南皮城中出走，甚至军中将领也有离开的。年轻位卑的靠着两条腿走出去，年老位尊的甚至有代步的马匹。他们大部分被耿弇派人接了去，还有一部分出城直接走掉，根本没理耿弇的茬。
过了两天之后，刘秀将整个队伍整编完毕，大臣们走掉一半，士兵们走掉在大半，十几万人还剩下六万人。
只是这六万人再不是两天前各怀心思的六万人，而是对刘秀忠心耿耿的，没有异心的坚强部队，是他多年苦心培养的精锐中的精锐。
一下子甩掉了七八万人，刘秀并没有实力受损的不安，相反却觉得有些轻松，流言终于止住了，军中一切都很平静，他可以心无旁鹜地率军北上了。