刘秀此时被刘钰步步紧逼，已左支右绌，难以应付，他的江山已处于崩溃的边缘。韩歆拿刘钰做参照，来与他进行对比，潜台词就是建武皇帝为政不如建世皇帝。这确实触及了刘秀的底线，犯了大忌。
就算他说的是实话，那也是要找死的实话。
果然，因为这封奏书，刘秀将韩歆下狱论处，他甚至懒得找什么灾异的理由，直接扣了个忤逆犯上的罪名，要将他处死。
这桩案子立即引起了轩然大波。
韩歆是南阳名士，不仅学问精深，而且为人正直，一直为人敬重。他因言语获罪，说服力并不充分。朝堂上的大臣们纷纷上书，为韩歆求情，请求皇帝对他从轻发落。
刘秀面对厚厚的一撂求情奏书，越发生气，他没想到自己身为皇帝，九五之尊，只是想要处置一个臣子，竟然会遭遇如此大的阻力。
他不禁想起当年欧阳歙之案，在罪行清楚、证据确凿的情况下，他费尽心力才终于杀死了欧阳歙。如今韩歆的罪行远不如欧阳歙那么重，在天下人看来，是韩歆说话太直，得罪了皇帝，这不过是一些言语上的小过失罢了，皇帝不应该小题大做。更有甚者，有人暗中觉得韩歆说的对，皇帝的为政原来就有过失，韩歆是为民请命的那个人。
此时刘秀心中的忿恨远甚于当年面对欧阳歙，欧阳歙在当时已成为他的政敌，他杀欧阳歙是为了推行政事，是为公，他可以平心静气，处心积虑地考虑周全。而他要杀韩歆是为私，是因为韩歆戳到了他的痛处，让他感觉受到了污辱。刘秀已经出离愤怒，他要泄一已之私愤。这种情况下，他很难保持冷静。
一向处事谨慎、考虑周到的建武皇帝这一次是真的动了怒，他不顾满朝大臣的反对，乾纲独断，将韩歆就地免职，褫夺爵位，赶出邯郸城。
韩歆的老家在南阳，此时南阳在刘钰手中，他当然不能回去。他的家安在了邯郸，但是皇帝不想在邯郸再见到他，直接勒令他迁走。
韩歆曾在河内做过几年的太守，河内相当于他的第二个家乡，韩家在那儿有房产田宅，足够他安身立命。于是韩歆带着全家老小，自邯郸南下，想要迁到河内去。
韩歆因言获罪，朝臣为其鸣不平，都不免觉得刘秀薄待功臣，褫夺爵位的处置太重了。但是韩歆终究保住了一条性命，免职还乡的结果还算可以接受。
免官复起的人多了，不一定什么时候，皇帝便可能回心转意，召回韩歆，一旦他重新得宠，复爵也就是皇帝一句话的事。
许多朝臣聚集在邯郸南郊为韩歆送行。昔日的同僚坐在一处饮酒，有人道着珍重，有人宽慰他耐心等待，待陛下息雷霆之怒，或许不久的将来他们还会再见。
他的好友桓谭为他弹奏了新做的送行之曲。一曲奏罢，桓谭向着韩歆笑道：“韩公，我这次做了两首新曲，全是用的七音之法，一首归去，一首归来，这两首曲子都是为韩公而做，如今归去曲奏完了，我可是急着要奏归来之曲，韩公莫要让我久待！”
韩歆面色黯然，说道：“桓公，不瞒你说，我此番远离朝堂，心中很是平静，我只愿从此终老田园，再不闻朝堂之事，在家坐享天伦之乐，你那归来之曲，恐怕再没机会奏响了！”
此时此刻这确实是韩歆的真心话，他已经灰了心，暂时忘掉了自己的雄心壮志，虽然他才高能干，但是为人处事一直不称上意，他自己也觉得憋屈烦恼。如今韩歆只想远离邯郸，远离是非，过一过清静日子。
桓谭握住他的手，低声道：“韩公这么说，竟让我也起了归乡之思。”
恒谭同样是不受皇帝待见的那个人，他对于刘秀大力提倡的谶纬之学嗤之以鼻，有时难免大放厥词，批判一番，韩歆今天的下场，或许就是他桓谭的前车之鉴。
韩歆告别了同僚，带着独子韩婴以及一家老小登车南下。
一天之后，邯郸未央宫中驶出了一辆轺车，急匆匆地也向南去了。