2007年10月23日，廖曜中调任衡阳市司法局党委委员、副局长。廖曜中曾对媒体谈及他被调走的原因：因一个案子不符合法律程序，分管法制办的他建议撤案，但领导希望维持，最终廖曜中拒绝签字。但当记者再次就这个问题询问他时，廖曜中的回答则是：“那都是小事，没有什么意义，根源性的东西是讲不出来的。”

　　“你说跟我的性格有关，也许是。但性格比我差的多了，胆子大的一下子就上去了。”廖曜中欲言又止。

　　调到司法局后，廖曜中分管的业务是法律援助和司法干校。据一位司法局干部介绍，这些分管业务在局里来讲是“靠后”的。在与廖曜中共事的4年多里，有两件事给这位干部留下了深刻印象。一是廖曜中初到局里上班时，经常坐公共汽车上下班，直到两年后才偶尔开一辆“福特”小汽车，这与有些局领导所乘坐的“丰田霸道”形成了鲜明对比。还有件事是，一次年终评先评优时，廖曜中曾发牢骚：要严格依据标准评干实事的人当先进，而不能搞平衡照顾的“小圈子”。

　　另一位已经退休的老干部则评价廖曜中，文笔很好，固执又清高，但在经营关系方面不是强项，“仍然是棱角分明的人，很骨感，单纯，不复杂”。

　　但他们都没有想到，廖曜中会摊上“局长互殴”事件，并因此登上舆论的风口浪尖。

　　事实上，正是在那次事件之后，廖曜中才开始被舆论贴上“官场异类”的标签，这部分来源于他在那次冲突发生后的表现，他不仅公开面对媒体，甚至明确表态“自己进入官场就是为了研究腐败，反腐败”。一时间，在各大论坛的帖子里，他成为不与潜规则同流合污，“讲正气讲正义”的好官；他也开通了自己的新浪微博，并迅速拥有了数以万计的粉丝，其中有相当一部分人知晓他的事迹，并期待他可以为自己鸣冤。

　　3年后，再次提起往事，廖曜中选择将更为真实的情况和盘托出。

　　“什么理直气壮地做一回顶天立地的人？你做个屁！实际上是借助媒体保护自己，媒体也需要主题需要亮点，希望听到我这样的回答。”廖曜中说，“这样他们就不敢欺负我了，为什么一头老实本份、温顺的牛会变成一头斗牛，这是被环境逼的。”

　　因为那一次的公开“爆料”，官场上的朋友开始疏远他、反感他，甚至躲着他走。互殴事件过去后几个月，组织部想调廖曜中到衡阳贸促会，廖曜中并不愿意，结果领导告诉他：“人家不想与你为伍，你这种性格，人家谁敢要你？”

　　“官场上的朋友都对我敬而远之，同样让我活得很累，是另外一种累。”廖曜中颇感冤枉。