但姚大郎确然好斗，爱逞匹夫之勇，练兵时与部将切磋，未尝败绩。
他毕竟是长于军中，又是主将之子，骑射未曾荒疏，日常饮食远胜普通士卒，体格健壮，孔武有力又岂是士卒能比?而那些领队校尉，大多攀附之流，纵然有那本领胜过姚大郎，也没有那胆量逞强，于是姚大郎便战无不胜了。
当初姚潜因失燕赵，遭受贬黜的逆境之时，姚大郎甚至不能忍气吞声，自居长安，屡常寻衅斗殴，甚至对同党，及恩侯元得运的儿子元康都曾大打出手，足见此人性情，是多么横行霸道了。
不过姚潜比元得运更有头脑，还懂得约束儿子，没有放纵姚大郎打杀平民，欺凌欺凌贵族而已，还不至于引发言官弹劾，有损太后以及姚潜自己的名誉毕竟是同等阶级之间的矛盾，是强强相争，扣不上欺凌弱小的帽子。
但是姚大郎好斗逞强的脾性已经深入骨髓，自贺烨称帝，姚潜被夺兵权，家族遭受到前所未有的危机，莫说姚大郎极不适应畏畏缩缩的日子，就连姚潜，因为被逼韬光养晦，而且已经许久不能面会太后，也难免心浮气躁。
毕竟贺烨正值壮年，韦太后却已是风烛残年，姚潜无法确定处于逆境的老妇人是不是真有转败为胜的时机，他没有首鼠两端的余地，他知道对于皇帝而言，燕国公以及柳彦等等才是值得信重的武将，贺烨的时代没有姚家的用武之地，所以如果韦太后一败涂地，姚家必定会遭受灭顶之灾。
从富贵的顶峰坠入困境的低谷已经让姚潜无法忍受，更何况杀身之祸?
故而京城与朝堂，微弱的风吹草动都足以让姚潜牵筋缩脉，他又一惯不似龟鳖的性情，无法长时期的畏缩壳中，他的本性像只刺猬，当遇危险，立时棘毛竖张，而且姚潜认为，时不我待，他必须背水一战，逼得韦太后当即立断了。
姚家虽非名门大族，但近三十载的富贵，自然也会发展一群亲谊，尤其近十载以来，在姚潜的支持下，不少族人开始经营商事，他们倚仗姚潜的权势，往往只用投入些微资本，逼讹行商签定文约，以大大低于行市的价格供应货物，再转手交售，从中牟取暴利，要说来这种手段也算欺行霸市，但商贾地位本就不高，一般人哪胆敢得罪姚大将军?只能选择捏着鼻子吃亏，还得喜笑颜开不敢露出丝毫抱怨，不曾造成民愤指斥，御史言官对此一无所知，当然便不会引发弹劾事件。
而这些亲谊，胆敢打着姚潜的旗号欺行霸市，自然也会给予靠山不少好处，据说姚潜因喜松木注入热水后特有的清香，日日净面、沐足的盆桶，皆由天然松木制成，为防影响那股清香，不许涂刷任何漆油，而精工细作的盆桶，使用一次便被丢弃，仅只这一项开销，每月竟耗二十万钱，足见其挥霍无度穷奢极侈到何地步，光靠太后颁赏?显然不足以支撑这一家人的日常虚耗。
姚潜又没有霸占民财、贪墨公款，巨大的耗用从何产出?亲谊的供奉自然极其重要。
就算贺烨登极，太后罢权，那些忍气吞声的行商们一时之间还不能笃断姚潜确然已经失势，并不敢立即悔约，故而姚潜父子虽说不如过去风光恣意，但穷奢极侈的生活品质并没有受到太大影响，还没到忍无可忍的地步，直到，复兴二年秋。
族人亲谊纷纷寻姚潜控诉，因为他们再也不能从行商手中低价购入货物不说，竟还遭到以裴子建为首的商贾联合排抵，从前找他们求/购货物的店铺柜坊纷纷悔约，不再合作，这便造成大量货物积压，必须重金租赁货仓，大量扩充人手，因为一旦保管不当，诸如珍贵香料、药材、丝绸等等货物，都可能损毁，这就必须投入更多的资本，最最要命的是，如果抵制行为没有消除，保管得再好，这些货品也没法销售出去，必定血本无归。
姚潜这些亲谊，可从没想过在东西二市开设店铺，说穿了他们打的就是经手的盘算，从行商处低价购得大批货品，转手便高价售予坐商，这一入一出，白白就赚得暴利，这样的操作，必须后台强硬，否则行商们完全可以与各大店铺直接合作，用得着中间再经一道程序?
这条财路一断，姚潜立失供奉，虽说不至于陷入衣食无继的困窘处境，但各项开支必须大幅度的缩减，生活品质立时降低，他当然痛恨那些落井下石的商贾，然而姚潜何尝不知裴子建的后台是谁?他就算真是一只刺猬，也不敢直接去扎这只后头站着老虎撑腰的狐狸。
可从奢入俭谈何容易?就算姚潜可以容忍反复使用刷了清漆再无松木自然幽香的洗脚桶，他的妻妾却无法适应左右仆婢竟然只能穿着布衣丝绸华服太过昂贵，仆婢们难免要做些端茶递水的活计，易使华服损耗，只能穿着更加廉价的衣裙，女眷们认为贴身仆婢身着布衣太过寒酸，就算不用见客，自己看着也影响心情，还哪有公侯显贵的气派?至于姚大郎、二郎、三郎等等，就更不能忍受要将各自驯养的上百良驹，单留二、三匹备用，绝大多数都必须售让，因为上等草料消耗过度，家用实在入不敷出。
家人抱怨连天，姚潜越发心浮气躁。
对于极其疼爱的长子，某日因为一件鸡毛蒜皮的小事，姚潜竟然大发雷霆施以掌掴。