高云衢十岁之前都跟在祖父身边。她们家这一支子嗣不丰，她祖父只有她母亲一个孩子，她母亲也是年近三十才有了她，视若珍宝。她的祖父是永初帝潜邸的旧人，在永初与延兴两朝平步青云，官至右相，但为相不久便因旧疾复发而致仕辞官，带着高云衢回了鹤州老家。
在鹤州的童年是高云衢最无忧无虑的时候，祖父喜爱她，抱着她在膝头教她读书。而她是天生的慧骨，过目能诵，读书对她来说全无难度，祖父便差人教她学武学琴棋书画，就算是这样她也还有闲情招猫逗狗，打马过长街。西林县的街里街坊都认得她，也都喜欢她。
忽有一日，她自城外跑马回来，在家门口利落地翻身下马，老管家上来迎她，替她解了披风嘘寒问暖，高云衢迈开腿往府里进，便问道：“祖父呢？”
“大人在庭院里躺着，叫我们别去打扰。”
“我去寻他。”小女郎兴致勃勃地往里冲。
她如一道风，穿过厅堂与回廊，撞进了祖父的院子。夏日与秋日交接的时候，天还没彻底凉下来，但这小院里已经有了些萧索的味道，寂静沉默。而后小女郎闯了进来，带着欢笑和朝气。
“祖父祖父！”
老人在软榻上睁开眼：“今日去做了什么？”
小女郎依偎在他身边叽叽喳喳地与他说起今日的见闻，老人安静地听，褶皱老朽的手轻抚她细弱的发丝，眼眸含笑。
“祖父在做什么呢？”
“唔……在听秋日的声音。”
“那是什么声音？”
“哈哈，是你还听不见的声音。”老人爽朗地笑起来，他拍了拍女郎的发顶，叹道，“转眼你都这么大了，我也老了，怕不是看不到你成人了。”
“祖父必会长命百岁的！”女郎邹起眉头道。
“哈，人老了总会死的，哪有人长命百岁呢？”老人慈爱地道，“阿衢，你太聪明了，这几年我教了你很多东西，但似乎没有哪一个是你有兴致的，是不是？”
“那些都很好，我也有在认真学，如何才算是有兴致呢？”高云衢有些茫然，她学什么都快，但也什么都不从心头过。
“有什么是你愿意全副身心投入去做的吗？”
高云衢细细想了想，方道：“……尚无。”
“哈，我给你取名云衢，期盼你青云直上，却不想你找不到自己的路呀。”
“祖父？我……”
“无妨，找不到咱们就慢慢找，一直往前头走，顺着你的心意走，路会在你脚下的。”老人停顿了一下，忽道，“我给你取个字吧，虽早了些，但我也不知我还能不能等到那日。”
“祖父！不要说这般不吉利的话。”高云衢急道。
老人没有管她，接着说道：“就叫履霜吧。慢慢走一直走，但记得看着脚下。”
第二日，祖父在睡梦中溘然长逝。
母亲高忱从京中赶回来奔丧守孝，高云衢消沉了好长时间，她的母亲抱着她哄着她，在夜间陪她入睡。过了一年，她出了孝，人也沉稳了许多。她母亲接手了她的教育，惊喜于她的资质，增加了治经的课业。十三岁时，高忱出孝起复，回京之前为高云衢规划好了未来。可谁知高云衢并不肯。
“你说什么？”
“母亲，我不想做官。”高云衢声音清脆，掷地有声。
“不做官你做什么去？”
“做一狂生又有什么不好呢？为什么非要违背本心去做汲汲营营之事？”
“你……你可曾想过，你能过这读书作画的安稳日子，是因为你姓高，是因为你祖父曾为右相，是因为我现今是正三品的朝官！”
“可那有什么意思呢？我若拼了命地往上走，谁又来享受这一切呢？”高云衢不明白，祖父叫她依着本心行事，她觉着入世向俗无趣，便想出世问玄。
母亲被她的诡辩气得头疼，骂了她几句，又叫她振振有词地顶了回来。母亲怒气上头抽了她一顿，罚她跪在庭院里反省。
她倔强地跪在那里，想起了祖父。高步云衢是官居显位的意思，但祖父从不说要她入仕攀高，教她的也都是史书杂记诗词歌赋，想起什么便教什么。而母亲高忱才是那个一心要光宗耀祖泽被后代的人。高云衢想，一门三宰，门楣光耀，外人赞颂，这些虚妄的东西值得自己耗尽一生吗？
她跪了很久，久到母亲向她妥协。她跟着母亲回了京城，书照读，经照治，但不下场。她母亲起复了礼部尚书，忙得没空管她，她认识了京中的大户子弟，跟着扬鞭策马游戏人间，十足地像个长在京中的放荡纨绔。
转变在十四岁，这一年是大比之年，母亲做了春闱的主考。延兴帝不算是个宏才大略的君王，诸事都延续了永初朝的旧例，小心地维护着太平盛景。可在那休养生息的表面下，守旧派与革新派打得头破血流，党同伐异的手段一日比一日下作。在这当口，延兴九年的抡才大典成了党争的角斗场。高家是纯臣，哪边都不靠，油盐不进。也是延兴帝手腕松，养大了某些人的心，净想着朝科考下手。先是寻高忱极力拉拢，希望能叫她高抬贵手多放几个人上榜，被高忱严词拒绝，她自己虽然荫官出身，却也知道科举之重要，自不敢做这样的事。