据曼努埃尔所知，加夫拉斯的家族名一开始似乎是“加布里埃尔”（Gabriel）的变音。换言之，最早的加夫拉斯也就是他祖宗真正的姓名很可能并非加夫拉斯。
不过这都是马其顿王朝以前的事了。虽然不知道他这位“加布里埃尔”祖宗当年到底有何成就，但至少在马其顿王朝时，发迹于查尔迪亚的加夫拉斯家族就已经小有名气。而在君士坦丁·加夫拉斯，他们家族的首位家主创立了加夫拉斯家族后，有几位家族成员成功在中央和地方担任要职，或镇压或参与各种叛乱，算是给家族打下了根基。
到了曼奇刻尔特战役后，帝国的小亚细亚几乎尽数沦陷于乌古斯人之手时，他们加夫拉斯家最伟大的那位祖宗：西奥多罗·加夫拉斯，站了出来。彼时身为军区将领的西奥多罗凭一己之力在老家拉了万来人大军，在11世纪80年代时成功从突厥人手上收复查尔迪亚军区。而后续科穆宁王朝首帝阿莱克修斯虽然对于他在本都搞自治世袭统治很是不满，但迫于现状也最终承认并册封他为查尔迪亚总督。
可惜后来西奥多罗的幼子君士坦丁继承总督之位后，在与约翰二世·科穆宁的政治斗争中落于下风，外加这位“美男子”皇帝顺利打穿了黑海沿岸，使得查尔迪亚军区失去了自治的根基而重新收归直辖。在这之后，君士坦丁也拖家带口去君士坦丁堡定居，跟一直在那作人质的哥哥格里高利·加夫拉斯会合。而他们兄弟二人也正是现在所有加夫拉斯的前身。
顺带一提，这期间由于怨恨科穆宁夺去了家族领地，有的加夫拉斯先后叛逃到了罗姆苏丹国为塞尔柱家族效忠。比如亚尔斯兰二世后期的大维齐尔伊赫蒂亚尔·阿拉丁·哈桑·伊本·加夫拉斯（IkhtiyarAl-DinHasanIbnGhafras）就是叛逃到罗姆的某位加夫拉斯的儿子。
再到后来，随着加夫拉斯家族的扩大发展，留在帝国境内的他们也产生了比以往都巨大的分歧。最后在安德罗尼卡一世·科穆宁篡位后并开始大步改革时，加夫拉斯家族的政治分歧更是极度分化。
提到加夫拉斯家族的分化就不得不提一下安德罗尼卡一世这位科穆宁王朝的末代皇帝了。从某种意义上，安德洛尼卡是最符合后世东方人幻想的皇帝。他风流倜傥，杀伐果敢，还很敏锐地看出了当时帝国的问题所在，推行了大刀阔斧的改革。这期间具体施行过程也很简单——
幼主阿莱克修斯二世？杀！
皇太后玛丽？杀！
不听话的皇亲国戚？杀！
弄权的亲信？杀！
不交税的小贵族？杀！
抢占贸易的拉丁人？杀！
被卷入叛乱的普通罗马百姓？杀！
巴西琉斯就是罗马唯一的太阳，正教的第十三位使徒，杀杀杀杀杀杀杀！
然后科穆宁王朝就众望所归地崩溃，由安杰洛斯王朝继承大统。可喜可贺，可喜可贺。
即便闹到了这份上，加夫拉斯家族内部仍有部分依旧坚持拥戴安德罗尼卡的子嗣。但包括主支在内的大多数加夫拉斯更多是恨不得让这位暴戾的皇帝及其后人滚得越远越好。而占少数的前者便被排挤，最终在1204年的动荡期间并伙同安德罗尼卡余党带着他孙子阿莱克修斯与大卫逃到了本都的查尔迪亚军区建立了特拉比松帝国；而后者的核心成员则是继续留在君堡，直到1204年第四次十字军东征的灾难过后，主支等多数派才陆陆续续逃难到尼西亚或伊庇鲁斯，并在巴列奥略收复君堡、科穆宁·杜卡斯在伊庇鲁斯的统治瓦解后陆续龟缩回君堡，继续作为加夫拉斯家族的主支而存在。
虽说自己这支的祖宗最终是跟着安德罗尼卡的孙子去本都建立了特拉比松，但对于安德罗尼卡这位神似波指导的皇帝，曼努埃尔着实没有半点好感。