沙勿略回到澎湖学院，发现自己对这里的宗教政策真是无计可施。李彦直也不是禁绝天主教，只是不支持、不鼓励、不提倡，虽然仍有一部分人跑到澎湖学院里的小教堂来听沙勿略宣讲，但大部分人都想孝廉老爷没信，那多半不是什么好货，就没响应。
沙勿略在澎湖学院教了半个月的书，陈羽霆但凡有空就来找他聊天，最初还是探讨一些天文物理的知识，后来就常常谈信仰了，沙勿略因鼓励他冲破体制牢笼帮忙传教，陈羽霆却总是摇头，道：“这事还是得等三公子回来了再说。”
沙勿略心想：“这里的人都叫那个李孝廉控制了！不打通他这一关，呆在这里一个世纪也没用！”便请陈羽霆安排自己去找李彦直。
陈羽霆甚是为难，道：“那只怕难以办到。三公子去了京师，如今朝廷禁海，外国人进不了内陆。在福建兴许还能活动，京城就去不得了。神父你要是个日本人，我或许还能帮你装扮装扮，但神父你的模样实在和我们差别太大，没法去的。”
沙勿略又住了数日，眼看事情没有进展，便有去意，本来就想先回卧亚或者满剌加，但这日在港口听一个倭人说起日本的情况，听说那里已经有人信教，甚感兴趣，便要到日本一行。陈羽霆闻言赶来，苦苦挽留不住，只好赠了他一些银两，送他上船。希拉里要跟着去，沙勿略却劝她留下，道：“你好好留守在这里，在教育这里的学生时，记得培养他们敬畏天主的心，这样对以后我们的传教事业会很有帮助的。”
就这样，沙勿略坐了乘最后一趟吹向日本的季风，到达了鹿儿岛。
经过一年多的发展，鹿儿岛这个自由港如今已略具规模，唐客东侵、九州大乱似乎已成为遥远的记忆，东海各处商家大多在这里开设有据点，西日本的浪人也都奔向这里寻找工作。
沙勿略到达鹿儿岛之后，在几个佛郎机大商人的帮助下站稳了脚跟。让沙勿略高兴的是，这里不禁止他传教，但另外一个现象则让他很吃惊：尽管西日本有大量的浪人聚集在这里，但整个鹿儿岛港竟然仍有过半的人口是华人！所以他传教的时候，找的必须是同时精通汉语和倭话的翻译！
“怎么日本也说中国话的么？”沙勿略私下里询问他的翻译，然后才知道鹿儿岛有大量华人的原因！
“都是这两年的旱灾闹的！”翻译告诉沙勿略：“许多中国人在那边都没饭吃，就跑到这边来了。”
这个“许多”，相对于中国东南沿海的受灾人口来说其实并不多，大概只有几万人，其中二三成在渡海的过程中或者被风吹散，或者遇难淹死，或者在船上就病死了，或者来到日本后水土不服，但能留下的就大多是身体强健的人，其数量大概在三万到五万之间。
中国人口流入周边国家是自古就在发生的事情，而去年之所以会一次性流进这么多人来主要有两个原因，一个是海贸的发展让中国到日本之间的运输能力大大提高，但更重要的是：在日本这边有人在主动做安顿来民的工作，第一批灾民被妥善安置的讯息以不同的途径传到南直隶、浙江一带以后，便有更多的灾民源源而至！
不过，这两个原因背后所隐藏的重大图谋，以及此事即将产生的重大影响，就不是此时的沙勿略所能知道的了。沙勿略只是知道，主动安置这些流民的是一个叫做岛津胜久的日本诸侯。
“一个人有这么大的胸襟，甚至能够包容大海对岸的人民，那一定是一个英雄！”沙勿略想。他虽然在印度曾给数以千计的土著进行洗礼，但其实他的传教思路更倾向于先征服上层，然后再普及下层，所以到达萨摩之后便想先去见一见那个叫做岛津胜久的日本诸侯。
沙勿略拜托了佛郎机商人帮自己引见，非常顺利地，他很快就和岛津家的人有了接触，不过让他意外的是：接见他的竟然是一个和尚！
这一日，沙勿略在向导的带领下，徒步走出鹿儿岛港，却并不直接往鹿儿岛城去，而是来到了鹿儿岛城西南二里的一座新的庄园。
沙勿略发现，这座庄园很新，许多建筑都只是打了个桩，在他观察入微的洞察力下，他推测出这个庄园的劳动者应该都是中国人。
“这里是萨摩的华园了。这里原来只是一片荒地，是玄灭法师招徕唐客，才有了今日的气象。”向导告诉沙勿略，像这样的华园，在萨摩附近一共有四座，分别叫附郭华园、西南华园、萨东华园和山谷华园，“这里就是附郭华园了。”
这四座华园围绕着鹿儿岛清水城，四园一城，构成了岛津胜久的全部领地，每一座华园都是以一座村寨的形式屹立着，外围开辟了田野，若出现强盗或发生战争，就撤入城寨之内防守。每一座华园的人口大概是八百人到三千人不定，每五个人就有一个被训练成了民兵。此外，鹿儿岛清水城内部也安置了大量的唐客，内外加起来，胜久领地内的唐客竟已超过万人，且都被严密地组织了起来，其中一千八百人成了职业士兵。