我国古代名将、民族英雄岳飞，在南宋初年曾到过广东，此后，他的一家，包括孙儿、孙女，绝大多数都曾长期居留广东，与广东结下了不解之缘。
宋高宗建炎四年(1130年)，金兵从南方退走后，原来在江苏、安徽一带抗击金兵的岳飞，被改派讨伐“流贼“。自此，约有整整三年，他从江苏、安徽转战到江西、湖南、湖北，再经广西、广东，最后到江西；在这不止“八千里路云和月”的征程中，他于绍兴二年(1132年)领八千精兵从湖南到广西追击曹成，在广西贺州境内大破曹成十余万众于桂岭，随即分遣张宪等将领乘胜追踪，经广东境的连山、连县等地，将曹成残部赶入湖南(最后降于韩世忠)，他本人也与诸将“会连州(今连县)”：这时岳飞的长子岳云才十四岁，已随军作战，他们父子二人在广东境内大约只度过戎马倥惚的几天便离去，以后再也没有来过。当时江西还有许多支“流贼”，常骚扰广东的循、梅、潮、惠、南雄、英、韶、广诸州，岳飞于绍兴三年奉命到江西征剿，又派出徐庆等将领，授以方略，将从江西进入广东、福建各地的“余贼，皆破降之。”岳飞在广东攻打曹成和在江西指挥广东战事，都是速战速胜，使当时的广东人民大大减轻了战乱之祸。
从绍兴四年到绍兴十年(1134—1140年)，岳飞作为独当一面的大将，在抗金事业中立下了辉煌战功。但是，功高反而受戮，他终于在绍兴十一年的最后一天(1142年1月28日)与长子岳云、爱将张宪蒙冤而死。岳飞死后，家属遭株连，全被流放到岭南，这就开始了他的家属与广东的一系列因缘。
《宋史•岳飞传》只说岳飞死后财产被没收，“徙家岭南”。具体说是在广东惠州。
关于岳家流放惠州并述及在惠州的具体情形的资料．仅见于南宋洪迈所撰的《夷坚志》，他在“岳侍郎换骨”条中说：岳商卿(岳霖字商卿)和他的弟弟岳震（建民加注：应为二兄岳雷），以及岳飞的夫人、女儿都被“羁管”在惠州，并被管押在惠州兵马都监衙门后面寺庙墙角旁的土筑的房子里，岳霖与岳震同住一室，两床相对，小屋“仅足容身，饮食出入、唯部监是听”，又说这种情形—直继续到岳家冤案平反为止。洪迈的父亲洪皓，于绍兴十七年(1147年)因反对和议得罪秦桧而被流放到英州(广东英德)。当时洪迈随父在英州，这里离惠州不远，不难打听到岳家的一些消息。所以，在上述记载中，关于岳家流放惠州，在惠州军事长官兵马都监严格管制、言行皆极不自由的恶劣环境下度过漫长岁月，达些基本情况是确凿可信的。
另外，岳家流放惠州，在后来岳珂搜集在《金佗稡编》一书中的官方文件里也得到证实。隆兴元年(1163年)六月，吏部颁布了一张发还岳家被没收田宅的《告示》(岳家冤案己于两年前平反)，其中说，要把朝廷发还岳家田宅和给岳飞的孙子岳琛一个官位的决定，行文下达惠州，让岳家的人知道，这一则官方文件，是岳飞死后家属长期流放惠州的确证。
据《宋史》载：岳飞共有五子：云、雷、霖、震、霆(据岳珂说、岳霆原名岳霭，后来宋孝宗为他改名岳霆)，后来岳云追复原官，岳雷死后赠官，其余岳霖等三人亦各为官。岳飞被害时年三十九，在他生前，已是子孙满堂了。据岳珂后来搜集在《金佗续编》中的若干官方文件，得知绍兴十二年(1142年)岳家一门流放到惠州的计有：岳飞妻李夫人；子岳雷、岳霖、岳震、岳霭（即岳霆），女儿安娘；岳云妻巩氏，岳云的长子年方五岁的岳甫，不到两岁的次子岳申，四岁的女儿大娘；岳雷妻某氏，三岁的女儿二娘，于流放当年出生的长子岳经，共十三人。其中岳雷夫妇，大概在流放十年以后，相继死去(据岳家平反时岳雷幼子十二岁推知)，另外，安娘在流放期间出嫁。所以，岳家在惠州期间计减员三人。但在这二十年内，岳家出生和新娶的则有：岳雷的三个男孩岳纬、岳纲、岳纪、女儿三娘，岳霖的妻子某氏、儿子岳琛，共增员六人。亦即由流放初的十三人增至十六人。
岳家一门后来离开惠州流放地，时间先后不同，至少分三批。
第一批是在岳飞冤案平反前不久离开惠州的。这时，宋高宗正淮备禅位给宋孝宗，他因受到舆论谴责和过于信用秦桧的教训，已命“还岭峤之诸孤”，即允许岳飞家属离开流放地，随便到哪里居住。所以，在孝宗即位前，岳云的妻子儿女和岳雷的六个子女，便已从惠州迁出，并于绍兴三十二年(1162年)四月初到达谭州（长沙），在那里住了下来。这时距流放之初正好二十年，岳飞的一大群孙儿孙女，只举岳云的长子岳甫为例，已是二十五岁的成人了。同年六月，宋孝宗即位，不到一个月(七月十三日)，他便在太上皇宋高宗已经有所“松动”的基础上开始为岳飞平反昭雪，“追复岳飞元官，以礼改葬。”此后的三四个月内，岳家除已死者复官和赠官外，岳飞的三个儿子，岳云的两个儿子，岳雷的四个儿子，都被授于正式官职或名义官阶，同时朝廷预允给岳云、岳雷三个女儿的未来丈夫授官。这几个月内，岳霖等三人到京城杭州办理父兄有关平反事宜和接受官职，是离开惠州的第二批。两年后，吏部所发《告示》及岳琛授官的文件下达惠州后，岳飞的家属就全部离开了流放地。
岳家平反离开惠州后，因成年男子(包括安娘的丈夫高祚)都有官职，各赴东西，但是，岳飞的儿孙中，至少有岳霖、岳震、岳珂三人到过广东并在广州居留：淳熙六年(1179年)以前，岳震曾任“广南东路提举常平司干办公事”的官职，住在广州，掌管广东官府买卖粮食、调节粮价的事务和管理茶、盐两种商品的贩运。岳霖在绍熙三年(1192年)任“广南东路经略安抚使、知广州”，即广东最高军政长官兼知广州府。他还把年方十岁的幼子岳珂带在身边。岳霖这时已老，就在这一年的十月，死在广州任所。岳霖死后，岳珂扶着父亲的灵枢离开广州，经大庾岭回到北方。
岳霖担任广东最高长官的时间不长，没有留下他治理广东和广州府的具体事迹；岳震在广东的官位不高，仅在《永乐大典》残本中见到提及岳震担任广东常平官的两篇短文。倒是在广州时年纪还很小的岳珂，后来凭回忆，在其《桯史》一书中，记下了一条他在广州亲眼所见的很有价值的资料(即“番禺海獠”条)，其中叙述了南宋时期在广州居住的外国商人的生活状况，广州高级官员对外国商人以礼相待和双方互相宴请的融洽关系，回教教堂建筑和光塔的特殊构造等。至于岳飞的一部分事迹和岳飞子、孙两代人的许多经历，包括他们在惠州的一部分家庭情况，也因岳珂将其辑录于《金佗稡编》(及《续编》)中，才为后人所知。
