作为衢州籍名士，徐安贞与家乡联系紧密。开元初年，衢州刺史徐知仁主持修缮当地徐偃王庙，特请徐安贞撰写碑文，此碑成为衢州重要文化遗存，韩愈在《衢州徐偃王庙碑》中亦提及此事，可见其在家乡文化建设中的核心作用。他的诗作中也常流露乡土情怀，《送丹阳采访》中“郡县分南国，皇华出圣朝”等句，既显使臣风采，亦含对江南故土的眷恋。

徐安贞的文学成就享誉盛唐，尤善五言诗，风格清丽典雅，兼具写实与抒情之长。《全唐诗》收录其诗作11篇，涵盖应制、送别、咏怀等诸多题材。《题襄阳图》中“岘山思驻马，汉水忆回舟”，以景寄情，余韵悠长；《闻邻家理筝》则以“曲成虚忆青蛾敛，调急遥怜玉指寒”的细腻笔触，将听觉转化为视觉意象，尽显诗才。其诗文原多卷，后虽散佚，明代童佩仍辑其遗文编为《徐侍郎集》，得以传世 。

在唐朝天宝年间，李林甫独揽大权，专横跋扈，朝堂之上一片乌烟瘴气。而徐安贞，这位正直的官员，也因为李林甫的专权而受到牵连。为了躲避这场灾祸，徐安贞不得不逃离京城，来到衡山的岳寺中避难。为了不引起他人的注意，他决定伪装成一个哑巴，成为寺庙里的佣人。就这样，徐安贞在岳寺中度过了数年的时光。他默默地工作着，没有引起任何人的怀疑。

直到有一天，北海太守李邕来到岳寺。李邕是一位慧眼识才的人，他一眼就看出了徐安贞的不凡。尽管徐安贞装哑，但李邕通过观察他的举止和神态，还是识破了他的伪装。李邕与徐安贞交谈后，对他的才华和品德深感钦佩。他决定帮助徐安贞摆脱困境，让他能够重返仕途。于是，李邕为徐安贞写了一封推荐信，推荐他到北方去任职。

徐安贞感激涕零，他带着李邕的推荐信，踏上了北归的路途。经过一番辗转，他终于得以重新回到官场，继续为国家效力。然而，好景不长。安史之乱爆发后，唐朝陷入了一片混乱。徐安贞看到国家如此动荡，心灰意冷，决定辞去官职，隐居在湖南平江。

唐玄宗对徐安贞的贤德一直念念不忘。当他得知徐安贞隐居在平江后，便封他为东流子，以表彰他的功绩和品德。徐安贞在平江度过了余生，他与夫人邹氏相依为命，过着平静的生活。他去世后，被追赠为尚书，与夫人邹氏合葬在平江三墩乡。

如今，徐安贞的墓冢依然保存完好，成为了岳阳市的重点文物保护单位。人们来到这里，缅怀这位古代贤士的功绩和品德，感受他的传奇人生。