谢衡、左思倚案对坐，秉烛长谈。左思感叹道：“思口讷，不善言谈。谢兄非当年博士，‘皓首穷一经’，也非布衣儒生，而是晋朝的太子少傅。弟恭贺。可你是否注意到，来往的宾客，除了太学官员外，朝中世族大姓，只来位少年阮瞻，其他大姓世族不见人影，也不见贺信，就连一贯抨击九品中正制的左仆射刘氏子弟、出身庶姓而儒雅重士的司空张华，也未送来只字片言。难，难。”
　　
　　听完老友的一席话，谢衡也陷入了沉思。太子少傅是皇帝钦封，而不是世族大姓的命官，在大世家眼里，自己并无半点高贵。作为太子的老师，貌似显赫，其实当今太子是一个傻子，和他谈论古今犹如对牛弹琴，而如此身份又使自己不可避免地卷入残酷的宫廷斗争，每天如履薄冰，战战兢兢。不过，既然自己选择了仕途之路，为振兴门楣，也只好一步一步走下去。
　　
　　谢衡有两个儿子，长子谢鲲，次子谢裒。谢鲲童稚之年，却好学聪颖，兴趣广泛。父亲读经，他跟着吟诵；父亲操琴，他弹动手指；父亲谈论，他倾耳细听，不时冒出几句，发音稚声奶气，但话语独到，常令人咂舌不已。谢衡很注重对儿子的教育，文章诗赋、诸子百家，不断往儿子的脑海里灌输。有一天，谢鲲问起当今的豪门，谢衡耐心解释道：“太尉琅玡世族，几辈在朝，位居公卿，只尚谈玄，不察政事。晋朝虽说开国创业，恐远图甚难。为父儒学，一介书生，改变不了朝政，与世族公卿摩擦，只怕立足也难。”