无论新旧《唐书》，对于李泌在代宗朝的事迹，描述得都很简略，着墨远不及此前在肃宗朝，或者其后在德宗朝。包括小说当中，二人之间那段基情四溢的对话，其实都不见于正史，而出自《邺侯家传》。
《邺侯家传》的作者是李泌之子李繁，《旧唐书》说此人“少聪警，有才名，无行义”，《新唐书》的评价差不多，云“少才警，无行”，也就是说他能力是有的，道德品质却差了很多。则既为李泌之子，相关乃父之事，应该能够搜集到更多秘辛，同时也难免会有所粉饰，甚至于有所编造。《家传》所载，还应该对照正史，正不可轻信也。
根据《家传》所载，李泌是在代宗继位后不久，便受诏自衡山来归的，最晚当不超过广德元年（763年），然后到了大历三年（768年）端午，代宗以“为何独无所献”为借口，逼迫李泌“食酒肉，有室家，受禄位，为俗人”，也就是说，李泌在禁中长住了五到六年时光。
其间有吐蕃陷长安，代宗出逃事，有仆固怀恩引回纥兵作乱事，有周智光割据华州事……种种惊天动地的政局异变当中，完全不见李泌的身影，则说他才华出众，且为代宗宠信，证据跟哪儿哪？而且其后代宗与元载合谋，缢杀鱼朝恩，也似乎并无李泌的参与。
则李长源是彻彻底底遁入阴影当中，做起了幕后黑手呢，还是只在宫里吃闲饭？
哦，有一段时间，他还得陪着代宗在陜州吃闲饭，以避吐蕃的兵锋。