袁世凯之所以赞同唐绍仪出任首任内阁总理，皆是因为他认为自己有恩于唐绍仪，唐算是他的人。但唐绍仪并不简单，朝大了说，此人有很大的政治抱负，朝小了说，此人是不甘寂寞，不愿做傀儡之人，而且在政治倾向上，实为同盟会会员的他更靠近孙中山。但袁世凯岂能受制于人，几个回合下来，唐绍仪的责任内阁就搞不下去了，最后只好被迫辞职，从此离开政治舞台。
在接下来的很长一段时间，唐绍仪基本上就是民国政坛上的点缀和看客，直到1931年出任家乡中山县的县长。中山县是孙中山的故乡，地位特殊，唐绍仪接这个差事，除了因为传统士人的家乡责任感，更多地是想以此为阶梯，重返政坛。遗憾的是，1934年广东新军阀陈济棠以“索饷”为名发动哗变，最终将其逼走了。之后的唐绍仪在香港住了一段时间，之后便搬去了上海。
作为上海滩有名望的“寓公”，唐绍仪依旧如从前那样不甘寂寞，但因为在中原大战、宁粤分裂期间多次参与反蒋，他不仅与老蒋互不信任，后来更没能获得老蒋的重任。1937年上半年，中日关系日趋紧张，老蒋迫于现实这才计划借用唐绍仪在外交上的声望与才干，要求他出使美国让美方出面调停，后又因耗资太大，转而让他以英美为中介，与日本直接接触谈判。
算算年龄，此时的唐绍仪已经是七十好几的古稀老人了，按说应该归隐“山林”，寻一稳妥之地安度晚年去，但从唐绍仪之后的表现看，他似乎依旧有寻机重返政坛的想法，并热衷于他所擅长的谈判斡旋。争取重返政坛，发挥自身的政治能量，这本没有错，要命的是，唐绍仪没能看清身处的时局，日本人只想诱降国民政府，根本没有和平的诚意。
抗战全面爆发后，他滞留上海对日谈判不仅不会取得任何成果，相反只会召来有意当汉奸的质疑与猜忌。事态的确是朝这个方向发展的，当日本人抛出“南唐（唐绍仪）北吴（吴佩孚）”的计划后，老蒋慑于唐绍仪的资历、威望，猜忌之心日甚，一再催促他离开上海，但唐绍仪却始终不愿离开，老蒋无奈，只好退而求其次，利用他以私人资格向日本探寻议和条件。
很明显，这是老蒋的勉强之举，权宜之计，稍有风吹草动，他是一定会调整策略来处理唐绍仪的。也许是因为确实老迈的缘故，身处是非之地、危险漩涡，唐绍仪的反应十分迟钝，许多人打着他的旗号私下接触日本人，落水当汉奸，这对他其实已造成了说不清道不明的不利，但他却还是坚持不抗、不降、不走的姿态，任凭老蒋对他的猜忌日甚一日。
日本人很卑鄙，在大力诱降的同时，还曾打算以绑架的方式逼唐绍仪就范。在上海活动的军统获知这一情报后，尤其是土肥原亲自登门造访了唐绍仪，戴笠认为唐绍仪事实上已经落水，老蒋对此也是深为不安，他十分担心唐绍仪在日本人的扶持下出面组织伪政府，和自己唱对台戏。就这样，军统暗杀计划秘密获得了批准。现已明确，唐绍仪被刺是军统上海特区副区长赵理君牵头策划实施的。
