在台北，李登辉借住川端町(今台北市古亭街一带)的水利会宿舍，他为自己的房间取了一个很有共产主义意味的名字“普罗寮”。在台大，他结识了正在台大法学院学习的中共地下党员吴克泰，两人成了无话不谈的朋友。他们经常一起讨论时事问题，吴克泰的许多观点，李登辉都深表赞同。后者给前者的印象是，人比较厚道，肯用功读书，做事认真，而且思想进步。1946年9月，经时任“省工委”组织部长张志忠的同意，吴介绍李加入中共。
入党后，除了每周一次的组织生活，组织上没有交给李登辉什么具体任务。1947年1月9日，台北爆发了大中学校基本上全部参加的空前规模的反政府游行，吴克泰是这次游行的组织、领导者之一。为了保存力量，地下党员本可以不参加此次活动。但当台大学生队伍走到新公园附近时，吴克泰一下看到正手臂高举、呼喊口号的李登辉，他不像本地人的一米八几的高个子，在游行队伍里犹如挺拔的钻天杨一样醒目……
“二二八事件”遭镇压后，吴克泰被通缉，来到上海，这期间没再与李登辉联系。当年8月下旬，吴再返回台湾，任台北“市工委”委员，“学工委”书记。没多久，“省工委”书记蔡孝乾告诉他，李登辉要求退党，要他去了解一下情况，争取把李登辉留住。在李登辉的女友曾文惠家，吴终于找到了李登辉。问李为何要退党，李回答说党内不纯，有人有野心。并表示退党后，一定会保守党的秘密，同时也要求组织为他的这段历史保守秘密。吴克泰看其去意已决，没有多说什么，回去后马上报告了蔡孝乾，蔡一脸勃怒之色，但只好被同意了(参见《吴克泰回忆录》台北人间出版社2002年版)。
