1796年12月到次年的3月，参加完这段”跛脚会议”的国会后，麦迪逊就退休了。这是他 20 年来第一次不担任公职。他没有详细解释自己退休的决定；他只是想回家。在给父亲的信中，他说自己在这一点上”不会灵活变更"，然后讨论了蒙彼利埃家中的苜蓿作物。
更重要的消息已经宣布：乔治-华盛顿不再连任第三届总统。总统遵循了麦迪逊四年前给他关于如何安排退休宣告的建议，于9月中旬在费城的一家报纸上刊登了他的告别演说。开头几段还是麦迪逊为他写的草稿，当时麦迪逊恳求总统不要使用而是继续担任总统。这段内容现在出现成了一段对逝去友谊的秋日纪念。《告别演说》的正文由华盛顿和汉密尔顿合作撰写，说明了他们友谊的密切，他们阐述了党派之弊和“热衷依赖于外国”的危险。在华盛顿看来，这些都是共和党的特征，因此《告别演说》既是对麦迪逊的抨击，也是对他的纪念。
华盛顿的退休预示着美国政治史上一件新鲜事将要开始，那就是竞争式的总统选举。四年前，当麦迪逊敦促华盛顿不要不做总统时，他提到他的潜在继任者是约翰-亚当斯、约翰-杰伊和托马斯-杰斐逊—两位联邦党人和一位共和党人。杰伊的前途已经被他与英国订的条约所引发的风暴吞噬。亚当斯虽然因为谈论头衔和世袭继承权而伤痕累累，但他的年龄（1796 年 10 月年满六十一岁）、资历（自波士顿大屠杀以来，他一直是位杰出的爱国者）和八年尽职尽责（虽然枯燥乏味）的副总统生涯都值得称道。杰斐逊并不是一位日理万机的共和党领袖（麦迪逊和最近的阿尔伯特-加勒廷担任这一职务）。但他雄辩、成熟（53 岁），几乎是与亚当斯一样杰出的革命人物。他代表着南方，就像亚当斯代表着北方一样。
在当时，由总统候选人及其竞选伙伴组成的选票是靠不住的，因为《宪法》没有考虑这一点。宪法第二条第一款只规定，每位总统选举人应投两张独立的选票。得票最多的人将成为总统，得票第二多的人将成为副总统。但既然政党已经出现，真正的选票也就出现了，正副总统也是要考虑的。据了解，亚当斯的竞选伙伴是托马斯-平克尼（Thomas Pinckney），他是来自南卡罗来纳州一个大家族的外交官，而杰斐逊的竞选伙伴则是纽约参议员亚伦-伯尔（Aaron Burr）。南北搭配对获得足够的选票是必要的。
共和党的所有机制，以后来的标准看是陈旧的，但以其当时的方式却是强大的，就像十八世纪的一些装置、纺纱机或蒸汽机一样被开动起来工作了。共和党这一方，伯尔在其牧师祖先的故乡新英格兰待了六个星期，召集当地的政治领袖。在宾夕法尼亚州，约翰-贝克利（John Beckley）以直接邮寄和媒体宣传相结合的方式向拉拢普通选民，分发了3万份印刷好的共和党人应投票选举的“总统选举人”名单，注意这是总统选举人，而不是总统候选人。后者的名字不出现在选票上。总统选举人再从总统候选人中选举总统副总统。由于法律禁止宾夕法尼亚州人携带印刷名单前往投票站，贝克利还敦促共和党人要手抄名单，作为最后一刻的提示。
尽管麦迪逊期待着退休，但他一如既往地肩负着处理托马斯-杰斐逊选举事务的重任。由于杰斐逊是一位不情愿的总统候选人，因此现在的任务尤为棘手。1789-1790年，当麦迪逊帮助华盛顿说服他的朋友杰斐逊担任国务卿时，他曾带着总统的邀请在弗吉尼亚州追着杰斐逊到处跑。这一次，他反其道而行之，远离蒙蒂塞洛，这样杰斐逊就无法当面告诉他自己不要参选了。9月底，他用密码给门罗写道："我没有见到杰斐逊，我认为最好不要让他有机会提出抗议"。
杰斐逊确实希望不参加竞选，正如他写给一位通讯员的信中所说的那样，"我的意愿是在山上或地里种植我的玉米、豌豆等"。他的不情愿是经过深思熟虑的。热内和杰伊提出的外交政策问题在接下来的四年里不会变得平静，杰斐逊宁愿让亚当斯来处理这些问题。如果说杰斐逊说不想参选主要是装腔作势，那么他不想获胜也是精明的政治和地缘政治本能的计算。幸运的是，1796 年（以及之后的多次选举）的总统竞选中，候选人并不被期望做竞选这样粗俗的事情，也就是说他可以不出面进行竞选。
1796 年，普选（一人一票）和全州赢家通吃都不是常规。在一些州，立法机构挑选总统选举人；在另一些州，人民直接投票选总统选举人，但以选区为单位计票。贝克利在宾夕法尼亚州的努力取得了成功：杰斐逊获得了该州 15 张选举人票中的 14 张。伯尔在新英格兰的努力则不成功，因为亚当斯赢得了那里的所有选票，在纽约、新泽西和特拉华州也是亚当斯胜。两位候选人瓜分了马里兰州，杰斐逊则横扫南部地区—除了弗吉尼亚州和北卡罗来纳州各有一张选举人票投给了亚当斯。
最终，亚当斯以 71 票对 68 票击败杰斐逊；平克尼和伯尔落后（两党的一些选举人将”第二”票投给了其他人。【译者：如果按今天的赢者通吃，那么杰斐逊70对69胜。】）。因此，美国的总统和副总统是互相竞选的两个人。即亚当斯是总统，杰弗逊是副总统。然而，这两人多年前就是朋友。在1796年结束之际，杰斐逊动情地给当选总统写了一封充满回忆温情的信。他在信中写道：”公众和报纸最近一直在把我们对立起来。我相信，我们自己对此感受较少”。他回顾了竞争情况，然后总结道"希望您的执政充满荣耀和幸福......这是一个......还保留着我们为独立而奋斗的时代对您的崇高敬意的人的真诚祈祷"。
元旦那天，杰斐逊把这封没有封口的信寄给了麦迪逊，征求他的意见。麦迪逊发现自己的处境与杰斐逊在《人的权利》一书中的评论出现后不得不对杰斐逊进行劝说时的处境如出一辙。当时他不得不向杰斐逊保证自己做得对。现在，他必须防止杰斐逊做错事。
麦迪逊的答复以谦虚和恭敬的口吻开头。他写道，鉴于"做出错误判断的重要性，我在回答时感到非常焦虑"。但这也是对杰斐逊的提示：朋友，你不要做出错误的判断。
然后，麦迪逊开始说出自己的意见。他问杰斐逊，热心而积极地推动您竞选的人怎么办？他们的努力是否应该因为您对共同的敌人表现出这样的好感而被”贬低”？从贝克利到伯尔，每个人整个秋天都在为您工作；不要因为您对亚当斯好而亏待了他们。麦迪逊指出，亚当斯作为总统以后必然会说反共和党的话，做反共和党的事。在这种情况下，”把这么多赞美之词书面交给[他]，可能会造成真正的尴尬”。不要给运气（fortune）当人质，当然更不要以书面形式。麦迪逊作为党人的建议是杰斐逊也应该像个党人，作为朋友的建议是杰斐逊应该注意自己不要做错事。
但是，如果杰斐逊仍然希望把信送出去，麦迪逊在任何事情上都可以服务，答应把信送出去，不过他补充说，最好把信的日期改动（postdate），不要让人知道杰斐逊在寄信时犹豫不决的事实。
杰斐逊感谢麦迪逊的建议。他内心的一部分非常珍惜与亚当斯的友谊（尤其是对他们友谊的回忆）。但他的另一部分知道政治游戏是如何玩的，也知道麦迪逊了解这一点。麦迪逊就像一个盒子，当杰斐逊的精明与他的其他冲动或情感发生冲突时，他可以把精明放在这个盒子里面。但杰斐逊总是记得如何再次找到它。这封信从未寄给亚当斯。
杰斐逊并不是唯一一个考虑跨越党派界限合作的人。亚当斯在 1797 年 3 月就职前夕曾想过，他是否能让麦迪逊成为一名外交官。
美国在法国需要一个有效的代表。法国人对杰伊条约非常愤怒，认为与英国的和平是对他们的敌意。美国需要一个代表，或者甚至是一个由两三个人组成的特别委员会。有谁能比麦迪逊更适合做这个人或其中之一呢？
即将上任的总统如是想，并问即将上任的副总统杰斐逊是否愿意转达这一提议。
杰斐逊传达了这一信息，答案是：不行。麦迪逊曾在旅途中生病，他害怕漂洋过海。但他拒绝的一个更重要的原因是政治因素。在他看来，美国与法国的问题是联邦党人向英国倾斜所引起的。现在修复美法关系就等于替联邦党人做事，将自己与他们的议程和命运绑在一起，无论多么间接。让亚当斯来收拾他自己（以及华盛顿、汉密尔顿和杰伊）的烂摊子吧。党派之争超越了三英里的界限。
除了政治考量，麦迪逊还需要时间调整一下。这是他成年生涯中唯一的一次，但现在就是那个时候。
家庭事务让他心力交瘁。他最喜欢的哥哥安布罗斯（Ambrose）的种植园毗邻蒙彼利埃，还在政治上为麦迪逊负责照看着奥兰治郡（其实也不需要太多照看），但四年前，安布罗斯去世了，享年 38 岁。与此同时，麦迪逊的父亲，这位老上校，也真正老了--1797 年他将年满 74 岁（麦迪逊的母亲将年满 65 岁）。就在麦迪逊失去兄弟的时候，蒙彼利埃和他的父母也都需要照顾。一直支持着他的种植园现在也需要他的支持。
在承担新责任的同时，麦迪逊还必须为他的新家庭重新布置蒙彼利埃。增建新翼只是第一步，接下来他还必须将新翼与三分之二的旧建筑进行美学整合。杰斐逊在蒙蒂塞洛增建了一个门廊，麦迪逊决定也增建一个门廊。这将改变他的房子的轴线，并在视觉上将其连接在一起。
蒙彼利埃的门廊、门廊上的新前门以及门廊后面的新客厅都是一项长期工程，工作一直延续到下个世纪。麦迪逊是从杰斐逊那里借来的工匠，也从那里得到灵感，尽管他并不是事事都听从他们的建议。詹姆斯-丁斯莫尔（James Dinsmore）是一位木匠，在来到蒙彼利埃之前曾在蒙蒂塞洛和白杨林工作过，他建议麦迪逊将新客厅上面的二楼加高"一英尺或十八英寸....。目前的地板太低，不适合我们希望在门和侧灯上采用的装饰"。麦迪逊的回答没有被记录下来，但显然是否定的，因为丁斯莫尔写了第二封信，承诺"让我们的工作适应目前的天花板高度"。如今，这个故事在蒙彼利埃被当作对麦迪逊谨慎的赞美和对杰斐逊奢侈的嘲讽来讲述：如果木匠告诉蒙蒂塞洛的主人将其中一层楼的高度提高一英尺，他会回答：照做。但这个故事是双向的：如果审美对你来说真的很重要，而且多加一英尺可能会有不同的效果，你就会加高，以后再付钱（或不付钱）。
麦迪逊利用丁斯莫尔和借来的另一位杰斐逊木匠约翰-尼尔松来置换他父亲的一些手工作品。老上校的商业铁匠铺就在房子北角的一排棚子里。但麦迪逊和他的家人从新翼可以直接看到它们。他让人把这些棚子换成了一座希腊神庙--由十根圆柱组成的小圆圈支撑着一个优美的圆顶。神庙在某种程度上是实用的，因为在它的下面有一个地下冰库：冬天从池塘里锯下来的冰就储存在这里，装在稻草里，一年四季都可以用来冷却饮料，还可以用来制作冰激凌，多莉就是因为这个成名的。神庙及其冰库为社会甚至政治带来了好处，尽管其盈利能力不如铁匠铺。(麦迪逊缩小了铁匠铺的规模，并将其搬走）。
与此同时，共和党在没有麦迪逊的情况下也能自己维持一段时间，因为他和杰斐逊把他们的政党建设得不错。众议院的领导权交给了加勒廷，麦迪逊称他为"真正的宝藏"。加勒廷比麦迪逊小10岁，比杰斐逊小18岁，出生并成长于日内瓦一个受过教育、勤劳的寡头家庭。然而，当阿尔伯特出生时，加勒廷家族已经一贫如洗，于是1780年，19岁的他来到美国赚钱。他卖过茶叶，教过法语，炒过地皮，但这些都没有让他发财，尽管他在宾夕法尼亚州西部的一个测量师办公室里遇到了乔治-华盛顿。这位伟人正在计算当天的账目，自言自语地大声说着数，这时加勒廷给出了正确的答案。华盛顿瞪了他一眼，算完后又抬起头来说："你是对的，年轻人。"
加勒廷在政治方面也很有天赋。1790年代初，宾夕法尼亚州议会选举他为参议员，但联邦党多数派以技术性问题为由拒绝让他就任。他于是进了众议院来让他们不舒服，他的法国口音遭到了联邦党众议员们的嘲讽：执政党的愚蠢，攻击外人的方式让所有外人都变成了反对者。他与汉娜-尼科尔森（Hannah Nicholson）的婚姻巩固了他的政党地位，汉娜-尼科尔森是纽约市一位人脉广泛的共和党人的女儿。
在1796年大选的推动下，联邦党人在众议院中的势力已经强大到足以解雇约翰-贝克利（John Beckley）的书记官职务，但他还是通过利用和滥用信息，成功地扳回了自己的一局。他扳倒的联邦党人是亚历山大-汉密尔顿（Alexander Hamilton），用的是翻出来的老丑闻。
几年前，一个名叫詹姆斯-雷诺兹（James Reynolds）的骗子指控汉密尔顿进行内幕交易（雷诺兹说他利用财政部秘书提供的情报进行交易）。国会中的共和党人--包括当时还是参议员的詹姆斯-门罗--得知雷诺兹的指控后，威胁要揭发汉密尔顿。但汉密尔顿说服了他们，让他们相信他与雷诺兹的真正联系是被他敲诈勒索，因为他与雷诺兹夫人有染。共和党人打了退堂鼓，但门罗将此事告诉了杰斐逊和贝克利。五年后，贝克利将此事提供给了共和党新晋记者詹姆斯-卡伦德（James Callender）。
卡伦德在撰写了一本激进的小册子后，逃离了他的故乡苏格兰。他对自己的使命有着崇高的认识：他吹嘘说，小册子作者是"每场革命的主力军"，是"冲向压迫堡垒的排头兵"。1793 年，他来到费城，找到了一份为报纸记录众议院辩论的工作（今天，他被称作"联合记者"）。在那里，他遇到了贝克利。工作结束后，他觉得自己认识了麦迪逊，或者说熟悉了，于是写信询问是否能在弗吉尼亚州找到一份教师的工作。结果并无所获，卡伦德又回到了小册子的写作中。
他将贝克雷提供给他的独家新闻刊登在 1797 年夏天出版的一本小册子上。这立刻成了美国政坛最劲爆的新闻。
汉密尔顿的反应显示了他力量的弱点。他自己出版了一本长达九十五页的小册子，通过承认自己是个通奸者来否认自己的腐败；他同时印刷了情妇的情书和她丈夫的勒索信。公众既兴奋又震惊。麦迪逊在杰斐逊的信中写道："这是一个奇特的标本，""作者巧妙的愚蠢"。尽管汉密尔顿将继续领导他的党派，但他已经受到了不可磨灭的侮辱。
联邦党巨人战胜了自己。他对卡伦德的回应过于详细，过于个人化。他不知道什么时候该息事宁人，也没有辅佐者为他作战。麦迪逊不可能一对一地打败他，但麦迪逊也不必如此，因为他已经帮助自己的政党培养了一批辅佐者。在雷诺兹事件中，他们开展了个人毁灭政治。这不是绅士所为，但却是政治进程的一部分。麦迪逊是不会碰雷诺兹事件的，但没有必要；那是贝克利和卡伦德的工作。一个政党，就像一个家庭，比任何个人都要庞大。也像一个家庭一样，其成员不必彼此喜欢，甚至不必彼此特别了解。只要他们有共同的忠诚，每个人都可以为大家工作。
在对待卡伦德的问题上，杰斐逊没有麦迪逊那么谨慎；他认为卡伦德是个"天才"，还给他一些小报酬。卡伦德暂时为共和党事业做出了贡献。
1797 年夏，约翰-亚当斯派往法国的使团中没有麦迪逊，成员包括外交官托马斯的兄长查尔斯-科茨沃斯-平克尼、亚当斯在马萨诸塞州的老朋友埃尔布里奇-格里，以及精明强干的弗吉尼亚联邦党人约翰-马歇尔。他们在法国发现的东西引起了一场风暴，这场风暴将共和党人击倒在地，激起杰斐逊和麦迪逊绞尽脑汁拼命努力，然后将他们推向胜利，所有这一切都发生在不到三年的时间里。
法国大革命的当代化身--"督政府"（Directory）--与其前身相比既温和又激进。它在国内放宽了断头台的统治，同时横扫德国、意大利和奥地利（它新聘用的年轻将领之一是科西嘉炮手拿破仑-波拿巴）。这些执政官在任何地方都是卑鄙无耻的--从外国攫取贡品，从所有与他们打交道的人那里收取贿赂。刚来巴黎的三个美国人就像待宰的新鸡。
平克尼、格里和马歇尔奉命尽力修补与法国的关系，就像杰伊与英国的关系一样。1797年10月初，他们与之前被逐出教会的主教塔列朗（Talleyrand）外长会面了15分钟，但随后就再也联系不上了。取而代之的是各种中间人，他们要求向法国提供贷款，并为自己"掏腰包"。"不，不，一个六便士也不行！"平克尼在一次会议上感叹道。美国人成了一出古老戏剧中的人物：《海外无辜者》。马歇尔给家里寄了两封信，描述了他们的处境，并把咄咄逼人的法国人分别指定为X、Y和Z。
1798 年春，这些信件如惊雷般传到美国。法国人被揭露为恶霸、敲诈勒索者，几乎是抢劫犯。X、Y和Z甚至比公民热内还要糟糕：当时，一位大使自讨没趣；现在，法国政府侮辱了美国的荣誉。
联邦党人被激怒了，也被激起了斗志。国会成立了一个新的海军部，授权对西印度群岛的法国船只采取敌对行动，并投票决定为一支军队提供资金，以防法国试图入侵美国（这种担心不太可能发生--但有传言说督政府可能会入侵英国本土）。华盛顿将被召回指挥，汉密尔顿将成为他的副手。平克尼的感叹变成了祝酒词："数百万用于国防，但没有一分钱用于进贡"。
麦迪逊在蒙彼利埃恐惧地注视着这一切。他写信给杰斐逊说，马歇尔的信被用来"在人民中间点燃火焰"。这是战争狂热政治影响的"庄严一课"。"也许这是一个普遍真理，即国内自由的丧失"是在"来自国外的真实或假装的危险"的威胁下发生的。
麦迪逊是在五月写这封信的，当时也没什么美国自由的丧失。春去夏来之际，两部新法律的通过让他的担忧称为现实。《外国人法》允许总统驱逐任何他认为”危害”国家"和平与安全"的非公民外国人，无需听证或审判。《煽动叛乱法》规定，发表或出版任何有关联邦政府或国会的"虚假、丑闻和恶意"言论均属联邦犯罪。
这些法律既具有党派性，又具有广泛性。联邦党人感到了新来者的压迫。爱尔兰移民已经开始涌入，即使不是五十年后如洪水波涛那样，也因在旧国受压迫和动乱的驱使下汹涌而至；在他们的新国家，共和党是英国的的敌人，就将成为他们的朋友。加勒廷不是外国人吗（汉密尔顿不是吗？ 联邦党人忘了这一点）？
新闻业是一个自由市场。两百年后读《联邦党人》或托马斯-潘恩的作品，我们会记得其高度。但十九世纪初的美国新闻记者满足了各种口味，包括底层新闻。报纸--在一些城市每天出版，最成功的报纸每周还出版全国版--创造了现代媒体文化：生动、新潮、歇斯底里、淫秽。菲利普-弗里诺（Philip Freneau）关于华盛顿被送上断头台的幻想曲，只是二十年来谣言和诽谤狂欢的早期插曲。联邦党人有自己的报纸，他们散布自己的谎言，但作为执政党，他们的损失最大，因此他们也希望通过法律来保护自己。他们将《煽动法》的有效期定为1801年3月3日，也就是下一届总统就职典礼的前一天，以防就职者不是约翰-亚当斯。
麦迪逊和杰斐逊分别于 7 月在蒙彼利埃和 10 月在蒙蒂塞洛见面了两次，计划反击。文件记录不多；他们显然对使用邮件，即使是密码邮件不放心。他们制定的计划是每人写一套决议，由友好的州议会通过--麦迪逊在弗吉尼亚州，杰斐逊在肯塔基州。这些决议将作为共和党的立场文件，为该党在全国范围内发泄不满和号召。每套决议都将由一名代理人提出（其真实作者几十年内都不会为人所知）。
《肯塔基州决议》于 11 月中旬通过，《弗吉尼亚州决议》于圣诞节前一天通过。
麦迪逊的这套书篇幅较短，没有那么紧迫，但更加紧凑有力。他用一段话概述了自己的思想框架：联邦政府是各州之间的契约；联邦政府的权力仅限于《宪法》中列举的权力；"在蓄意、明显和危险地"行使其他权力的情况下，各州可以"进行干预，以阻止罪恶的发展"。
接下来，他讨论了当前的危险。他一开始就进行了概述，说白了就是夸大其词：联邦党人措施的”明显倾向”是"绝对君主制，或者至少是混合君主制"。谁是君主？国王约翰-亚当斯一世？然而，当他说到具体细节时，他的观点变得清晰而令人信服。《外国人法案》在两个方面违反了《宪法》：驱逐外国人是联邦政府没有得到授权的权力，总统可以随意行使这项权力，这就混淆了行政和司法职能。《煽动叛乱法》与第一修正案背道而驰，这让麦迪逊有更多机会解释其重要性："自由审查公共人物和措施的权利"是"所有其他权利的唯一有效保障"。
他的补救措施是让弗吉尼亚州宣布《外国人法》和《煽动叛乱法》违宪，并让各州采取"必要和适当"的措施来捍卫自己和人民的权利。
麦迪逊在决议的开头和结尾都赞扬了联邦和《宪法》，称其为"相互友谊的保证和共同幸福的工具"。他以保守主义和捍卫既定秩序为己任，并向盟友伸出了橄榄枝。他在补救措施中重复了这一姿态："各州"应该"干预以制止......邪恶"，他们应该共同采取"必要而适当的"自卫措施。(当然，"必要和适当"正是汉密尔顿和其他联邦党人用来扩大宪法权力的措辞。麦迪逊在偷走敌人的武器时，是否在向他们眨眼？）
杰斐逊的《肯塔基决议》给人一种不同的感觉。这些决议包含了一些杰斐逊最擅长的炽热散文：“（盲目）信任在任何地方都是专制的根源；自由政府建立在嫉妒而非信任之上….。那么，在权力问题上，就不要再听到对人的信任了，而要用宪法的枷锁来束缚他，使他不再为非作歹”。他对宪法的提法不像麦迪逊那样是合议制的，而是像离婚律师在梳理婚前协议。那样对宪法解析。他沉醉于对抗的姿态，称违宪行为“没有权威、无效、没有效力”；他甚至说一个州有权”废除”这些行为，直到肯塔基州立法机构删除了这个词。杰斐逊是革命家，而不是保守派；他渴望采取行动，必要时独自行动。他和麦迪逊各自回顾了自己一生中的重要事件：杰斐逊的《宣言》和"76 年精神"；麦迪逊的《宪法》和"87 年精神"。
1790 年代是一个疯狂的年代，麦迪逊对迫在眉睫的君主制威胁的偏执并非他一人行为（当偏执弥漫时，杰斐逊从未远离）。联邦党人事实上并不致力于君主制，无论是绝对君主制还是混合君主制。亚当斯是联邦党人中的异类，他在文章中提到了君主制的优点，甚至私下里写道，君主制会在他死后降临美国。但即使是他，在有生之年也不会期待或希望君主制的到来。然而，共和党人在每张床底下都寻找君主主义者，因为共和主义是如此新颖，显得如此脆弱。谁知道会有什么复发呢？
与此同时，联邦党人也有自己的妄想症：他们认为敌人是无神论者、雅各宾派、断头台（共和党人的漫画和言论，从弗里诺开始，不就使用了断头台吗？）联邦党人之所以对这一切耿耿于怀，是因为法国大革命确实席卷了欧洲，推翻了比我们古老得多的政府，而美国的共和党人对法国大革命十分钦佩。联邦党人有他们自己的脆弱幻想来吓唬他们。
《弗吉尼亚州决议》和《肯塔基州决议》最初引起的反响绝大多数是负面的。当时共有十六个州—最初的十三个州，加上佛蒙特州、肯塔基州和田纳西州。其中十个州的立法机构明确拒绝了这两项决议（纽约州的立法机构称其为"煽动性和有害的"）；其他四个州的立法机构没有发表任何评论。
麦迪逊和杰斐逊孤立无援。但没关系，斗争才刚刚开始。在政治上，并非所有事情都取决于你。有时，反对派是你最好的朋友；它可以打破阵营，也可以越权。联邦党人两者兼而有之。
在法国，督政府开始发出信号，希望与美国进行认真的谈判；欧洲的军事逆转使执政党变得更容易接受。亚当斯总统于1799年2月宣布，他将派遣一个新的使团，这使得他的党派分裂为忠于亚当斯的人和希望继续向法国和国内共和党人施压的死硬派。
联邦党人在国内施加的压力变得盛气凌人，继而令人生厌。为击退法国可能的入侵而采取的军事措施耗资巨大，而为这些措施支付的税款也十分沉重。1799 年春，宾夕法尼亚州发生了第二次税收叛乱，该州东部的德国农民赶走了财产税的征收者。虽然没有发生暴力事件，但国家还是派军队逮捕了违法者。这是对威士忌酒叛乱的模仿：威胁轻微，反应过于严厉。一位军官写道："一名中士和六名士兵就可以完成任务"。
亚当斯总统从未执行过《外国人法》，但根据《煽动叛乱法》有 14 起起诉。联邦党法官对被告大开杀戒。来自佛蒙特州的共和党议员马修-里昂（Matthew Lyon）因在自己编辑的报纸上撰文称约翰-亚当斯"攫取权力"和"荒唐的浮夸"而被定罪。他被罚款 1,000 美元，在冰冷的牢房和臭气熏天的厕所里关了四个月。詹姆斯-卡伦德因称亚当斯为"丑陋的两性人"而被捕，被罚款 200 美元，并被判处 9 个月监禁。《曙光报》编辑本杰明-富兰克林-巴奇（Benjamin Franklin Bache）在候审期间死于黄热病，从而逃脱了牢狱之灾。接替他的爱尔兰移民威廉-杜安（William Duane）通过威胁揭露政府机密和转入地下躲过了各种起诉。政府的税收和煽动政策既令人讨厌又十分激烈，让联邦党人既可恨又可鄙。
如果说弗吉尼亚州和肯塔基州是共和党的抵抗堡垒，那么现在就是它们最优秀的共和党政治家挺身而出的时候了。1799年4月，麦迪逊参加了弗吉尼亚州议会的竞选，轻松获胜，结束了他的休假。
当议会在 12 月召开会议时，他们面临着一个悲痛的任务。14日，乔治-华盛顿因喉咙发炎去世，享年67岁。麦迪逊提议议会在整个会议期间披麻戴孝。”他说，”他的死亡使我们的国家失去了最杰出的装饰品，使世界失去了最伟大的恩人之一"。他多年来一直在政治上与华盛顿作对，华盛顿也因此与他断绝了关系。但麦迪逊从未接受他们之间的疏远，他对父亲的形象忠诚到底。
麦迪逊利用议会会议为 1800 年的选举做准备。尽管得了一场痢疾，他还是写了一份长达两万字的《关于外国人法案和煽动叛乱法案的报告》，于1800年1月发表，为《弗吉尼亚决议》进行了辩护和阐述。除了肯塔基州之外，其他各州的沉默或蔑视都没有让他感到害怕。他像一个赌徒一样，在最初的赌注上加倍下注。
他认为，各州是法律合宪性的最终仲裁者。这一角色属于各州，因为宪法是经各州同意批准的。一些批评《弗吉尼亚决议》的州将仲裁者的角色交给了法院。麦迪逊对此不屑一顾。法院本身的行为可能违宪："司法部门......可能会行使或认可危险的权力。.可能行使或认可危险的权力"。各州必须对司法机构进行评判。毫无疑问，麦迪逊受到了这样一个事实的影响，即当时的法院掌握在联邦党人手中，而联邦党人的法官正在积极执行《煽动叛乱法》。
在他的报告中，麦迪逊让共和党所有的爱马都跑了出去。汉密尔顿的《合众国银行》和他的《制造业报告》与《外国人法》和《煽动叛乱法》一样违宪。联邦制的草率立法将"为君主制铺平道路"。他警告说，总统甚至可以"随心所欲"地"管理"他的继任者。(这一指控引发了美国王朝的幽灵，被证明是有先见之明的，尽管也具有讽刺意味，因为将展示如何在一代人的时间里维持总统王朝的是麦迪逊和他的弗吉尼亚朋友，而不是联邦党人）。
麦迪逊的报告雄辩地捍卫了新闻自由。"理智和人性战胜谬误和压迫所取得的一切胜利，都要归功于充斥着种种弊端的新闻界"。捍卫新闻界的弊端与捍卫新闻自由同样重要；弊端是新闻自由不可避免的后果。"与其修剪掉一些有害的枝条，损害那些结出适当果实的枝条的活力，不如让它们继续茂盛地生长"。试图控制新闻界就是试图扼杀历史。如果煽动叛乱法案生效几十年，美国人可能永远不会取代《邦联条款》或摆脱英国的统治。
新闻自由不是赋予记者的特权；它是公民责任的另一个名称。"讨论"其代表的错误，"通过舆论审查来控制他们"，"根据宪法规则促进补救"--即在下次选举中选出新的代表--既是聪明而忠实的公民的义务，也是他们的权利。
因此，麦迪逊在其报告中将合宪性、统治的适宜性等一切问题的最终评判者从各州转向了公众舆论。弗吉尼亚州议会是他一年来一直使用的论坛，因此他在论战决议中自然会强调各州。但公众舆论才是他真正的主场。就像安泰一样，当他站在舆论场上时，他的力量是最强大的。
麦迪逊和杰斐逊的决议将共和党人塑造成受困自由的捍卫者。联邦党人的过激行为和分裂只会强化他们的主张。如果美国真的受到了法国的威胁，那么征税和肆意起诉似乎都是值得的。但亚当斯总统本人通过与法国政府重开谈判，告诉美国它并没有受到威胁。亚当斯作为和平缔造者可能会赢得一些荣誉。那么，他和他的政党为什么要支持战争政策呢？
1800 年大选的候选人几乎与 1796 年相同。尽管党内存在分歧，亚当斯还是领导了联邦党的选票。这次他的平克尼竞选伙伴是查尔斯-科茨沃斯，XYZ任务的老兵。共和党人再次支持杰斐逊和亚伦-伯尔（Aaron Burr）。杰斐逊这次参选无需哄骗—联邦党人的政策确实让他感到震惊，而且当时的地缘政治形势也很有利：亚当斯在承担了所有备战的恶名之后，正在为与法国实现和平做准备。
与此同时，麦迪逊还在处理本州的政治事务。他参与了将弗吉尼亚州的选举法改为赢者通吃的努力（这次不会再有来自无赖选区的亚当斯的一票了）。他还帮助向伯尔保证，南方选举人不会将"第二"票浪费在其他候选人身上。
无论共和党人如何努力，联邦党人如何失误，1800 年的选举都是一场势均力敌的较量。由于各州投选举人票的时间不同，而且决定许多州选举人票数的立法选举更为分散，因此选举结果在全年都在悄然产生。亚当斯和平克尼横扫新英格兰，只浪费了一张"第二"票。伯尔通过策划共和党在纽约州议会中的横扫，赢得了该州的选票，从而证明了自己在该党选票中的地位。汉密尔顿的大本营被粗暴地夺走了。"我们打败了你们，"伯尔对一位联邦党人说，"靠的是出色的管理。"联邦党人赢得了新泽西州和特拉华州 共和党人赢得了弗吉尼亚州 乔治亚州 肯塔基州和田纳西州按选区投票的马里兰州和北卡罗来纳州出现分裂，宾夕法尼亚州也是如此，其选举人票是由陷入僵局的立法机构投出的。
一切都到了南卡罗来纳州，又一个查尔斯-平克尼--尽管是查尔斯-科茨沃斯-平克尼的二表弟，却是共和党人--为杰斐逊和伯尔守住了这个州。最终，杰斐逊和伯尔各获得73票，亚当斯获得65票，联邦党人平克尼获得64票。
但是，由于《宪法》不承认选票--尽管两党各自都有事实上的选票--杰斐逊和伯尔打成平手。平局必须由众议院打破，每个州作为一个单位进行投票。联邦党人在众议院的力量足以阻止杰斐逊彻底获胜。出于不满，他们在35张选票上都投给了伯尔。最后，在1801年2月17日，足够多的联邦党人在第36次投票中让步，杰斐逊成为总统。
正如汉密尔顿、麦迪逊和杰斐逊十年前安排的那样，这次选举的结局在国家的新首都上演，首都以华盛顿的名字命名，位于波托马克河畔。麦迪逊没有到场。随着时间的流逝，他患上了风湿病，而他的父亲也奄奄一息。老詹姆斯-麦迪逊于 1801 年 2 月 27 日去世，离他 78 岁生日还差一个月。"他的儿子在给当选总统的信中写道："生命之火熄灭得相当突然，尽管非常轻柔。"当麦迪逊于5月抵达华盛顿时，他不再是年轻的上校，而是国务卿。