作为美国历史上第四位前总统，麦迪逊同样做了他的前任们做过的事情，那就是住在家里，接待访客。与华盛顿和杰斐逊一样，他的成长经历和阶级背景使他非常适合扮演这一角色。弗吉尼亚州绅士的家既是温馨之家的壁炉边也是舞台，向家人、邻居和朋友开放，就总统的家而言，也向爱国者和好奇者开放。多莉在蒙彼利埃以她惯有的潇洒风度主持着演出，她的金刚鹦鹉为演出增添了色彩和刺激（它经常咬人）。但最吸引人的还是麦迪逊。他是一道风景，就像自然桥一样。一位年轻的蒙彼利埃男性游客表达了他的普遍看法，尽管和他一起参观的年轻女性让他分心。”事实上，漂亮女孩我可以找到很多，但麦迪逊先生只有一个”
年龄提升了他的地位。多年来，麦迪逊的健康状况一直不好，他也一直担心自己的健康状况不好，但他仍坚持向前迈进。他活过了他的前任华盛顿、亚当斯和杰斐逊--这并不奇怪，因为他们都是上了年纪的人，但他竟然也活过了他的直接继任者詹姆斯-门罗。随着岁月的流逝，宪法的其他 38 位签署者以及参加制宪会议但未签署的 16 位签署者相继离世，其中一些人死于非正常原因--除了理查德-斯派特和亚历山大-汉密尔顿死于决斗之外，弗吉尼亚州的乔治-怀特也被急不可耐的继承人毒死，纽约州的约翰-兰辛在一天晚上外出寄信后失踪。麦迪逊是最后一个屹立不倒的制宪者。孤独使他更加显赫，就像平原上的一座小山。
他的退休生活并非一帆风顺。像弗吉尼亚州的其他绅士一样，他花了很多时间考虑如何从自己的土地上获得更好的回报。他被选为当地一个农业协会的主席，并在协会里做了关于等高耕作和肥料的演讲。这些都效果平平。种植园蒙彼利埃在他担任国务卿和总统的几年里，尽管有监工的照顾，但还是取得了不错的成绩，因为美国小麦在饱受战争蹂躏的欧洲卖出了好价钱。但和平的回归和竞争促使价格下降；而且从印第安人手中夺来的美国新农田产量更高。1825 年，麦迪逊的前景十分暗淡，他无法从第二个美国银行获得贷款。
另一个拖累他的是他的继子约翰-佩恩-托德。他的肖像显示出迷人的眼睛和头发，衬托着厚厚的鼻子和更厚重的自我满足感。佩恩童年的悲剧--父亲和年幼的弟弟死于黄热病--以及母亲性格中的某些缺陷，意味着多莉从未管教过他；和许多继父一样，麦迪逊也不愿代替母亲管教他。于是，年幼的佩恩就开始肆意妄为。1813年，麦迪逊让他担任阿尔伯特-加勒廷的秘书，当时加勒廷作为和平谈判代表前往欧洲。后来，他欠下了巨额赌债。麦迪逊有时告诉他的妻子，有时又瞒着她，为他保释了4万美元。
为了维持生计，麦迪逊变卖了土地和其他资产，并将剩余的资产抵押出去。他成功地躲过了吞噬杰斐逊和门罗的破产，但他知道自己的遗产正在减少。
晚年的麦迪逊开创了另一种政治角色--作为贤人和顾问的前总统。华盛顿在短暂退休后接受了军队指挥权，以防法国入侵。杰斐逊给他的门生麦迪逊和门罗写信提建议，约翰-亚当斯则给任何愿意与他通信的人写信。这三个人都是有主见的人，他们继续关注政治。但杰斐逊天性中冷漠和温柔的部分使他接受了辛辛纳图斯的角色，弃竞技场而耕耘；亚当斯是如此奇特和不受欢迎，而且为自己的奇特和不受欢迎而自豪，以至于唯一真正愿意听他讲话的政治家是他的儿子约翰-昆西-亚当斯。麦迪逊一直保持着自己的风格。他的合议习惯对他大有裨益。在他职业生涯的早期，他是理想的初级合伙人；而现在，在他生命的晚期，他是理想的高级合伙人，常常是沉默的合伙人。
麦迪逊在新岗位上最重要的任务之一，就是照看好自己作为宪法制定者的遗产。他身兼规划者、制定者和倡导者三重角色，这赋予了他特殊的发言权，而他的职业生涯告诉他，坚持往往会赢得胜利。因此，他将自己的观点公之于众。
他的一些观点使他与首席大法官约翰-马歇尔（John Marshall）发生冲突。联邦党人作为一个全国性政党已经消失，但联邦党人仍然主持最高法院的工作。麦迪逊一直不喜欢马歇尔（1790 年代初，他曾对杰斐逊说马歇尔腐败："据说马歇尔......最近从银行或与银行有关的人那里获得了金钱上的帮助......这将使每一个有见识的人对他有所了解"）。华盛顿曾劝说马歇尔在1798年竞选国会议员；亚当斯在解雇蒂莫西-皮克林（Timothy Pickering）后任命他为国务卿，随后又提名他为最高法院法官。杰斐逊在第一个任期内试图清除法院中的联邦党留守人员，却以失败告终。但马歇尔一直坚守岗位，发布裁决，并依次为杰斐逊、麦迪逊和门罗主持总统就职宣誓。
1819 年，马歇尔审理了一起涉及（第二次建立的）美国银行的案件。事情起因于马里兰州通过的一项针对州外银行交易的税收。美国银行巴尔的摩分行的书记员詹姆斯-麦库洛克（James McCulloch）在未缴税的情况下开展业务，马里兰州遂将其起诉。上诉到了最高法院。马歇尔做出了有利于银行及其职员的判决，重新审视了目的与手段的争论，这一争论曾在1791年提议成立第一家合众国银行时使麦迪逊和汉密尔顿陷入对立，马歇尔站在了汉密尔顿一边。他写道："如果目的是合法的，并且在宪法的范围之内，那么......所有的手段......都是为了达到目的。......只要明显适合于这一目的，并且没有被禁止，就可以根据宪法使用这些手段来实现这一目的"。"建立合众国银行是一个合法的目的，分支银行是一种手段，马里兰州或任何其他州都不能用征税来阻碍它们。
麦迪逊在给弗吉尼亚州法官斯宾塞-罗恩的信中提出了这一论点。他发现自己的立场与 1791 年时不同，因为他支持第二银行，而在本案中他似乎支持麦库洛克。尽管如此，他还是批评了马歇尔与他的判决"交织在一起"的"普遍而抽象的学说"。麦迪逊认为首席大法官关于目的和手段的声明给了国会太多的回旋余地。"任何事物都与其他任何事物有直接或间接的联系；因此，对任何一件事物的权力，如果不受某种明显而精确的相似度的限制，就可能相当于对其他任何事物的权力。目的和手段可以根据立法机构的聪明才智而被改变其性质......"。加勒廷曾说服他美国银行是有用的，战时金融的混乱向他表明，没有美国银行可能是灾难性的，但他反感马歇尔请国会提出其他创新和削减其他州的权利。
四年后，麦迪逊在给杰斐逊的信中提到了马歇尔的法院。麦迪逊只是不喜欢这位首席大法官，而杰斐逊作为马歇尔的堂兄，却对他深恶痛绝。杰斐逊给麦迪逊寄去了一封反马歇尔的抨击信，他有理由为这封信感到骄傲，因为信中有许多他特有的笔触。杰斐逊写道，马歇尔的判决"悬着......在推论之上推论，从天上到地下，就像雅各布的梯子....。当州政府和联邦政府发生冲突时，首席大法官说，'必须在某个地方有一个终极仲裁者'"。"的确，必须有；但这能证明是任何一方吗？最终的仲裁者是联邦的人民，由他们的代表在大会....。让他们自己决定赋予哪一方权力"。杰斐逊的意思是，不要将宪法问题诉诸法庭，而是要召开大会，就像批准宪法那样。
麦迪逊在回答时，穿上了他在纠正朋友时总是穿戴的机智盔甲。召开大会来解决每一个分歧会"很麻烦"。另一方面，让州政府和联邦政府简单地争斗，会产生"以元帅为首的骑兵队与以警长为首的骑兵队之间的实力较量"--麦迪逊是否有意使用双关语？麦迪逊认为，司法机构是宪法规定的裁决此类争端的合法场所。与杰斐逊一样，他对马歇尔的"法外推理和口述...."表示遗憾。但滥用信托并不能否定信托的存在"。
麦迪逊可能支持法院，也可能反对法院，这取决于具体情况。1800年，在他关于《外国人法》和《煽动叛乱法》的报告中，当联邦党法官热衷于维护后者时，他曾说各州可以对法院进行审判，退休后他认为马歇尔做得太过分了。但他承认法院在联邦机器中占有一席之地。
麦迪逊从未将他对法院的意见整理成一篇总论。他有一种哲学思维，但全面的哲学陈述不是他的风格。他的最后一部巨著不是哲学著作，而是报告或历史记录--他在 1787 年制宪会议上所做笔记的完稿。
1821 年，纽约的反联邦主义者罗伯特-耶茨（Robert Yates）出版了一套与麦迪逊竞争的笔记，这让麦迪逊大吃一惊，耶茨当时在一个月后就退出了大会，并以布鲁图（Brutus）的名义攻击宪法。叶茨已于 1801 年去世；他的笔记由另一位纽约反联邦主义者约翰-兰辛（John Lansing，他的失踪还要有些年头）带出。麦迪逊可能希望耶茨的笔记消失；他在信中称这些笔记”令人震惊"、"错误"和"残缺不全"。这些笔记表明，麦迪逊对国家权力和民众舆论的态度远没有那么友好，不像人们对共和党创始人和《弗吉尼亚决议》作者想象的那样。他们还引用了麦迪逊直言不讳的讲话，而没有使用他的修辞中特有的、符合他的性格的温和措辞。例如，耶茨让麦迪逊在讨论参议员任期长短时说，参议院将成为"民主"的制衡。在麦迪逊自己的笔记中，他说参议院可以制衡"人民部门"和"其他部门的不稳定性"。麦迪逊并不是怀疑耶茨在撒谎，但他从痛苦的经历中知道做笔记很难，他希望如此重要事件的笔记是他自己的。
然而，麦迪逊拒绝发表自己的笔记来反驳耶茨的笔记，或者在他活着的时候根本不发表这些笔记。他意识到，保留这些笔记的时间越长，其影响就越大："这些东西越古老，就越受人喜爱......时间的距离就像空间的距离一样......使它们具有吸引力"。他也不想被卷入争论、被质疑或被反驳；如果在他去世后笔记才问世，他将真正拥有最后的话语权。麦迪逊天生不是一个戏剧化的人，他没有帕特里克-亨利的激情，甚至没有汉密尔顿的激情，也没有华盛顿的精打细算。但就他的笔记而言，他表现出了极佳的时机把握能力。
他的笔记也再次显示了合作在他生命中的重要性，以及他是如何利用合作来成就自己的。在这些笔记中，他与其他 54 位代表并肩作战，其中有几位与他一样聪明，一样能说会道，有几位比他更能言善辩。人们会看到他在争论中败下阵来，差一点儿他就会失去冷静（比如他对奥利弗-埃尔斯沃思（Oliver Ellsworth）说起利西亚邦联中的比例代表制）。这让他成为什么样的宪法之父？从他的笔记中可以看出，他是一群人中的一员，是一帮有争议的兄弟中的一员。然而，这些都是他的笔记。他的耳朵听到了这一切，他的手写下了这一切。他作为现场历史学家的角色将恢复他的宪法父权。他作为大会戏剧演员所失去的东西，将以戏剧家的身份得以恢复。
麦迪逊对其遗产的最后一个关注点是处理他一生中最重要的合作--与杰斐逊的伙伴关系。
杰斐逊让他参与一个新项目—弗吉尼亚大学。杰斐逊梦想着在家门口建立一所全国知名的大学。1818年，弗吉尼亚州同意支持建立一所大学，并将其建在蒙蒂塞洛山下的夏洛茨维尔。麦迪逊担任访客、也就是董事之一；杰斐逊负责监督从建筑地基的铺设到寻找教职员工的一切事宜。退居蒙彼利埃之后，麦迪逊为数不多的几次旅行地点就是蒙蒂塞洛和夏洛茨维尔，几乎每次都是为了大学事务。
麦迪逊认为自己的角色是帮助这位伟人，就像他曾经帮助华盛顿规划运河一样。"因为这个计划最初是杰斐逊先生的"，他告诉其他来访者，"让他用自己的方式来执行是很公平的"。他和杰斐逊为图书馆和课程挑选书籍。开列书单是他们的一种古老的消遣方式；这是一种代人购物、代人阅读，几乎是代人思考的方式。
在选择书籍时，有一门学科需要他们特别关注。杰斐逊写道，”有一个学科”，"我认为我们是最好的法官......那就是政府学"。他建议将《独立宣言》、《联邦党人文集》和《弗吉尼亚决议》（杰斐逊撰写了一篇，麦迪逊撰写了三分之一）作为法学院的必读书目。麦迪逊还补充了华盛顿的首次就职演说和告别演说（另外两篇全部或部分由麦迪逊撰写--尽管为了对这两位弗吉尼亚人公平起见，【或者说这两位是公平的】他们通过《联邦党人文集》和《告别演说》承认汉密尔顿是共同作者）。
这份清单揭示了一个更大的问题，而这个问题在杰斐逊有生之年并没有显现出来：弗吉尼亚大学在十九世纪不可能成为一所伟大的学校，因为弗吉尼亚不再是一个孕育伟大思想的地方。在最好的时期，弗吉尼亚思想的某些成就可以媲美或超越雅典、罗马和伊丽莎白时代的英国。但是，弗吉尼亚最伟大的思想家们带着他们的思想走进了坟墓，而他们却没有被取代。他们留下的文字，就像信条一样被后人珍视。弗吉尼亚绅士的行为准则持续了更长的时间，但由于缺乏智慧的指导，它失去了一半的美好。【译者：如同苏格兰启蒙运动一样，但是这也是客观规律，最闪亮的星星也有暗淡之时。我们只能承认，他们曾经如此光芒四射。】
规划弗吉尼亚大学是杰斐逊最后的工作，他和麦迪逊都知道这一点。1826 年 2 月，杰斐逊给他的这位朋友写了一封告别信。在写了一页大学事务（努力但并非无望）和一页个人事务（相当无望：此时蒙蒂塞罗的主人身无分文，在财政上捉襟见肘）之后，杰斐逊敞开了心扉。"但为什么要用这些细节来折磨你呢？其实我也说不清楚，除非与朋友交流能减少痛苦。我们之间的友谊已经持续了半个世纪，我们在政治原则和追求上的和谐一致，是我在这段漫长的岁月里始终感到幸福的源泉....。你是我一生的支柱。我死后请照顾好我，请放心，我也将把最后的感情留给你"。
麦迪逊在第二周回信。“回顾我们长期的私人友谊和政治和谐，你不会比我更有感触。如果这些对你来说是快乐的源泉，那么对我来说又何尝不是呢？我对你的尊重到了最后：我认识你比你认识我更高兴，因为你是更伟大的人。我希望你能在有生之年能让祖国对你的亏欠更多，也希望你能在有生之年见证祖国对你的感激之情。我给你回报最充分的深情保证的。”【译者：这些词汇，不是中文常见的表达方式。我也并不想把这些话改成中文的方式，毕竟这是两个美国人之间的感情，我们应该可以体会。】
这是他们的个人告别，是对他们曾经拥有和即将失去的一切的礼节性而又充满爱意的承认：不再有书，不再有旅行；不再有关于黄鼠狼、权利或悲惨饥饿妇女的信件。这也是他们与政治和历史的约定。杰斐逊请麦迪逊照顾他的声誉；麦迪逊会尽最大努力让国家对他表示感谢。
作为前总统，麦迪逊发现自己比壮年时更加关注奴隶制问题。
职场政治家麦迪逊曾试图将奴隶制问题搁置一旁，部分原因是讨论奴隶制会分散他对目标的注意力。在1788年弗吉尼亚州批准宪法大会的最后阶段，帕特里克-亨利（Patrick Henry）警告说，宪法序言将允许国会在战时释放奴隶充当士兵，所以他试图破坏宪法。”难道他们没有权力规定一般的国防和福利吗？难道他们不会认为这些需要废除奴隶制吗？"麦迪逊对此嗤之以鼻。"这样的想法从未进入任何一个美国人的内心，我相信也永远不会"
两年后，在关于汉密尔顿财政计划的激烈辩论中，国会收到了一份由本杰明-富兰克林签署的批评奴隶贸易的请愿书。当南方人勃然大怒时，富兰克林在他最后一次新闻作弄剧中，发表了"阿尔及尔议会的西迪-梅赫梅特-易卜拉欣"的演讲，其中他们的论点再次出现，成为穆斯林奴役基督徒的理由。麦迪逊希望所有人都闭嘴。南方人应该让富兰克林和其他请愿者"尽可能少地发出声音"。因此，立法策略家麦迪逊认为：当我们有宪法要通过，或要与汉密尔顿争斗时，不要在奴隶制问题上纠缠不休。
但是，弗吉尼亚人麦迪逊有特别的理由将奴隶制排除在讨论范围之外：奴隶制使像他这样的奴隶主处于自相矛盾的境地。当他们奴役这些奴隶男人和女人的时候，他们怎么能成为自由的先锋呢？原本同情美国事业的欧洲自由主义者，也向麦迪逊提出了这一悖论。19 世纪 20 年代，美国人最喜爱的法国人拉法耶特访问了蒙彼利埃。这位老英雄正在对美国进行最后一次凯旋之旅，但在怀旧和赞美声中，他向主人说"所有人无一例外都有自由的权利"。
北方的联邦党人更粗鲁地表达了这一观点，比如古弗努尔-莫里斯（Gouverneur Morris）就说弗吉尼亚州的共和党人一边"鞭打黑人"，一边"大谈人与生俱来的不可剥夺的权利"。莫里斯没有什么权利开玩笑，因为南北方的许多联邦党人--杰伊、马歇尔、平克尼--也都是奴隶主。但让麦迪逊和他的同行们难堪的可能性是存在的。
麦迪逊在退休后的岁月里遇到了三个解决矛盾的办法。其一是通过更广泛、更稀疏地传播奴隶制来削弱奴隶制，这一策略被称为扩散。在新的美国西部，即路易斯安那地区，奴隶制可以扩散到落基山脉。麦迪逊在 1819 年写给费城记者罗伯特-沃尔什（Robert Walsh）的信中描述了扩散的作用。它将"通过减少属于个别主人的奴隶数量，使他们与更多的自由人混杂在一起，从而改善奴隶的状况"。"在一个更加自由的环境中，奴隶主们将会得到鼓励，他们会在此期间为自己的奴隶赎身，并减轻他们的生活负担"。
扩散反映了奴隶制的一个现实：凡是奴隶制较为密集的地方，如潮水区与山区、南卡罗来纳州与弗吉尼亚州、西印度群岛与美国，奴隶制都较为严酷。但它忽视了另一个现实--即使在人口密度不高的地方，奴隶制也是一种顽强的制度。纽约奴隶制协会成立于 1785 年，但纽约仍有奴隶（最后一名奴隶直到 1827 年才获得自由）。
麦迪逊在 1819 年写给另一位费城人罗伯特-埃文斯（Robert Evans）的另一封信中概述了第二个计划，即殖民计划。这个计划同样需要将黑人送回非洲。麦迪逊在给埃文斯的信中写道，黑人必须"永久地"脱离白人社会，因为两个种族的"偏见""可能是无法改变的"。白人对黑人的"特征"感到"蔑视"，而黑人则对自己的奴隶身份怀有"报复性的回忆"。麦迪逊设想了一个购买和重新安置奴隶的庞大计划。假设有 150 万奴隶，他计算出 6 亿美元就可以完成这项工作。这笔钱可以通过出售几亿亩西部土地来筹集。整个行动应该是一个联邦项目："受益的是国家。因此，国家应该承担起责任"。修正案可以弥补宪法权力的不足。
有这种想法的不止麦迪逊一人。1816 年，一个以在非洲重新安置前奴隶为目标的美国殖民协会成立了；他们在西非海岸选定的目的地就是现在的利比里亚。英国废奴主义者早在 17 世纪 80 年代就开始在塞拉利昂建立类似的定居点。麦迪逊的计划之所以完全不切实际，是因为其规模庞大：他提议花费的资金是 1812 年战争费用的五倍多（1.09 亿美元，不包括退伍军人的福利）。一个尚未通过宪法修正案来修建公路和运河的国家，会承担如此巨大的工程吗？
扩散和殖民化在心理上有着惊人的相似之处：它们通过将黑人安置在密西西比河以外或大西洋彼岸的其他地方，解决了麦迪逊的奴隶制问题。麦迪逊不必搬家，黑人就会远离他。
第三种选择是就近改变。
爱德华-科尔斯是多莉母亲那边的一个小表弟。科尔斯家族是阿尔伯马尔郡人脉广泛的种植园主。爱德华的哥哥艾萨克曾在杰斐逊第二任期内担任他的私人秘书，爱德华在麦迪逊担任总统期间也担任过同样的职务。年轻的科尔斯深信奴隶制是错误的，他对自己尊敬的麦迪逊很放心，可以和他讨论这个问题。当两人在华盛顿看到"一帮黑人，有的戴着镣铐，正在前往南方市场的路上"时，科尔斯会祝贺"我们伟大共和国的首领，他当时身边没有一位外国公使，否则他可能会目睹这一令人憎恨反感的景象"。
1819 年，科尔斯把他的奴隶带到匹兹堡，把他们放在俄亥俄河的木筏上，然后告诉他们，当他们到达目的地--新的伊利诺伊州时，他将释放他们。他给每个奴隶户主 160 英亩土地，给每个奴隶一张证书：”我不相信人对其同胞有财产权，相反，大自然赋予全人类平等的权利，因此，我愿意通过这些礼物，恢复（指名当事人）被剥夺的不可剥夺的自由"。科尔斯传播的是自由，而不是奴役。
科尔斯的解决方案不适合麦迪逊：科尔斯当时 32 岁，有二十几个奴隶，而麦迪逊当时 68 岁，有一百多个奴隶。尽管如此，麦迪逊还是给他的前秘书写了一封贺信。科尔斯不仅把奴隶释放，还帮助他们安顿下来。"据我观察，你对你的黑奴采取了正确的做法，以使他们的自由成为他们幸福的公平试验。"然而，麦迪逊又冷静地想道："我希望你们的慈善事业能够实现它的目标""改变他们的肤色和法律地位"
麦迪逊的担忧是有道理的。伊利诺伊州的自由黑人生活艰难。科尔斯给他以前的奴隶开具的证明不仅仅是他的原则的证明：伊利诺伊州逮捕了无法出示自由证明的黑人。1822 年，科尔斯自己也搬到了伊利诺伊州，他参加了州长竞选，以挫败将新州变为奴隶州的努力；他以微弱优势胜出，伊利诺伊州保持了自由，但严苛的法律和偏见依然存在。他加入了美国殖民协会，并鼓励他的前奴隶们移居利比里亚，但他们拒绝前往。毕竟，他们是美国人。
人类和社会在面对任何问题时都会选择无所作为。这就是麦迪逊和弗吉尼亚的结局。就奴隶制而言，麦迪逊一生中最后一次制宪经历堪称无所作为的典范。1829年，弗吉尼亚州召开大会，重写其革命战争时期的宪法，10月，麦迪逊和多莉离开了他们的蒙彼利埃/夏洛茨维尔社区，这是他们退休后唯一一次前往里士满。弗吉尼亚州的所有名人都在那里--门罗、马歇尔、约翰-伦道夫，但麦迪逊是最杰出的。岁月侵蚀了他的身躯，却没有侵蚀他的思想和精神：一位饭桌上的观察家注意到他"轶事丰富"。
12 月初，他就代表权问题发表了一次演讲。弗吉尼亚州的现行宪法采用了基于郡和选区的分配制度，这有利于潮水地区的种植园主。(他们的郡和选区可能与弗吉尼亚州西部山区的郡和选区一样人口众多，但由于东部有许多人是奴隶，东部的主人掌握着不成比例的政治权力）。弗吉尼亚州西部希望根据白人人口进行分配。这是一种种族标准，但会削弱奴隶主的影响力。
麦迪逊提出了一个折中方案--至少部分基于人口的代表权，把每个奴隶算作五分之三的人。他说，"出于正义、出于人道、出于真理[和]出于我们天性的同情"，奴隶应被视为"其所属家庭的一部分，尽管是有辱人格的一部分"。麦迪逊对将奴隶留在家庭中的关切承认了他们的人格，但弗吉尼亚宪法中的五分之三规则与美国宪法中的五分之三规则一样，都是给奴隶主的政治礼物，也许比基于选区的选举权要小，但仍然是一种结构性利益。麦迪逊的其他代表们围在一起，聆听这位伟人的发言，然后又开始了他们之前的争论，无动于衷。在1830年1月完成的宪法中，东部种植园主得以保留基于地区的制度。当忠实的拉法耶特从法国写信来询问他所喜爱的美国人是否成功地限制了奴隶制时，麦迪逊不得不告诉他没有。"任何关于您非常关心的问题的暗示......都会成为大量火药的火花"。
麦迪逊一生都与奴隶生活在一起。他是如何看待奴隶制的？关于奴隶？他天性中的同情心是什么？在他身上，我们几乎找不到杰斐逊身上的那种感情色彩--不做作、不痛苦、不疯狂。没有人想象过，更没有人指控过麦迪逊有一个奴隶情妇，他的著作中既没有神罚的幻象，也没有疯狂的种族理论。
大约在 1821 年的某个时候，他尝试了一种新的体裁--南北方的寓言故事，故事中的两个部分分别叫做乔纳森-布尔和玛丽-布尔，他们是约翰-布尔（英国）的后代，现已结婚。他从未出版过这本书，令人欣慰的是，他的作品鲜为人知。玛丽的左臂似乎是黑色的，是被"某种非洲染料"染上的，当时一艘船"驶入流经她庄园的一条河"，卸下了"有毒的货物"。这个污点让乔纳森无缘无故地与她反目成仇。这个故事充满了自怜和推卸责任：玛丽否认是她"自找的不幸"，她说她和乔纳森一样"急于"除掉它，并且已经"尽我所能"来减少罪恶。什么都做了，就是什么都没做。在故事的结尾，乔纳森被玛丽的抗议"感动"了，他们的"争吵......结束了，就像恋人之间的争吵和已婚人士之间的争吵一样，他们的感情增进了"。麦迪逊没有再提及黑手臂或有毒货物，因为它们不是故事的重点，乔纳森和玛丽的小争吵才是。解放奴隶不在他的议程上，他只想维持南北之间的和平。
但随着岁月的流逝，他的思绪始终无法从这个话题上离开。1835 年，年轻的英国一神论者哈丽雅特-马丁诺（Harriet Martineau）拜访了他，她正在美国游览（这是英国作家的时髦活动：特罗洛普夫人记录了她的旅行里程，查尔斯-狄更斯也将紧随其后）。马丁诺发现麦迪逊"生动活泼，经常嬉戏打闹"，但有一个话题让他很郁闷。"关于奴隶制，他认为自己几乎绝望了"。他谈得最多的是奴隶制，"毫无限制、毫不犹豫地承认奴隶制的所有罪恶"。他同情白人女主人，她们被迫管理着不值得信任的仆人；他同情女奴，她们 15 岁就怀孕了。"他指出，整本《圣经》都反对黑人奴隶制；但神职人员却不宣扬这一点"。
他唯一的希望就是利比里亚。马蒂诺对此并不认同。在将近二十年的时间里，美国殖民协会重新安置的人口不到 3 000 人；与此同时，美国的奴隶人口每年增加 60 000 人。马蒂诺认为，"像他这样的头脑，怎么可能从这一来源缓解焦虑，这令人惊讶"。
在奴隶制问题上，麦迪逊所有的智慧和政治技巧都无济于事。他的政治才干失败了，而他的失败是建国一代的典型代表，而不是领导者。一些创始人在当地做出了贡献--杰伊、乔治-克林顿、亚历山大-汉密尔顿以及纽约州奴隶制协会的其他创始人开始了长达 42 年的解放进程。少数人做出了个人贡献--华盛顿在遗嘱中释放了他的奴隶。甚至杰斐逊也留下了辞令。但也有太多的创始人，如麦迪逊，忽视奴隶制，希望奴隶制消失，或玩弄不可能的解决办法。
麦迪逊在退休后还面临着另一个重大问题：国家分裂。年轻时，他曾帮助建立了一个更加完美的联邦，但现在他老了，这个国家似乎有可能分崩离析。与奴隶制问题相比，他对联合的思考更为集中和有力。
概括地说，麦迪逊所属的年轻一代开国者重视联合，也重视自由；在他们看来，联合是美国国家和个人自由的必要条件。在《联邦党人》中，麦迪逊和汉密尔顿对这一信念进行了一次又一次的变奏。
然而，美国是一个新兴的大国，处在一个通讯不畅、地方文化浓厚的荒芜大陆上。离心力是强大的。蒂莫西-皮克林（Timothy Pickering）和他的死党们从1804年大选一直到新奥尔良战役，一直在咀嚼分离的滋味。
1819 年，密苏里州申请建州，由此引发了新一轮激烈的地区纷争。密苏里州是继路易斯安那州之后从路易斯安那州领土上划分出来的第二个州，与路易斯安那州相比，密苏里州几乎是一片空白，美国人定居密苏里州之前的历史非常稀少。密苏里州成为什么样的州--奴隶制州还是自由州--将预示着西部的发展。众议院通过了密苏里州的加入法案，要求密苏里州成为一个自由州；参议院拒绝了这一要求。
两年的争议爆发了。麦迪逊一生都在努力避免讨论的奴隶制问题，现在却摆上了议事日程，而且呈现出鲜明的宗派形式。得益于北方的繁荣和富饶，众议院中自由州占多数，但参议院势均力敌，11个自由州对11个奴隶州（麦迪逊退休后，密西西比州、伊利诺伊州和阿拉巴马州加入了联邦）。比政治或西部开发更重要的是，国家的性质似乎岌岌可危。
争议爆发时，麦迪逊在制宪会议上的两位同事正在国会任职。查尔斯-平克尼（Charles Pinckney）是来自南卡罗来纳州的代表（不是联邦党的落选者查尔斯-科茨沃斯-平克尼（Charles Coatesworth Pinckney），而是他年轻的共和党表弟，曾帮助杰斐逊和伯尔在1800年大选中胜出）。有些创始人喜欢奴隶制，而平克尼则是一个强烈的、公开的种族主义支持者。他否认黑人在任何地方能成为公民，因为他们是野蛮人，因为他们愚蠢。"非洲人......就像与自己在同一片森林里游荡的狮子或老虎一样一成不变"。
费城在国会的另一位元老是鲁弗斯-金，他仍在参议院代表纽约州。联邦主义已经奄奄一息，但金所在州的共和党人之间的争斗使他作为一个中立者留在了华盛顿。他接受奴隶制的既成事实，但坚决反对扩大奴隶制。"所有将[奴隶制]强加于任何人的法律和契约都是绝对无效的，因为它们违背了自然法则，而自然法则就是上帝的法则"。
宪法之父是怎么想的？作为扩散的支持者，麦迪逊不希望看到奴隶制被排除在密苏里州之外。他还认为国会无权提出这样的条件：他们不能将一个新州"置于其他州所拥有的平等地位和权利之上或之下"。然而，密苏里州最让他担心的是政治冲突，正如他在给罗伯特-沃尔什（Robert Walsh）的信中所说，"这让我感到非常不安"。杰斐逊忧心忡忡时，他拿出了"人道的声音"（vox humana）。麦迪逊忧心忡忡时，他会轻描淡写。现在，他写信给沃尔什，对政党进行结构性分析。"政党......在一个像我们这样自由的政府中必须始终存在。当属于政党的个人分杂在整个国家的每一个地方时，他们在分裂每一个地方的同时，也加强了整个国家的联合"。这就是弗吉尼亚计划的理论--通过多样性实现统一。然而现在，密苏里问题似乎产生了"建立在地理界限...."之上的党派。怎样才能控制这些互相排斥的大块头，使其不至于相互产生可怕的冲击呢？
妥协暂时缓冲了群众的情绪—国会承认密苏里州为奴隶州，马萨诸塞州的缅因区为自由州，并禁止在路易斯安那州的大部分剩余领土上实行奴隶制--时间很快让政客们有了其他争吵的话题。但在十年结束时，分裂的威胁再次出现。
1828 年，国会通过了一项旨在保护制造业的关税，尽管一位评论家称其为"制造总统的机器"。安德鲁-杰克逊在国会的支持者希望 1828 年的关税能在当年的大选中为他赢得北方制造商和工人的选票（他们认为他已经锁定了南部和西部）。杰克逊大获全胜，横扫南部和西部地区，以及宾夕法尼亚州和纽约一半以上的选举人票。但现任副总统约翰-卡尔霍恩（John Calhoun）也有自己的野心；这位曾经提出联邦公路和运河法案以打击宗派主义的前民族主义者认为，他唯一的晋升希望在于为自己建立一个南方基础。
卡尔霍恩选择的工具是一份由他匿名撰写、由南卡罗来纳州立法机构发布的报告，报告抨击关税是奴隶主农业州的负担：因为他们从北方或国外购买制成品，在高关税下，他们的成本会上升。这种抱怨只是普通的利益集团政治，但卡尔霍恩通过抨击关税违宪--他声称征收关税只是为了增加收入，而不是为了支持制造业--并声称南卡罗来纳州有权"干预"关税的执行，从而提高了关税争斗的温度。他援引汉密尔顿在《联邦党人》中的论述，以及麦迪逊和杰斐逊的《弗吉尼亚决议》和《肯塔基决议》为自己辩护。但由于他引用的《联邦党人》是麦迪逊的第 51 号论文，他完全是在依靠弗吉尼亚人。麦迪逊因此被当作神谕卷入了这场斗争。
麦迪逊确信，支持制造商的关税是符合宪法的。正如他告诉弗吉尼亚州参议员约瑟夫-卡贝尔的那样，保护性关税已在第一届国会以及此后的多次国会中提出并通过--这是"长期和普遍实践"的"不间断的潮流"。
由于卡尔霍恩将其作为自己（和杰斐逊）的创意，政府干涉的威胁代表了更多的是对他的个人挑战。新英格兰联邦党人曾在1814年的哈特福德会议上援引过这种干涉。麦迪逊当时没有理会他们，不是因为他们无权援引，而是因为他们援引的理由不充分（他有一场战争要打，而他们想结束这场战争）。现在，卡尔霍恩也要求行使同样的权利。
但他真的是这样吗？麦迪逊给卡尔霍恩在参议院的喉舌、南卡罗来纳州的罗伯特-海恩写了一封长信进行指责。海恩一直没有回信，显然他被麦迪逊的攻击弄糊涂了。当马萨诸塞州议员爱德华-埃弗雷特（Edward Everett）得知这封信并询问是否可以在波士顿的《北美评论》（North American Review）杂志上刊登时，麦迪逊同意了。这封信现在是写给埃弗雷特的，刊登于 1830 年 10 月。
麦迪逊试图控制他在《弗吉尼亚决议》和《关于外国人法案和煽动叛乱法案的报告》中所写的内容。他概述的干预理论呼吁各州（复数）"共同宣布......法案违宪，并合作采取......必要和适当的措施"来维护自己的权利（麦迪逊的斜体）。他心目中的措施是政治的反击--号召公众、赢得选举--"正如事件所表明的那样"，这些措施"与当时的情况相当"（即杰斐逊和麦迪逊在 1800 年将无赖赶下台）。他从未想过一个州单独行动就能使联邦法律无效。
在最糟糕的情况下--反复滥用权力，又没有政治解决的可能--那么人民进行革命的权利依然存在。但这是"宪法之外和超宪法的权利"。它不能以无效的形式把其中一半偷渡到宪法中。
麦迪逊的信产生了巨大的影响。他的三位前任总统要么在退休后什么都没发表（华盛顿、杰斐逊），要么发表了太多（约翰-亚当斯为自己的外交生涯辩护，为波士顿一家报纸撰写了一系列文章，一弄就是三年，连他的崇拜者都感到厌烦）。麦迪逊在《北美评论》上的亮相具有战略意义，也很有力。它得到了一个意想不到的赞誉。"麦迪逊，"首席大法官马歇尔写道，"又是他自己了。"
麦迪逊还在幕后工作。1831 年，尼古拉斯-特里斯特（Nicholas Trist）成为杰克逊总统的私人秘书，他是夏洛茨维尔人，也是麦迪逊费城老房东的孙子。杰克逊决心执行法律，让卡尔霍恩就在自己的位置别动，麦迪逊通过特里斯坦与杰克逊建立了联系。第二年，竞选连任的杰克逊礼节性地拜访了蒙彼利埃。
杰克逊获胜，南卡罗来纳州决定执行其长达四年的威胁。1832 年底，一个州大会投票决定"废除美国国会某些声称是法律的法案"，这些法案对进口商品征税。如果华盛顿试图强制执行关税，南卡罗来纳州将"组织一个独立的政府"。分裂是无效论的必然结果；两者都假定宪法没有削弱州主权，美国是一个联盟。如果一个州可以独自否决法律，它就可以脱离联邦。
南卡罗来纳州的行动并非很空洞；它愿意单独行动，但也邀请南方其他各州共同支持其说法。南卡罗来纳州的挑战在弗吉尼亚州议引发了一场辩论。南卡罗来纳州的支持者提出重印麦迪逊关于《外国人法》和《煽动叛乱法》的报告，将其视为支持州可以说联邦法律无效的文件。南卡罗来纳州的反对者则提出重印麦迪逊的《北美评论》信件，信中解释说麦迪逊并不支持。无效论者回答说，《北美评论》是"垃圾"，写这封信的麦迪逊年事已高，"身体虚弱"。他们希望麦迪逊同意他们的观点，或者根本不同意。
麦迪逊不可能被一分为二，尤其是当他还活着的时候，他还能坚持自己的完整性。但杰斐逊更容易被绑架。1832 年，他已经去世，因此无法解释自己。此外，他所写的《肯塔基决议》确实符合无效论者的计划。南卡罗莱纳州引用了第一段中的一句话："无论联邦政府何时行使未授权的权力，其行为都是无权威、无效和没有效力的"。在《肯塔基决议》草案中，杰斐逊甚至写道："每个州都有天然的权利......取消[其]自己的权力，取消他人的一切权力假设"。肯塔基州议会删除了这一措辞，但杰斐逊的草案却在此后的几年中泄露了出去。
麦迪逊如约照顾了他的朋友。在 1832 年写给特里斯特的两封信中，他为杰斐逊（他的杰斐逊）辩护。他敦促当代美国人审视整个记录：长寿之人的作品集"无一例外地"显示出"即使不是真正的矛盾，也是明显的矛盾"（麦迪逊的强调）。他强调杰斐逊曾多次呼吁约束各州，尤其是在他担任大陆会议成员时。"值得注意的是，每当杰斐逊的权威如此明确、如此强调地反对他们时，无效论者......就会紧闭双眼和嘴唇"。最后，他以一位伟大传记作家的洞察力指出了杰斐逊天性中的一个方面，正是这个方面使他的生活如此惊心动魄，如此需要麦迪逊的倾听和建议："杰斐逊先生和其他伟大的天才一样，习惯于用强烈而圆润的语言表达当下的印象，这一点也应该考虑到"。杰斐逊的文字令人难忘，就像荷马一样。但在你把荷马当作生活指南之前，请先咨询一下学者。比如麦迪逊。
无效论者走得太远了--就目前而言。弗吉尼亚州和其他南方各州不会效仿他们的做法，南卡罗来纳州面对威胁和怂恿也退缩了：杰克逊和国会宣布将执行法律，国会也同意降低关税。麦迪逊很高兴取得了胜利，但他担心已经造成了永久性的损害。1833 年 4 月，他写信给亨利-克莱（Henry Clay），他作为参议员曾帮助化解危机。他说，南卡罗来纳州给国家留下了"不和的火炬"。这句话出自波普的《伊利亚特》，描述了纷争女神激励希腊人与特洛伊人作战。
…….可怕的厄里斯，奉若维之命而来
她手中燃烧着不和谐的火炬......。(第 11 册，第 5-6 页）
麦迪逊接着说，卡尔霍恩所做努力的"趋势"，"无论其意图如何，都是为了制造对联盟的厌恶，然后为联盟分裂开辟出路"。
关税之争的背后还隐藏着另一个问题：奴隶制。卡尔霍恩本人也承认南卡罗来纳州的农业经济依赖于"特殊的劳动"。关税之争是密苏里州的重演，只不过更加隐蔽一些。当麦迪逊直接想到奴隶制时，他唯一能想到的解决办法就是利比里亚。当他把奴隶制看作是一个宗派问题时，他把联邦看作是抵御奴隶制引发的冲突的堡垒。
要问 109 岁的詹姆斯-麦迪逊会在 1860 年的四强选举中投什么票，这既愚蠢又不可抗拒。不会投给亚伯拉罕-林肯：林肯希望将奴隶制排除在西部之外，而麦迪逊会试图将他的宪法论点打成死结。约翰-布雷金里奇（John Breckinridge）？不会，他是南方的统治者，也是卡尔霍恩的继承人。也许他会投给斯蒂芬-道格拉斯，后世的杰克逊主义者；更有可能投给约翰-贝尔，田纳西州的联盟主义者，他的政纲是联盟与宪法，奴隶制不在考虑之列，他的竞选伙伴是《北美评论》杂志的发行人爱德华-埃弗雷特。贝尔和埃弗雷特没有说服力；他们在普选中名列第四，只赢得了三个州（弗吉尼亚、肯塔基和田纳西）。麦迪逊的理论本身无法使国家团结一致。但当大选后的崩溃来临时，人们无法想象麦迪逊会抛弃联邦。
1834 年，他写了一篇短文《给祖国的忠告》，这是他的政治遗嘱。他希望在死后再发表这篇遗言，因为它将具有死亡的严肃性。"最贴近我内心的忠告"是联邦"应得到珍视和永久保存"。关于约翰-布尔和玛丽-布尔的故事表明了他作为一个讲故事人的局限性，因此他依赖于两个已经耳熟能详的故事。"让我们把公开的敌人（联盟）看作是打开了盒子的潘多拉，把伪装的敌人看作是带着致命诡计潜入天堂的毒蛇"。
如此漫长生命的终结，必定要进入【那个伟大人物】死亡的游行。全世界都知道，杰斐逊于 1826 年 7 月 4 日去世。两天后，麦迪逊写信给特里斯特说，五十年来，他和杰斐逊的"相互信任和亲切友好在任何时候都没有中断或减少过"。没有一刻？没有一次？当然，麦迪逊理想化了他死去的兄弟和自己的忠诚。但在一生的合作中，这是最有成效的一次，也是最令人欣慰的一次。
1829 年 2 月，他的母亲在九十七岁生日后一个月去世。临终前，她对一位来访者说："我是个幸福的女人，一生幸福，晚年也幸福。我没有疾病，没有痛苦"。她脸上的皱纹比她著名的儿子还要少，她的儿子对她尽职尽责，就像对他的朋友一样。
1831年7月4日，詹姆斯-门罗在纽约去世，他与女儿住在那里（他在弗吉尼亚州的家因债务而失去）。麦迪逊和门罗曾多次中断信任--当他们竞选国会议员时，当麦迪逊陷害门罗去谈判一项不可能达成的条约时，当门罗试图抢在麦迪逊之前入主白宫时。然而，麦迪逊为了补偿门罗的失败，让他获得了最终的胜利。因此，友谊和党派团结得以恢复。
1832 年秋天，他写了一封甜蜜委婉的信，感谢一位姻亲送给他一顶冬帽。多莉一直在给他织袜子。"这样，我就装备好了帽子（从头到脚），可以与博雷阿斯和他的盟友霜雪作战了。但是，还有一件我最需要的东西，我的好朋友们却无法提供。我的骨头已经失去了一部分可悲的肉，而只有消化器官和营养器官才能代替它们，但它们的功能太懒惰了"。对于一个疑病症患者来说，麦迪逊曾经有过一段美好而漫长的时光，但现实终究会赶上最坚强的人的焦虑。
保罗-詹宁斯（Paul Jennings）是我们了解麦迪逊最后日子的资料来源之一，他是一名奴隶，十几岁时曾帮助多莉撤离白宫。他在 1820 年成为麦迪逊的男仆，并在麦迪逊的余生中每隔一天为他刮一次胡子。1836 年，麦迪逊无法行走，但詹宁斯证实他的头脑"很聪明"，仍然喜欢说话。
出现了一个时间上的痛苦问题。杰斐逊和门罗曾在国家生日当天去世；约翰-亚当斯也是如此，他与杰斐逊在同一天去世。迄今为止，唯一没有在7月4日去世的前总统是华盛顿，他是在12月的暴风雪中病逝的。随着 6 月的到来，医生提出让前总统麦迪逊服用兴奋剂，以维持生命到 7 月 4 日。他拒绝了药物治疗和闹剧，正如多莉的一位侄女所说，这样他就可以"在完全拥有所有高贵能力的情况下"去世。
他于 6 月 28 日去世。詹宁斯陪在他身边。早餐时，他无法下咽。“怎么了，詹姆斯舅舅？”一个侄女问。他回答说："没什么，只是思想变了，亲爱的”。知性到最后，甚至更远：他就是他的思想，他没有说这是结束，而是说在改变。"他的头"詹宁斯写道，"立刻垂了下去，他停止了呼吸，就像蜡烛熄灭一样安静"。
