多莉-麦迪逊（Dolley Madison）比她的丈夫晚 13 年去世（她活到了达盖尔照相法时代；照片显示的是一张丰满的老妇人的脸，尽管她的笑容仍然显示出她的魅力和甜美的力量）。麦迪逊夫人守寡期间发生的几件事从侧面反映了她的一生。
多莉继承了蒙彼利埃、华盛顿的一栋小砖房【14】 以及严峻的经济前景。麦迪逊曾希望他关于制宪会议的珍贵笔记能让她感到舒适。他在遗嘱中称这些笔记"对所有关心政治科学进步和真正自由事业的人来说，都是特别令人欣慰的......"，他期望通过出版这些笔记获得"可观的"利润。但没有一家商业出版社愿意买账。纽约的哈珀出版社愿意出版，但希望多莉承担所有风险。于是，她以 10 万美元的价格向国会提供了这些笔记。当时已是参议员的约翰-卡尔霍恩（John Calhoun）称这些笔记"价值连城"，但他否认国会有权购买这些纸币，并援引麦迪逊关于《外国人法》和《煽动叛乱法》的报告作为理由。他说，麦迪逊在报告中"毫无争议地"证明国会"只有特定的权力"。国会没有理会卡尔霍恩，但也亏待了多利，以 3 万美元的价格买下了这些票据。这些笔记于 1840 年出版。
麦迪逊在遗嘱中没有释放任何奴隶。爱德华-科尔斯（Edward Coles），他理想主义的前秘书，感到失望。他描述了奴隶贩子来到蒙彼利埃寻找商品的情景。"就像老鹰降落到鸽子中。这些可怜的家伙会跑到房子里，抗议被卖掉"。多莉将一些奴隶卖给了邻居和亲戚，并尝试了其他权宜之计，包括再次抵押贷款，以维持蒙彼利埃的运转；1844 年，她终于卖掉了庄园的剩余部分和庄园里的居民（卖给了一个买家，这样至少有机会让大家住在一起）。
保罗-詹宁斯的情况要好一些。麦迪逊去世后，他继续在蒙彼利埃和华盛顿的砖房为多利服务。多莉把他卖给了一个人，这个人又以 120 美元的价格把他卖给了马萨诸塞州的丹尼尔-韦伯斯特参议员；詹宁斯随后为韦伯斯特工作，领取工资，并买了自由。他的工作之一是给住在街区另一头韦伯斯特的前情妇送饭。韦伯斯特"告诉我，"詹宁斯回忆道，"只要我看到房子里任何我认为她需要的东西，就拿给她"。我经常这样做，偶尔还从自己的口袋里掏出一小笔钱给她"。即使在岩石间，爱也在滋长。
多莉成了华盛顿的一座纪念碑。1848 年，在她去世前一年，她和亚历山大-汉密尔顿的遗孀伊莱扎一起参加了华盛顿纪念碑的奠基仪式。两位老太太站在检阅台上，代表着后人对她们的丈夫、朋友、敌人以及她们都曾效忠过的人的尊敬和怀念。
麦迪逊的墓地位于家族墓地，从蒙彼利埃前门步行五分钟即可到达；墓地离原来的房子更近，但麦迪逊还是个孩子时，他的房子就被腾空了。他的坟墓位于墓地的一角，墓碑上有一个方尖碑；碑座上有一个方形基座，上面简单地刻着"麦迪逊"以及他的生卒年月。
当我第一次看到这块石碑时，我了解到这块石碑与他下葬的时间并不同步，而是在 21 年后的 1857 年才竖立起来的。我问他原来的标记是什么。我被告知，根本就没有；你的标记就是你的家族墓地。你死去的亲人知道你是谁，而你活着的亲人会记得你在哪里。
这不能不让人再次想起托马斯-杰斐逊，想起他对自己墓碑的精心照料：绘制设计草图、提供尺寸、指定他希望铭刻的契约。他在死的时候对自己也很照顾。麦迪逊心满意足地将自己的遗体归还给家人，因为家人（尤其是他的父母）对他照顾有加，他也是在这里第一次学会了如何与他人一起生活和工作。
麦迪逊以其他方式维护自己的声誉（想想他的会议笔记），但他真正的纪念碑不是这些，也不是任何其他物品或事物，甚至不是《宪法》或《权利法案》的原件，也不是《联邦党人》的初版。英国建筑师克里斯托弗-雷恩爵士（Sir Christopher Wren）被埋葬在他的作品之一--圣保罗大教堂（St. Paul's Cathedral）中，那里有他著名的墓志铭：如果你要寻找他的纪念碑，请环顾四周。环顾麦迪逊四周的纪念碑是什么呢？是美国的宪政—"行"与"不行"的法律，以及这些法律引发的所有辩论和修订（辩论和修订也是法律之一；一些最重要的持续辩论--关于联邦政府和法院的权力；关于言论自由和宗教自由--可以追溯到麦迪逊的一生）。还有许多人帮助建立了宪政，包括他的敌人，他也不会否认他的合作者。但他发挥了重要作用。
他的另一座丰碑是美国政治，是使宪政发挥作用的行为：获取、授予和斥责权力的方式方法，以及作为利益、野心和思想载体的党派组织和党派媒体。他正处于美国政治制度的诞生时期，他比几乎所有伟大的同行都更了解美国政治制度。就像宪法一样，政治在他去世后也发生了变化，但变化的方式不会让他无法辨认，也不会让我们感到陌生。它就在我们身边，在选举年，以及选举之间的每一天。
政治可能是低级的，有时甚至是肮脏的。很多事情必须忍受，因为人就是这样。"如果人是天使"，麦迪逊写道，"就不需要政府了"。但是，政治的某些弊端也许是可以改进的。那就说说为什么，然后做得更好。麦迪逊还写道："审查权在人民而不在政府"。这两句话都是针对政府的，但也适用于政治。
麦迪逊最好的时候，也是最坏的时候，不仅属于他的家人，也属于每一位公民。我们已经合作了很长时间。
