麦迪逊仍是国会代表，但这个国会是他一直努力要取代的。1787 年 9 月费城会议一休会，他就lai到纽约，履行他的双重职责--立法者和变革的说客。
有一把火必须立即扑灭。大会要求将宪法"提交"给国会，然后再"提交"给各州。但国会中有人提议在提交宪法时附上修正案。这是一个会造成问题的建议。麦迪逊写道，"宪法一旦被修改，就会立即成为国会的纯粹行为"，而不是这次大会的特别创造。这样一来，它就需要得到所有十三个州的批准，就像《邦联条款》的其他修正案一样。除麦迪逊外，国会中还有十位《宪法》签署人，几乎占议员总数的三分之一，足以确保修正案不会发生。但在批准程序开始之前，即使是辩论也会引起争议。麦迪逊和他的盟友们设法于9月28日将宪法从纽约送出，没有发表任何正反意见，也没有将他们的讨论记录在案。
宪法宣布（第七条），宪法将在九个州批准后生效；费城会议希望避免一票否决，因为这使得之前每一次修改《邦联条款》的尝试都会失败。四个月内，五个州（特拉华州、宾夕法尼亚州、新泽西州、佐治亚州和康涅狄格州）将批准该法案。但新政府要取得成功，宪法必须得到所有三个最大的州--弗吉尼亚州、马萨诸塞州和宾夕法尼亚州--以及纽约州的拥护，因为纽约州的地理位置举足轻重。
弗吉尼亚州很早就出现了麻烦。弗吉尼亚州的两名大会代表拒绝签字。乔治-梅森（George Mason）是个爱挑刺的理论家，随着夏天的到来，他变得越来越不高兴：他担心总统和参议院的权力，预言新政府将以君主制或贵族制收场。他还想知道为什么文件中没有权利法案，这个问题将在接下来的几个月中引起共鸣。他说，他"宁愿砍掉自己的右手"，"也不愿意把右手伸向现在的宪法"。梅森的这一立场结束了他与乔治-华盛顿的长期友谊，也激起了麦迪逊的不快。麦迪逊在写给巴黎杰斐逊的一封信中回顾了梅森的反对意见，然后补充说，既然他"现在有必要为自己的拒绝签署辩解，他当然会去找所有可能的理由"。
埃德蒙-伦道夫（Edmund Randolph）是弗吉尼亚州州长，也是弗吉尼亚州计划的提议者，但他是弗吉尼亚州第二个未签署者。他提出了一系列反对意见：他不喜欢参议院审理弹劾总统的案件，不喜欢总统赦免叛国者的权力，也不喜欢国会确定自己薪酬的权力--他还要求召开另一次大会来修改他们刚刚花了四个月时间编写的宪法。但麦迪逊认为他没有梅森那么固执，因此对他奉承有加。他敦促伦道夫牢记自己的显赫地位以及随之而来的责任。"有些问题，大部分人的能力是无法胜任的，在这些问题上，他们必须......听从他人而非自己的判断"。伦道夫应该成为大众思想的领导者，而麦迪逊会引导他进行这种思考。
国会所在州纽约的情况比弗吉尼亚州更糟糕，因为纽约州州长乔治-克林顿（George Clinton）是一个坚定有力的反对派。在1787年，克林顿正处于巅峰状态，刚开始他21年州长生涯中的第11个年头。他的支持者是北部的荷兰农民，他们对变革心存疑虑；自身利益鼓励他希望纽约能作为一个半主权州享受日益繁荣的生活。他和他早熟的十九岁侄子德威特-克林顿（DeWitt Clinton）为报纸（当时纽约市有五家报纸）撰写反《宪法》的文章。
最精辟的批评来自克林顿的副手罗伯特-耶茨，他在一系列文章中援引了思想上的最高权威。耶茨以布鲁图为笔名写作，布鲁图指的不是刺杀凯撒的凶手，而是公元前六世纪与同名的创建了罗马共和国的人。布鲁图的第一篇文章发表于 10 月 18 日，呼吁现代世界一位同样伟大的人物--18 世纪初法国政治哲学家孟德斯鸠，美国人视其为神谕。布鲁图写道，"一个自由的共和国不可能在美国这样一个幅员辽阔的国家取得成功"，然后他引用孟德斯鸠的话来证实这一点："很自然一个共和国只有一小块领土....。公众的利益更容易被感知，更容易被理解，也更容易被每个公民所触及"。麦迪逊在读到刚出炉的布鲁图文章时，为他写得如此出色而感到担忧。
《宪法》需要自己的纽约媒体宣传活动。亚历山大-汉密尔顿决定组织这场运动。他的血液里流淌着新闻业的血液。十几岁时，他就为家乡加勒比海的一家报纸写过诗歌和一篇关于飓风的描述。在国王学院读书时，他曾出版过两本长达五万字的支持革命的小册子。现在，他使用了战时的一个笔名—普布利乌斯（Publius），罗马共和国的另一位缔造者。(美国舆论作家使用了如此多的经典笔名，以至于他们的署名读起来就像历史剧中的戏剧人物）。
汉密尔顿的首篇文章名为《联邦党人》，首发于 10 月 27 日（为了追求市场饱和度，汉密尔顿安排每篇文章在不同的报纸上不同的日期刊登）。这篇文章一开始就呼吁进行最高级别的崇高辩论。这个国家的人民"将"决定一个重要的问题，即人类社会是否真的能够通过思考和选择建立良好的政府，或者他们是否永远注定要依靠意外和力量来建立自己的政治体制....。我的论点将向所有人开放，所有人都可以评判"。
汉密尔顿精力充沛，但他需要帮助。他招募了约翰-杰伊（John Jay），杰伊是一位年长者，严肃而敏感，曾在邦联条款下担任外交官。(麦迪逊认为杰伊在推动西班牙开放密西西比河方面力度不够）。他还邀请了古弗努尔-莫里斯（Gouverneur Morris）和威廉-杜尔（William Duer），后者是另一位与加勒比海有联系的纽约人。莫里斯拒绝了，汉密尔顿则认为杜尔的文章不够好，不适合收录在这本新出版的丛书中。因此，在九篇文章（汉密尔顿五篇，杰伊四篇）之后，《普布利乌斯》由麦迪逊增补。1787 年 11 月初，杰伊患上类风湿性关节炎，《普布利乌斯》就成了汉密尔顿和麦迪逊两人的作品。
关于汉密尔顿和麦迪逊是如何做出安排的，没有任何记录，因为他们住在同一个城市，彼此相距不远，没有通信的必要。朋友们把想法寄给一个人，假定他会很容易地与另一个人分享，就像1783年在费城发生的那样。多年后，麦迪逊回忆起他们的亲密关系和疯狂的步伐。"一开始，作者们的做法是......在将各自的论文寄给出版社之前，先将论文发给对方。由于截稿时间太短，这种做法很不方便，所以就取消了"。麦迪逊加入这个项目后，文章每周出版四次，每次 2000 字。"经常出现的情况是，当印刷商正在排印文章的[第一部分]时，后面的部分已经开始动笔，准备及时付梓。麦迪逊的第一篇文章于 11 月 22 日发表。在三个多月的时间里，他又写了 28 篇文章。
许多美国创始人都是临时记者，甚至是全职记者--约翰-迪金森、约翰-亚当斯、塞缪尔-亚当斯（既是报纸出版商，又是作家）。托马斯-潘恩（Thomas Paine）能言善辩，仅凭他的新闻报道就几乎达到了创始人的水平。本杰明-富兰克林是美国最伟大的新闻记者。但对麦迪逊来说，新闻是一项新任务。他的"反对宗教税的备忘录和抗议"在弗吉尼亚州广为散发，但这只是一枪而已。现在，他要在报刊上与同行和雇佣文人们作战。麦迪逊回忆说，他和汉密尔顿为大会所做的所有知识准备都对他们有所帮助。但准备工作只能帮你到此。你还必须按时、有序地把话说出来。在批准法案的斗争中，麦迪逊并不是最后一次因为斗争需要而承担全新的任务。
他对《联邦党人》的贡献如何？麦迪逊偶尔会流露出他通常留给亲密朋友的幽默。他最有趣的部分是第 38 期中的一个片段，将《宪法》的作者及其批评者比作医生。(只有长期患病的人才能写出如此注重医疗细节的文章）。"一个病人发现自己的病症每天都在恶化......他请来了他认为最有能力救治的[医生]"。他们开出的药方将改善"他的体质"（很好的润色）。"然而，药方刚一开出，就有许多人插嘴，......向病人保证药方会毒....。难道病人在冒险听从这些建议之前，不能合理地要求开方者之间至少就其他药方达成一致意见吗？如果他发现他们之间的分歧和他的第一位顾问之间的分歧一样大，他难道不会谨慎行事，尝试后者一致推荐的实验吗？麦迪逊用一个普遍的人类状况来说明他一方的优势之一：宪法的支持者们提前打好了仗，在一份文件上达成了一致，而他们的批评者们则众说纷纭。这是事实，也是钝化最尖锐批评的一种狡猾方式（批评者之间可能存在分歧，但也许其中一人是对的）。
麦迪逊偶尔会用大头钉和麻绳将他的论点固定在一起。在第 40 条中，他声称"宪法的伟大原则"是"......邦联条款中的原则的扩展"。由于《宪法》是对《邦联条例》的彻底否定，这简直就是谎言。
第 54 条是一种狡猾的努力，旨在证明五分之三的规则在立法机构的一个议院中计算奴隶的合理性。纽约是一个奴隶制州，但当地的政治精英，包括杰伊、汉密尔顿和克林顿州长，在1785年成立了促进废除奴隶制协会；该州的舆论风向正在慢慢转变，必须加以解决。由于普布利乌斯应该是纽约人，麦迪逊假装为"我们南方的一个兄弟"说话。南方兄弟说，既然奴隶是动产，他们就是"没有理性的动物，在法律上属于财产"。另一方面，由于他们不能被肆意杀害，而且要对自己犯下的任何罪行负责，因此他们也是法律上的"有道德的人"。五分之三规则只是反映了他们的混合特性。换回"自己"的声音--也就是假装的《纽约客》的声音--麦迪逊承认南方人的论点"有点牵强"，但又声称自己被其说服了。麦迪逊作为作家的不诚实与他的糟糕论点不谋而合。
麦迪逊最有说服力的一些观点--观察入微、措辞犀利--都是顺势而为。他向着自己的目标前进，却在前进的过程中激起层层涟漪。"一个由哲学家组成的国家，就像柏拉图所希望的由国王组成的哲学种族一样，是不可期待的"。"如果人是天使，就不需要政府；如果天使要统治人类，那么对政府的外部或内部控制就不再是必要的了。"在非常多的所有集会中，无论由什么人物组成，激情总是能从理性手中夺走权杖。如果每个雅典公民都是苏格拉底，那么每个雅典集会仍将是暴民"。
至少有一次，他是真正的雄辩家。在回答布鲁图对大共和国的批评时，麦迪逊提出了有力的反驳。但在那一刻，他请读者退后一步，带着希望而不是恐惧来审视整个局势。"为什么仅仅因为它可能包含了新的东西，就拒绝扩大共和国的试验呢？美国人民在尊重前人和其他国家的意见的同时，并没有因为盲目崇拜古代、习俗或名称而压倒他们自己的良好意识、对自身情况的了解以及自身经验的教训，这难道不是美国人民的光荣吗？后人要感谢这种男子汉的精神，世界要感谢在美国舞台上展示的无数创新的榜样，这些创新有利于私人权利和公共幸福"。在"体面的尊重"这句话中，麦迪逊有杰斐逊的回声，也有节奏较慢但也许与杰斐逊同样有力的清新和充满希望的回声。
麦迪逊的实际论据是什么？他反驳布鲁图和孟德斯鸠，重复了他 6 月在大会上支持弗吉尼亚计划的论点。当时他说的是扩大政府的范围，现在他写的是推广政府的范围。"扩大"共和政体的"范围"是"对付共和政体之病的共和疗法"。大共和政体比小共和政体更强大，因为不公正的多数会发现更难在远距离得到纵容，而且会面临来自大选民中"更多党派和利益"的更多反对。
但麦迪逊针对费城会议上对弗吉尼亚州计划所做的修改，对扩大范围提出了新的想法。在此之前，他一直为在立法机构一院不论大小州都平等的存在感到压抑。现在，他在第 39 号中采取了不同的语气。他解释说，众议院的基础是比例代表制和多数决制，这是弗吉尼亚计划最初的理想。但在参议院，每个州由两名参议员平等代表。他将第一种制度称为基于人民意愿的国家制度。他称第二种制度为联邦制--各州保留自己的身份和部分权力。他总结说："拟议的宪法严格来说既不是国家宪法，也不是邦联宪法，而是两者的混合体"。
所有这些都相当枯燥，但麦迪逊却在为一个伟大的观点而努力。他已经写道扩大政府的管辖范围将挫败不公正的多数派。那么不公正的政府呢？他在第 48 条中问道，依靠"羊皮纸屏障抵御权力精神的侵蚀"就够了吗？只要有机会，任何统治者或统治者团体都会自我膨胀，即使是民选统治者也不例外。麦迪逊引用了杰斐逊几年前写下的一句话："选举产生的专制制度不是我们为之奋斗的政府"。
麦迪逊在第 51 条中揭示了他的解决方案。必须安排好政府的”内部结构”，使其"组成部分"能够.....彼此保持在适当的位置上"--其组成部分和组成人员。"必须使野心与野心相互抵消。人的利益必须与[其]职位的宪法权利相联系"。扩大范围是一种既适用于政府也适用于国家的补救措施。政府的活动部分越多--州与国家、众议院与参议院、国会与总统、法院--其中任何一个部分或所有部分加在一起就越不可能进行压迫。
麦迪逊写了什么，这重要吗？他的重点是政府的性质和结构，尤其是适用于国会的政府。但《联邦党人》中关于总统职位的所有论述（例如，"行政部门的活力是好政府定义中的一个主要特征"）都是汉密尔顿写的。当汉密尔顿考虑共和国的扩展领域时，他想到的与其说是其政治结构，不如说是其经济潜力，"各地的商业脉络"将由"各地的商品"来补充。他已经把目光投向了美国的繁荣，以及能够促进繁荣的总统或总统顾问。
多年后，麦迪逊声称，即使在当时，他们的思想也存在着"众所周知的差异"。是真的，还是只有在记忆中才是真的？麦迪逊和汉密尔顿在一起工作时关系密切，甚至一起疲倦者工作。有时，同事们忙得不可开交，或者因为在一起工作而兴奋不已，以至于忽略了他们之间的真正差异。
麦迪逊很早就意识到，《联邦党人》将会在纽约以外的地方发挥作用。他还没写完一篇文章，就把前七篇寄给了华盛顿，建议在里士满重印。华盛顿答应了。1788年3月，麦迪逊突然回到弗吉尼亚，接受下一次实力考验。
麦迪逊穿梭于州、国家和宪法政治之间，无处不在，从中获利。但也许他的敌人能从中获利，抓住他的破绽。
1788 年 2 月，麻萨诸塞州批准了宪法，成为第六个批准宪法的州，也是第二个批准宪法的大州。弗吉尼亚州是最大的州，其批准宪法的大会定于 6 月在里士满举行，3 月选举代表。麦迪逊不想参加。他患上了胆汁淤积症（这在《联邦党人》中现出端倪，第19期就有关于胆汁淤积症的说法，神圣罗马帝国在该书中被描述为”在自己的肠子里不停地发酵"），这让他乘坐一整天马车既屈辱又不舒服--他不得不经常停车去方便。麦迪逊还想知道，制宪会议代表是否应该参加州里的会议对自己的工作成果进行评判。
一连串来自家乡的信改变了他的想法。伦道夫州长写信告诉他，乔治-梅森正在竞选批准大会的一个席位，但不是在他坚定支持《宪法》的家乡，而是在波托马克河下游的另一个郡。（准代表可以选择对己友好的选区。）同时，麦迪逊还得知他在奥兰治县被人说了他的谎话。那里的治安官写道：”听说您反对这一制度，您一定会感到非常惊讶，前几天我还听说您正在写一篇反对这一制度的文章"。歪曲政治家的观点是一种惯用伎俩：巴尔的摩的一家报纸同样报道说约翰-杰伊反对宪法。麦迪逊的父亲很少和儿子聊天，他告诉儿子，当地的浸礼会教徒正在排队反对宪法，因为宪法没有提到宗教自由。"我想你最好在3月尽早赶回来"。
麦迪逊也受到了华盛顿的召见。华盛顿曾听从麦迪逊的劝告前往费城，现在他也同样命令麦迪逊前往里士满。”履行我们对国家的责任的意识胜过其他一切考虑”。这就像是胡东的雕像在向他讲话。
《宪法》的反对者非常关注缺乏权利法案的问题。在费城，直到大会最后一周，梅森才要求成立一个委员会来起草一份权利法案，他认为这只需要”几个小时”。罗杰-谢尔曼（Roger Sherman）回答说，各州的权利法案仍然有效，因此没有必要制定全国性的权利法案。
但是，一旦《宪法》公诸于世，这个问题就不会消失。自约翰国王于1215年颁布自由宪章《大宪章》以来，权利法案一直是英美政治生活的一大特色。在 1787 年 11 月宾夕法尼亚州的批准大会上，詹姆斯-威尔逊试图解决《宪法》缺乏权利法案的问题。他说，《大宪章》和其他英国权利法案都是在王权背景下制定的。但根据《宪法》，权力"仍然属于广大人民，而且根据这部宪法，他们不会放弃权力"。"没有理由防止人民未交出的权力被滥用"。
但纽约的布鲁图斯已经预见到了威尔逊的论点。他指出，第一条第九款确实防止了某些滥用职权的行为：人身保护令（不得无故逮捕）得到了保障；剥夺公民权法案（未经审判，通过立法行为定罪），同时禁止事后法律（将实施时合法的行为定为犯罪）。如果威尔逊等人的论点是正确的，那么"这些例外还有什么正当性可言？"但是，如果第一条第九款中讨论的三项权利值得特别保护，为什么其他权利就不值得呢？
还有一项诉求是直接向麦迪逊提出的。1787 年 12 月，杰斐逊将他对《宪法》的反应寄给了麦迪逊。尽管杰斐逊认为有很多地方值得称道，但他最不喜欢的地方是缺少权利法案。"权利法案是人民有权反对世界上每一个政府的权利......也是任何公正的政府都不应拒绝的权利"。杰斐逊习惯性地表达了自己的观点，但这次他不是在唱自己的新歌，而是在捍卫英美政治生活的一个既定特征。
1788 年 2 月，麦迪逊决定必须竞选弗吉尼亚州批准大会的席位。他于 3 月 4 日离开纽约，回家途中在弗农山停留。他还停下来见了浸礼会传教士约翰-利兰（John Leland），利兰领导该教会在弗吉尼亚州的复兴。利兰告诉麦迪逊他的教众对宗教自由安全的担忧，而他从麦迪逊的记录中知道，这些担忧会得到认真对待。
在关于权利法案的全国性辩论中，梅森、威尔逊和布鲁图都是举足轻重的人物；更重要的是麦迪逊在巴黎最亲密的知识伙伴杰弗逊，以及他所在的弗吉尼亚州的实际情况。
麦迪逊于 3 月 23 日到了家，此时距离奥兰治县的选举日还有两天。25 日，他做了一件对他来说和写联邦党人文件一样新奇的事。他在写给费城前房东太太的信中解释说："这是我有生以来第一次登上讲台，面对一大群人，......在露天和大风天发表了长篇大论"。麦迪逊轻松赢得了选票；排在最后一位的是查尔斯-波特，11 年前他曾以请选民喝酒的方式击败了麦迪逊。
6 月 2 日，弗吉尼亚州批准大会在里士满召开。当时，又有两个州批准了该法案，马里兰州和南卡罗来纳州分别于 4 月和 5 月批准了该法案，使批准该法案的州总数达到 8 个，离成功还差 1 个州。
弗吉尼亚州政治阶层的几乎所有人都来到了里士满，总共有170名代表；由于人数太多，州政府无法容纳他们，只能在街对面的一所新建的巨大学校礼堂里容纳他们。正如麦迪逊所希望的那样，伦道夫州长也支持《宪法》。出席会议的年轻人中有约翰-马歇尔（支持）和詹姆斯-门罗（反对）。
最引人注目的是帕特里克-亨利。他当时52岁，自1765年发表反对《印花税法》的激烈演说以来，他一直是美国的英雄，据说他那时在演说中说："如果这是叛国，那就充分利用它！"杰斐逊和麦迪逊一样不喜欢他，但他承认他的演讲"就像荷马写的一样"。在 18 世纪，没有比荷马的诗歌更能赞美亨利的演讲语言技巧了。二者都有一种自然的力量。
亨利现在反对《宪法》，是因为他真诚地担心自己州的权力和个人权利受到威胁，而且他敏锐地意识到，许多弗吉尼亚人--他曾经和未来的公众--都有同样的担忧。
亨利在里士满的发言时间几乎占到批准大会开会时间的四分之一（弗吉尼亚人开会三周半，每周六天，每天六七个小时）。作为演说家，麦迪逊无法与亨利相提并论。我们要感谢大卫-罗伯逊（David Robertson），他是一位律师，用速记法记录了批准大会上的发言，并在会后不久发表（里士满没有保密承诺）。他一再指出麦迪逊作为演讲者的缺点："他的声音太低，以至于无法听清他的开场白"；"麦迪逊先生在这里发表了一些其他意见，但声音太低，以至于无法理解他的意思"。
但麦迪逊坚持己见，赢得了分数。在批准大会的第二天，乔治-梅森提出逐条辩论宪法的动议。这对麦迪逊来说是天赐良机，因为没有人比他更了解这份文件的来龙去脉。他多次要求亨利和其他反对者遵守规则。"我希望先生们在这个场合展示他们的能力时......能屈尊证明和展示....。让我们不要满足于对危险的笼统断言，而不进行检验"。麦迪逊的彻底性激发了一位评论家的诗意。
麦迪逊也在其中
从他狭窄的胸膛中涌出
比希腊或罗马的理智
滔滔不绝的雄辩。
他是广闻博学人中的雄辩家。
麦迪逊貌不惊人，但举止不凡，这使得他的专业知识更加有效。没有受到他威胁的人，也能被他说服。
代表们为两位不在现场的伟大弗吉尼亚人—在法国的杰斐逊和在弗农山的华盛顿—争论不休，每一方都希望争取一位不在现场的英雄加入自己的行列。亨利首先提到了"弗吉尼亚州的一位杰出公民，他现在在巴黎....。他生活在富丽堂皇和挥霍无度之中，【8】 但他还在考虑权利法案....让我们遵循[他的]贤明建议"。麦迪逊并不是杰斐逊唯一的通信者，亨利得到了杰弗逊写给别人的一封怀疑信。
麦迪逊一跃而起准备反击。“那么我们就到了这个时候了吗？ 。 。介绍不在这面墙内的可敬人士的意见？”然后他就自己动手了。"我们怎能不引荐一位同样伟大的人物站在我们这边呢？"(当然是华盛顿） 回到杰斐逊身上，”我希望他的名字从未被提及....我知道，当他看到印刷品上已经和可能会出现的关于他的言论时，他的细腻情感会受到伤害"。麦迪逊成功地让亨利看起来很爱打听，同时也打听华盛顿的想法。
麦迪逊直接讨论了权利法案缺失的问题。他提出了自己最喜欢的论点之一--结构和扩展领域的重要性。这些是自由唯一有效的守护者。"如果一个教派占多数，权利法案对自由的保护就会很差"。充斥美国的"教派多元化......是最好也是信仰权的最佳和唯一保障"。麦迪逊还认为，权利法案可能是危险的。"如果对我们的权利进行列举，岂不是暗示，[清单中]遗漏的每样东西都交给了联邦政府？"他的论点很微妙，但法律意识和对权力的渴望并非毫无根据。
这样的论调只会让亨利嗤之以鼻。"权利法案可以用几个词来概括"。为什么不写下来呢？"是因为要耗费太多纸张吗？"
麦迪逊可以看出，要求制定权利法案的压力是不可抗拒的。马萨诸塞州在 2 月批准《宪法》时，曾建议稍后通过修正案。南卡罗来纳州在 4 月也提出了同样的建议，而《宪法》本身（第五条）也对修正案做出了规定。现在，同意提出权利法案似乎是正反双方妥协的一种方式。
接下来的问题是何时提出修正案。亨利决心现在就提出修正案，如果可能的话，在第二次大会上提出，必要时作为弗吉尼亚州批准宪法的条件。他对将修正案留待宪法生效后再提出的想法嗤之以鼻："你们同意束缚自己的手脚--为了什么？你们进入地牢--为了什么？为了出去"。
麦迪逊知道亨利是在虚情假意。有条件的批准将引发一场法律挑战风暴，对其他州的批准进行修订，并对这些修订进行争论。在这股旋风中，《宪法》将不复存在。有条件的批准实际上就是拒绝。麦迪逊在里士满最多可以提出的建议是以后可能增加一项权利法案。这样做"不会产生任何危险，而且可以满足一些绅士的愿望"。
麦迪逊是在 6 月 24 日会议后期说这番话的。会议出现了一个疯狂的尾声。亨利再次起身发言，但一切都乱套了。"暴风雨突然来临。天渐渐黑了下来。大门像火枪声一样砰砰作响。窗户嘎嘎作响；巨大的木结构建筑开始摇摆....。成员们惊慌失措地从座位上离开"。
第二天，暴风雨过后，他们进行了投票。亨利提出了之前的修正案。他以 88-80 票失败。接下来是投票批准建议的修正案。结果以89:79通过。从技术上讲，弗吉尼亚州的批准并不是决定性的：6月21日，新罕布什尔州成为批准宪法的第九个州，也是至关重要的一个州（尽管弗吉尼亚州几天后才得知这一消息）。但里士满的投票结果使新政府成为美国最伟大的州，也是美国最伟大人才的摇篮。
投票结束后 华盛顿邀请麦迪逊到弗农山放松一下。”适度的运动，偶尔看看书，保持头脑清醒，将是你最好的休息方式”。
一个月后，在哈德逊河畔小镇波基普西举行的纽约批准大会上，《联邦党人》的另外两位作者汉密尔顿和杰伊以 30 比 27 击败了乔治-克林顿及其盟友。
但麦迪逊的工作仍未完成。
毫无疑问，谁将成为新宪法下的第一任总统。乔治-华盛顿要想胜出，只需不宣布他将不再担任总统。南方的总统意味着北方的副总统，而最杰出的北方人就是爱国者兼外交家约翰-亚当斯（John Adams）。(麦迪逊仍然不喜欢他，在写给杰斐逊的密信中说他”自视甚高"）。
但其他所有民选职位都在争夺之中。华盛顿希望麦迪逊成为弗吉尼亚州的参议员之一。帕特里克-亨利（Patrick Henry）表面上平静地接受了在里士满的失败，但认识他的人都不相信他不会再战。
事实也证明了这一点。根据《宪法》第一条第三款，参议员由各州议会选举产生。由于参议院从零开始，每个州都可以挑选两名参议员。1788年11月初，由亨利（Henry）主导的弗吉尼亚州立法机构投票选出了两名反对宪法的人代表该州；麦迪逊名列第三，虽然可圈可点，但仍然落选。
这样就给麦迪逊只留下众议院的机会，但亨利也想到了这一点。弗吉尼亚州在第一届国会中有十名代表。亨利确保将奥兰治县与其他七个县（其中大部分反对《宪法》）放在一个从蓝岭到弗雷德里克斯堡的斧形选区内。他还对国会候选人施加了居住地要求，因此麦迪逊别无选择，只能在那里竞选。这一要求是违宪的--《宪法》第一条第二款只规定代表必须居住在本州，但多年来一直没有受到质疑和推翻。
麦迪逊的敌人带来了一个强劲的对手—他的投资伙伴詹姆斯-门罗。门罗比麦迪逊小七岁，高大、英俊、认真、精力充沛。他曾与华盛顿一起横渡特拉华河，在特伦顿（Trenton）战役中肺部中弹，幸免于难；退伍后，他曾跟随杰斐逊学习法律。杰斐逊爱麦迪逊，但他也爱他的这另一位门徒。他曾一度梦想这两个人都搬到蒙蒂塞洛来与他为邻。他在给麦迪逊的信中说：”有了这样的邻居，我可以......安度余生，放弃一切争斗"。
但门罗也有好争论的一面：他对华盛顿在大革命期间不尽如人意的任务分配感到不满，对没有被派去参加制宪会议感到恼火，为此指责麦迪逊等人。据一位亲戚说，当麦迪逊的敌人找他竞选时，”他曾一度抵制"。时间很短。
选举的核心问题是如何以及何时修改这部全新的宪法。弗吉尼亚州的批准投票附有一份包含四十项修正案的清单，纽约州的批准投票附有一份包含二十三项修正案的清单。帕特里克-亨利（Patrick Henry）和乔治-克林顿（George Clinton）希望将这些修正案提交给第二次大会，这是新宪法（第五条）规定的两种修改途径之一。但麦迪逊知道亨利的真正意图。第二次会议，尤其是在宪法诞生后这么短的时间内召开的会议，可能会像第一次会议一样自由散漫，只要它是一个真正的选择，新政府就会陷入困境。麦迪逊在写给伦道夫州长的信中说："他内心的秘密愿望就是摧毁整个制度"。
在事态发展的压力下，麦迪逊开始将国会通过的权利法案视为一种必要的妥协，甚至是一件好事。早在夏天，杰斐逊就从巴黎的观察站给他发来了一份通报。”我由衷地为......我们的新宪法感到高兴，"他兴高采烈地说。"这是块很好的画布，上面的一些笔触只需要修饰。"其中要修饰的第一条就是"从南到北的普遍呼声"所要求的权利法案。麦迪逊秋天的回答显示出疲惫的迹象：为什么他的朋友既如此乐观，又如此唠叨？麦迪逊承认，权利法案是"其他人迫切希望的"，但他自己并不这样认为。他称权利法案为"羊皮纸障碍"，重复了《联邦党人》第48期中的说法，并提醒杰斐逊，弗吉尼亚州的《权利宣言》"在每一个与大众潮流相对立的地方都遭到了违反"。但最终他还是找到了让步的理由。他在给杰斐逊的信的结尾写道，权利法案中宣布的政治真理"逐渐获得了自由政府基本格言的性质，当它们融入民族情感时，就会抵消利益和激情的冲动"。权利法案可能是有用的，因为人们会用大写字母将其视为《权利法案》。杰斐逊接受了麦迪逊的转变，并用一个业余建筑师的比喻将其固定下来。"多这样一个支撑物，要倒塌的大厦就不会倒"。
现在，麦迪逊必须赢得选举。可是现在他又一次来到纽约，为即将被代替的国会服务。新一届国会的选举定于1789年2月2日举行，这是一年中最不适合搬迁和竞选的时候。他写信给州长伦道夫，说他”鄙视”拉选票，华盛顿则说他"极度厌恶"拉选票。他的身体也表达了他的想法，他患上了痔疮。尽管如此，他之后还是南下，在弗农山庄度过了圣诞节前的一周。(此时，麦迪逊的朋友们正在往那里给他寄信）。
接下来的五周天气恶劣：下雨、下冰雹、结冰、下雪，还伴有严霜。麦迪逊在自己的选区四处奔走，写信、会见支持者、与门罗辩论。多年后，他回忆起在卡尔佩珀郡的一次露面，该郡是该选区最大的郡，也是反对宪法的大本营。两位候选人在一座德国路德教会教堂前发表演说，教徒们站在雪地里聆听，"似乎认为这是一场争斗，他们必须成为观众"。之后，麦迪逊坐了12英里的车回家，鼻子被冻伤。
麦迪逊以回忆的幽默方式讲述了辩论的故事。但他所在地区的路德会教徒和其他宗教少数派了解这些问题，并非常认真地对待它们。
门罗竞选团队指责麦迪逊反对任何修正案，理由是宪法是完美的。1月初，他写信给浸礼会牧师乔治-伊夫（George Eve）为自己辩护。麦迪逊解释说，虽然他反对之前的修正案，但既然宪法已经安全批准，第一届国会就应该保护"基本权利，尤其是最充分的良心权利"。当月晚些时候，伊夫在卡尔佩珀的一次公开会议上为麦迪逊辩护，回顾了"（他）所做的许多重要贡献......特别是确立宗教自由的法案"。麦迪逊在权利法案问题上改变了主意，但在宗教自由问题上却从未改变过。只要政治家的路线是明确的，选民们就会原谅他的忽左忽右。他的善举为他提供了帮助。
即使是他也从未做过的好事。麦迪逊在一封被多家报纸转载的信中声称，他现在不仅支持权利法案，而且在制宪会议上也是一个”不成功的权利法案的倡导者”。由于不成功，他没有在笔记中记录他的主张。他赞成修改宪法，以及他的记录。
当投票举行时，麦迪逊以1308票对972票击败门罗。雪地里的浸礼会教徒和路德教教徒以及他在奥兰治县的支持者都支持他。他将结果寄给杰斐逊，并以胜利者的风度补充说，他与门罗的友谊没有"丝毫减弱"。作为一个胜利者，他有能力表现得亲切；作为一个聪明的胜利者，他将其记录在案。
1789年4月30日，乔治-华盛顿在纽约华尔街联邦厅的阳台上宣誓就职。从月初开始，众议院就一直在同一幢大楼的底层两层会议厅举行会议。麦迪逊没有留下任何关于新制度生效时的戏剧性、焦虑或喧嚣的描述，也许是因为他已经习惯了处于事情的中心。
他太忙了，没有时间做太多观察。二月底，他在返回纽约的途中在弗农山停留，帮助华盛顿撰写就职演说。大卫-汉弗莱斯（David Humphreys）曾是华盛顿的上校，正在为他撰写传记。麦迪逊写了一个更简洁的版本，只有六个段落。华盛顿在联邦厅发表演讲后，麦迪逊写了众议院的回应，以及华盛顿对众议院回应的答复。善于观察和嫉妒的人注意到了麦迪逊的访问。写日记的宾夕法尼亚州参议员威廉-麦克莱（William Maclay）写道，麦迪逊对总统的"事务..... . ................."他身边的人都想在他头上戴一顶皇冠，以便他们可以处理皇冠上的珠宝。
国会有很多自己的事情要做。它必须建立一个政府，填补宪法的空白，然后进行治理。麦迪逊坚持要列入议事日程的一项事务是制定一项权利法案。他希望该法案由国会制定，这样他就能对制定过程施加影响，他还希望尽快完成该法案，以安抚宪法的批评者。5 月，他设法将本州要求召开第二次大会的请愿书提交国会。第二个月，他向众议院提交了自己的修正案清单。
麦迪逊不得不面对两种怀疑论者--一种是什么都不想做的人，另一种是想推翻一切的人。无所作为者不无道理地认为，政府是崭新的；他们怎么能在问题出现之前就加以解决呢？激进的修正者对政府本身充满敌意：弗吉尼亚州提出的40项修正案中，许多都是结构性的，改变了征税、签订条约和管理贸易的权力。麦迪逊明确表示，他只对"权利保障"感兴趣，而不是"重新考虑政府的整个结构"。
他的修正案包括关于权利来源和政府目的的杰斐逊式序言；关于每位国会议员所代表的选民人数和国会薪酬的一些琐碎规定；以及后来成为前十项修正案的版本。
麦迪逊借鉴了英美几个世纪以来的先例。请愿权和陪审团审判权可追溯到《大宪章》。詹姆斯二世下台后于1689年颁布的《英国权利法案》禁止过度保释和罚款以及残忍和不寻常的惩罚，并支持一种相当特殊形式的携带武器权："新教徒可以拥有武器为自己辩护"（被废黜的国王是天主教徒）。在《弗吉尼亚权利宣言》中还可以找到许多其他保障，其中包括麦迪逊改写的内容："人人平等享有自由信奉宗教的权利"。
在麦迪逊的修正案中，最与众不同的是他的第五修正案，该修正案是对宪法新的多层次结构的回应：在确保其他地方的良心权、新闻自由和陪审团审判权之后，他提议任何州都不得侵犯这些权利。随着众议院辩论的深入，他将这项修正案称为”整个清单中最有价值的……”。尽管有《权利宣言》，但他并没有忘记自己州的不当行为。【译者：需要把第五修正案拿来看看。】
他在众议院重申了他最终向杰斐逊做出的让步，即支持"纸屏障"："它们有一种倾向，会使人们对它们产生某种程度的敬意，建立起对它们有利的公众舆论，[并]唤起整个社会的关注"。他的啥也不做的同事们是实用主义者，可以用实用主义的理由来说服他们，因此他认为，增加一项权利法案将显示出对那些想要权利法案的人的"尊重和让步精神"。结构变革的倡导者则不可能让麦迪逊满意--南卡罗来纳州的艾达努斯-伯克（Aedanus Burke）议员称麦迪逊的修正案是"无稽之谈，满嘴跑火车"--但值得庆幸的是，他们在国会中只是少数。
麦迪逊的手稿在 7 月提交给一个专门委员会，然后在 8 月提交给众议院全体成员进行为期 11 天的辩论，最后在 8 月下旬提交给参议院（参议院在联邦厅二楼自己的会议厅开会）。纽约闷热难耐；一位国会议员写道，"政治温度计"同样高企。一些政治家一心想着其他问题，他们不明白为什么要在修正案上浪费时间。麦克雷参议员写道，在参议院首次辩论修正案时，"它们受到了蔑视"。但在政治的磨砺中，修正案继续前进。
麦迪逊禁止各州侵犯权利的主张被弃置一旁；一个半世纪后，司法部门才开始思考各州是否应与联邦政府遵守同样的标准。他的序言也消失了；现任康涅狄格州议员的罗杰-谢尔曼（Roger Sherman）说，这会"损害"现有序言（即古弗尼尔-莫里斯（Gouverneur Morris）的轻盈小文）的"美感"。
麦迪逊最初清单中最引人注目的改动是个抄写问题：麦迪逊曾提议将他的修正案塞进《宪法》现有条款中与之相关的地方，但他的同事们决定将其作为新条款列在最后。
1789 年 9 月下旬，众议院和参议院就最终版本达成一致，并向各州发送了 12 份修正案。
国会清单上的第一项修正案是修改每位国会议员所代表的选民人数的公式，以更好地调节众议院的规模。该修正案从未获得通过，后来国会通过立法解决了这一问题。第二项修正案是关于国会加薪的规定，但却迟迟未获通过：直到 1992 年才获得批准，当时它已成为第二十七修正案，而非第二修正案。
因此，《权利法案》第三至第十二修正案在获得批准后，就变成了第一至第十修正案。它们的独特地位和数量，与一套更为著名的十条法律相呼应，提升了它们的地位，使它们的发起人麦迪逊成为世俗的摩西。
《权利法案》也完成了其直接的政治任务。麦迪逊曾预言，《权利法案》将”扼杀"反对《宪法》的声音。他是对的。年底，三个州批准了《权利法案》；1790年初，又有五个州批准了《权利法案》。任何要求召开第二次大会的压力都消失了。弗吉尼亚州于1791年12月表示同意，使《权利法案》生效。但帕特里克-亨利早就放弃了。他抱怨说："弗吉尼亚被耍了"。
当我们庆祝《宪法》时，我们往往会关注制宪会议。霍华德-钱德勒-克里斯蒂（Howard Chandler Christy）20×30 英尺的油画《宪法的签署》悬挂在众议院的楼梯上，就像十八世纪的时装秀一样明快、外向：看看查尔斯-平克尼（Charles Pinckney）和圣托马斯-詹尼弗的丹尼尔（Daniel of St.位于费城国家宪法中心的签名者大厅（Signers' Hall）让我们漫步在 42 尊与真人一样大小的代表铜像之间：39 位签名者，加上最后一天的三位坚持者（马萨诸塞州的梅森、伦道夫和埃尔布里奇-格里）。纽约时报形容麦迪逊的雕像是”沉思的"，汉密尔顿的雕像是"粗野的"和"英俊的"。麦迪逊的笔记或许是对大会的第一个也是最有纪念意义的庆祝活动。在《宪法》的故事中，大会的地位显而易见：律师和法官引用的文字都是在这里写的，我们尊称为制宪者的人也是在这里签下自己的名字。
但是，《宪法》的制定在费城不止花了五个月的时间；在安纳波利斯、纽约和里士满也花了三年的时间。在每个重要阶段—安纳波利斯会议、费城会议、撰写《联邦党人》、争取批准、撰写《权利法案》--麦迪逊都是主要参与者。他与所有其他主要参与者打交道--华盛顿和汉密尔顿、莫里斯和威尔逊；他让杰斐逊了解情况并参与其中，抵御布鲁图斯和亨利。有时，他也会犯错或固执己见；这些都与他的耐心和精力、学识和智慧背道而驰。
他输掉了争论，也改变了主意。这是因为宪法既是政治的产物，也是理论的产物。在《联邦党人》中，麦迪逊多次谈到理论家，但总是轻蔑地说（"一个巧妙的理论家"可能会"在他的壁橱里或在他的想象中"规划一部宪法）。他在第 53 页讨论外交政策时说，国会议员获取必要知识的最佳途径是"在实际任职期间......切实关注"。许多其他种类的知识也是如此。
宪法一旦完成，就进入了政治领域。关于宪法的分歧会毁掉麦迪逊的许多友谊；在他有生之年，这些分歧会让国家陷入疯狂，包括流血，甚至可能导致更严重的后果--分裂和内战。分歧将把麦迪逊推向权力的高峰（这也是他帮助煽动这些分歧的原因之一）。
这一切即将到来。1789 年秋天，麦迪逊完成了一件大事。如果说他还算不上宪法之父--成功有无数个父亲--那么他就是宪法的助产士。