1783 年 9 月，美国和英国签署了结束革命战争的条约。两个月后，麦迪逊的国会任期结束，这让他近三年来第一次回到奥兰治县。
离开家乡的日子让他有意愿考虑在州外购买土地，即使不搬家的话。他与法裔美国英雄拉法耶特一起前往纽约中部，考察因战争而从易洛魁印第安人手中夺来的土地，也可以说是解放出来的土地，因为他们中的大多数人与英国人站在一起。最后他确实与弗吉尼亚州的另一位年轻议员詹姆斯-门罗（James Monroe）合伙购买了1000英亩土地。大多数弗吉尼亚人对土地有一种渴望，此外将他们中的许多人还有一种浪迹天涯之心，这是为什么很多弗吉尼亚人后来又前往肯塔基州和其他地方的原因。这些想法大概也在麦迪逊买地时萌发。
但政治让他一直坚守在弗吉尼亚州。除了一个短暂的时期，他一直担任那里的民选或被任命的职务，直到 60 多岁。一份工作结束后，他就换到另一份工作。追求政治生涯需要政治基础。这是他的郡，也是他的州。
由于任期限制，麦迪逊在三年内不能再被派往国会。因此，1784 年春，他的邻居们选举他进入弗吉尼亚州众议院，即弗吉尼亚州议会下院，在新的州首府里士满参加会议。
他并没有忽视在大革命期间建立的关系。他与托马斯-杰斐逊的关系最为密切，也最为重要。1784 年夏天，杰斐逊离开美国前往巴黎，在那里担任外交官直到 1789 年秋天。他们保持联系并非易事。十八世纪的跨大西洋通信非常缓慢。信件必须由旅行者或友好的船长携带；在船只启航前可能会出现各种延误，大西洋的航程可能需要几周到几个月。麦迪逊在 1786 年 6 月写给杰斐逊的一封信的开头说，他刚刚收到杰斐逊前一年 10 月寄给他的一封信。"我开始担心它丢了"。十八世纪大西洋两岸的写信人只有在七八个月后才会开始担心，他们的信件也许丢失了。
1785 年 10 月，杰斐逊在给麦迪逊的一封信中开头写道："七点钟，我刚退到炉边，决定与您交谈"。距离并没有减少他们之间的亲密关系：杰斐逊希望他远方的朋友能听到他的声音。有些事情让这位海外的美国人感到不安，他需要把它们解决掉。杰斐逊当时在枫丹白露，这个距离巴黎 40 英里的小镇是法国国王狩猎的地方，他狩猎时，宫廷的人都会跟到那里去。杰斐逊有一天出去散步，”想看看这个地方的风景”，路上碰上一位女工，看他路不熟，就带他走了一段山坡小路，这样他们就聊了起来，她告诉杰斐逊，她有两个孩子（没有提到丈夫），每天能挣 8 苏（或 4 便士），当然这是当她运气好能找到工作的时候，但不总是这样幸运。在她和杰斐逊告别时，杰斐逊给了她 24 苏，她顿时泪流满面。"她可能从来没有得到过这么大的帮助"，这让杰斐逊"陷入了一连串的思考"，即让他的这位贫苦向导陷入困境的原因--财产分配不均。
"地球是作为人类劳动和生活的共同财产而给人的。如果为了鼓励勤劳的发展，我们允许把它据为己有"--也就是归个人所有--"我们就必须注意为那些根本不拥有土地的人提供其他就业机会。如果我们不这样做，劳动土地的基本权利就会回到失业者手中"。杰斐逊怎样才能鼓励财产分配，不至于让他的导游为二十四苏的小费而哭泣呢？他提出了两个建议：废除将遗产分配给一个继承人的封建继承形式，以及累进税制。废除封建继承方式是针对法国的建议；杰斐逊认为，弗吉尼亚州已经废除了长子继承制，因此也就废除了像枫丹白露国王那样的巨额遗产。但杰斐逊在信中提出了两个更为激进的观点。财产只是次要的权利，因为社会允许财产"是为了鼓励勤奋"，而谋生的权利--"在土地上劳动的权利"--先于财产。这种思想会让整个弗吉尼亚乃至美国社会受到质疑。杰斐逊正在努力解决一个深刻的政治问题--工作与权利的交集，他把自己的想法寄给麦迪逊，因为麦迪逊足够聪明，能够跟随他去想，也不会对他不屑一顾。
从麦迪逊的回答中，我们可以看出他是如何处理这种星爆式的问题的。他先是赞美—杰斐逊的反思将成为各地立法者的”宝贵一课"。然后，他试图让他的朋友慢下来。他甚至没有讨论杰斐逊提出的解决方案，因为他看到了一个更大的问题：人口过剩。即使"明智地分享土地......"，还是会有"大量过剩人口"。麦迪逊描述了过剩人口的生活："游手好闲"的地主、奢侈品制造商、仆人、士兵、商人和水手。他承认，在任何有海岸的国家都会有水手，他认为商人人数不多，不必担心，但所有其他的人都是有害的，他希望"简朴的礼仪"和"更公正的政府"能够减小这样的队伍。如果人们的生活不奢侈，就不会有游手好闲的人，就不会有仆人为他们服务，也不会有奢侈品制造商来迎合他们；如果政府既不好战也不专横，就不需要士兵。弗吉尼亚的种植园主当然有奢侈品和仆人，但比欧洲的贵族要少得多。麦迪逊有他自己的全面思想，批驳整个阶层的人，但这些都是从他所了解的生活中推断出来的；他用这些思想来转移杰斐逊的注意力，使他不要去想那些可能会破坏这种生活的想法。
麦迪逊以一个更安全的话题结束了他的信，他对黄鼠狼进行了测量。
但杰斐逊不能对土地及其所有者这个问题置之不理。三年后，他从巴黎写信给麦迪逊，从另一个方向进攻这个问题。
"我的出发点是这样的，我想这是不言而喻的，即大地属于活人的用益权；死者对大地既无权力也无权利"。这段话与《宣言》（"不言而喻"）遥相呼应，是杰斐逊最简洁的文字。除了"用益权"这一短语--这是一种法律词汇，意指在一定时间内使用财产的权利--杰斐逊的话可以镌刻在石头上，也可以在演讲台上大声朗诵出来。
随后，杰斐逊试图通过精算表来使他的见解具体化。根据当时的计算方法，当一个人 21 岁成年时，他可以预期再活 34 年。杰斐逊建议将这个时间跨度作为衡量财务义务的标准。任何一代人”都不能在他们自己的时间内，有效承担超出他们可能偿还的债务。他们自己的时间，就是在承担之日起的三十四年内”。弗吉尼亚州的种植园主有充分的理由要担心他们所欠下的债务，因为烟草价格在整个 18 世纪末都在下跌。
但杰斐逊也想把他的"三十四年日落规则"应用于法律。"没有一个社会能够制定永久的宪法，甚至是永久的法律。. . .如果执行的时间更长，那就是武力行为，而不是权利行为”。【所以，杰弗逊的意思是法律的有效期也是一个世代，三十四年。】
杰斐逊最后说：”亲爱的先生，请把这个问题放在心上。一开始，它可能会被当作理论家的梦想而遭到嘲笑；但经过研究，它将被证明是可靠而有益的”。杰斐逊担心自己的想法会被人嘲笑，但他又对这些问题所困扰。他把自己交给了麦迪逊【实际上是让麦迪逊去帮他思考】。
麦迪逊对这些建议的答复比他对杰斐逊早先信件的答复更加明智，但也遵循了同样的褒贬轨迹。他说杰斐逊提出了"许多有趣的建议"，并"通过哲学的媒介......看到了崇高的真理"。但麦迪逊也会用自己"普通政治家的肉眼"来审视这些建议。
他提出了三点反对意见。首先，宪法因其"古老性"而得到加强；每隔三十四年废除一次宪法会使其变得脆弱不堪。其次，过去不仅是一种负担，因为死者不只是将债务而是还会将改进传承下去。(麦迪逊没有具体说明，但我们很容易想到，甚至地球本身也会得到改善：修路架桥、植树造林）。第三，如果人们知道每隔三十四年就要大清扫一次，他们就会在最后期限到来之前的那一天去做什么来玩弄和规避这个制度。
相反，麦迪逊提出了另一种思考时间和权利的方式："默示同意.....可以在没有出现明确异议的情况下推断出来"。"如果人们继续遵守一项旧法律，那他们其实就表示同意，就像他们自己投票赞成一样"。
然后，他对杰斐逊的世代自治计划提出了最重要的反对意见。法律和债务的连续性并不是"默许"所能维持的唯一东西。多数决制也有赖于此。"多数人的声音对少数人的约束力有什么[其他]原则？如果每项法律都必须一致通过，而且每一代人都要重新通过，那怎么会有法律呢？"
这些交流并不”仅仅”是理论性的。我们也不应该对杰斐逊和麦迪逊之间的攻防像打网球一样为他们打分，在比赛中我们要么支持诗人，要么支持现实主义者。但这里，杰斐逊和麦迪逊都是革命政治家，他们试图定义自己帮助赢得的自由。杰斐逊在探寻自由最深远的影响；麦迪逊则在帮助杰斐逊检验什么是正确的或实用的。【译者：美国建国之初得益于这种不同能力的人的协作，甚至有天意让杰弗逊和亚当斯离开去欧洲，让麦迪逊和汉密尔顿等更合适的人来立法。】
麦迪逊与杰斐逊的通信大多非常实用--新闻快报、八卦新闻--让他的朋友了解弗吉尼亚州的政治，尤其是涉及杰斐逊个人的内容。
两人都与弗吉尼亚州的宗教自由息息相关。1779年，杰斐逊在即将成为州长时提出了一项法案，其中的关键条款宣布”不得强迫任何人参加或支持任何宗教礼拜、场所或牧师”。杰斐逊的法案将扩展麦迪逊之前在《权利宣言》中【试图提出的】关于”自由行使”【宗教权利】的措辞，并赋予其法律效力。
大革命后，弗吉尼亚人再次开始关注宗教政治。1784 年，帕特里克-亨利呼吁征税支持宗教教育。他的议案似乎对每个人都有好处--弗吉尼亚人可以将他们的税款指定用于他们所选择的教堂--但麦迪逊无论如何都要阻止它。他曾在1776年反对为英国圣公会提供"酬金"；他也不希望现在每个教会都得到"酬金"。
他的第一招是把亨利赶出议会，把他踢到楼上的州长职位上【3】。他的第二个招是激起对亨利法案的反对。1785 年夏，麦迪逊撰写了《反对宗教税的备忘录和谏言》，在全州散发。(他没有签署，因为他希望在其他问题上得到亨利盟友的支持。没有必要火上浇油）。他采用了从虔诚到危言耸听的各种声音。神学家麦迪逊解释说，基督教”不依赖这个世界的力量"。因此，由国家来补贴教会是不符合基督教精神的。乌合之众麦迪逊则警告说，"能够强迫公民捐献三便士的同一个权力机构......可以在任何情况下强迫他服从......"。今天接受国家帮助的教会，明天就会被国家的控制所扼杀。
【译者：亨利两次做弗吉尼亚州长，第一次1776-1779，杰弗逊继任。第二次1784-1786。杰弗逊1785-1789在法国】
麦迪逊在给杰斐逊的信中讲述了这个故事，他写道，他的论战"产生了所希望的一切效果"。1785 年秋天，当立法机构召开会议时，”桌子上摆满了来自全州各地的请愿书和抗议书"。
亨利的法案被否决，取而代之的是杰斐逊关于宗教自由的旧法案。但在取得胜利之前，双方进行了周旋。杰斐逊用他最彻底的风格写了一篇哲学序言：开头写道："我们深知全能的上帝创造了自由的思想"。但州参议院反对一些关于理性至上的措辞。经过一番反反复复的讨论，麦迪逊在众议院接受了一些删减。他对法案作者说："这些删减并不影响实质内容，尽管它们在一定程度上污损了法案的写作"。但麦迪逊不想"冒更大的风险，尤其是会期已近尾声，议院人越来越少"。只有在完成所有投票并取得胜利后，麦迪逊才能畅所欲言。"我自以为是地说，[我们]在这个国家已经永远熄灭了那种为人类思想制定法律的雄心企图"。
这对远方的朋友为他们的关系建立了一个模板—杰弗逊是哲学家和战略家，麦迪逊是现实的检验者和得力助手。随着时间的推移，他们就像一对老夫妻，偶尔会互换角色—杰弗逊负责牵线搭桥，而麦迪逊则置身事外，甚至云里雾里。但这种模式将为他们服务多年。
乔治-华盛顿与麦迪逊之间隔着大西洋一样巨大的障碍--他作为英雄的显赫地位。然而，麦迪逊成功地跨越了这道障碍。1784年，麦迪逊重新加入议会，他最早的任务之一就是想方设法让弗吉尼亚州感谢这位伟人在自由事业中"不懈的热忱"。有麦迪逊参加的一个委员会决定委托"最好的大理石和最好的工艺"制作一座雕像。杰斐逊在巴黎找到了伟大的法国雕塑家让-安托万-胡东（Jean-Antoine Houdon）来完成这项工作，胡东雕刻的雕像是沉着冷静、自成一体的宏伟杰作：一个由共和意志控制的名声和人格力量的形象。胡东到访弗农山观察时，麦迪逊正在那里，他为雕像基座撰写了碑文。【4】
不过，麦迪逊获得华盛顿的青睐并非来自雕像，而是来自内河航运。华盛顿一直致力于通过运河和渡口连接波托马克河和俄亥俄河。这事关重大：美国中部的毛皮和农作物只有通过水路才能廉价地到达外部世界--上到圣劳伦斯河经过蒙特利尔，或下到密西西比河经过新奥尔良。华盛顿想，为什么不在波托马克河上运输呢？
作为数千英亩西部土地的所有者，他个人对该项目有利益，只有开发波托马克河，这些土地才能吸引租户或买家。如果弗农山隔壁的亚历山大港成为主要港口，他将获得双重利益。但他认为美国对内陆航运的利益更大。定居者已经越过阿巴拉契亚山脉涌向西部。如果他们的生意要通过英国的蒙特利尔或西班牙的新奥尔良，他们为什么要忠于美国呢？
1784 年 11 月，华盛顿前往里士满游说议会改善波托马克河。约瑟夫-琼斯（Joseph Jones）提出了一项法案，这位六英尺高的人在普林斯顿的临时国会时曾与麦迪逊挤在一张床上。但在琼斯离开议会进入总督州长委员会后，麦迪逊接手了法案的管理工作。
事实上，开发波托马克河在麦迪逊心中并不重要。他更倾向于从西班牙手中夺取密西西比河的控制权，他认为这是一个得天独厚的梦想。他在给拉法耶特的信中写道："大自然将密西西比河的使用权赋予了那些可以在其水域定居的人"。但麦迪逊更希望与乔治-华盛顿拉近关系，因此他承担了波托马克河项目。
这位国父和来自奥兰治县的这位代表合作无间。华盛顿提供威望和说服力，麦迪逊完成立法工作。华盛顿在写给年轻搭档的信中说：”你自己对这件事的判断将是最好的指南”。在他们的努力下，波托马克河公司于1785年春天成立，华盛顿担任总裁。秋天，麦迪逊首次造访弗农山。他离开后，华盛顿发出了进一步合作的无限期邀请："如果有什么有趣的事情发生，而您的闲暇时间又允许的话，我很乐意收到您的来信"。他在信上署名"深情款款（Affectionately.）"。
马上就有了这样一件事。在麦迪逊的敦促下，议会给了华盛顿50股波托马克河公司的股份，价值超过22000美元。但华盛顿认为这样的直接利益有失体面。麦迪逊为他起草了一封信，要求议会将他股份的利润捐给慈善机构。随后，麦迪逊加入了对赠与进行必要修改的委员会，该委员会称赞华盛顿的这一"新颖而可爱"证明了他的无私。这并不是麦迪逊最后一次充当华盛顿的代笔，或为他自己的代笔起草回复。
麦迪逊在国会任职时，曾试图通过修改《邦联条款》来赋予国会更多权力；而包括他的同事亚历山大-汉密尔顿在内的一些头脑发热的人则试图利用军队来强行推动这一进程。两次努力都以失败告终。但到了17世纪80年代中期，两人开始将规范州际贸易作为另一条变革之路。
《邦联条款》允许各州征收自己的关税和过路费，这限制了贸易，并引发了不愉快的情绪。一些州共享通航河流：波托马克河流经弗吉尼亚州和马里兰州，萨斯奎汉纳河从宾夕法尼亚州流经马里兰州。谁来收取过路费，谁来支付维护费用？其他一些州没有港口，运往新泽西的货物要经过费城和纽约，这使得他们只能任由邻国摆布。
1785年3月，在亚历山大召开了一次关于波托马克河航运问题的会议。麦迪逊本应代表弗吉尼亚州出席会议，但他没有参加，因为亨利州长对州际投资持怀疑态度，没有告知会议的时间和地点（弗吉尼亚州的另外两名代表只是偶然参加了会议）。【译者：这个有点不可信：-）】华盛顿是波托马克河航运的拥护者，他邀请与会者在弗农山举行会议，与会者同意禁止州际收费并分摊灯塔费用。年底，弗吉尼亚州要求召开一次由各州专员参加的后续会议，以审议商业问题。
会议定于 1786 年 9 月的第一个星期一在马里兰州安纳波利斯举行，但一开始就不顺利。当作为弗吉尼亚州委员之一的麦迪逊抵达安纳波利斯时（这次他知道时间和地点），只有另外两名委员在城里。一周后，只有来自五个州的十二名委员。
但汉密尔顿是其中之一，他急切地想好好利用这次机会。麦迪逊和汉密尔顿在国会并肩工作时曾是如此亲密，但战后却几乎没有联系。现在，当他们再次见面时，这位弗吉尼亚人发现这位纽约人咄咄逼人的脾气并没有改变。
委员们认为，他们的人数不够多，只能写一份报告，要求再召开一次会议。这项任务交给了埃德蒙-伦道夫（Edmund Randolph），他是一位冉冉升起的政治家：弗吉尼亚州第一大家族的成员，杰斐逊的表弟，即将成为州长。但汉密尔顿在两天内就完成了自己的草稿。
汉密尔顿在报告中抨击了《邦联条款》的缺陷，并要求在第二年召开会议，审议"措施......巩固各州联盟"。麦迪逊知道这太直白了，他可能已经猜到伦道夫对被抢先一步感到恼火。他警告汉密尔顿说："你最好向这个人屈服，否则整个弗吉尼亚州都会反对你"。汉密尔顿对自己的措辞进行了适当的修改--最后的报告要求召开一次会议，以"使宪法......足以满足联邦的迫切需要"--委员们一致要求于1787年5月在费城召开一次会议。然后，他们担心更多的厨师会弄坏他们的肉汤，就休会了--休会如此之快，以至于回家的委员们与其他仍在努力赶来的委员擦肩而过。
没有人要求安纳波利斯会议呼吁进行全面的政治改革。但麦迪逊和汉密尔顿这样延长了自己的任期，然后离开了安纳波利斯，是耍了个小聪明。他们的目的是向公众发出呼吁：首先是向国家的政治阶层（报告发给了所有十三个州和国会），然后通过他们向人民发出呼吁。麦迪逊对汉密尔顿唯一的不满是他的呼吁过于大胆。
麦迪逊独自工作，也与朋友一起工作。他阅读其他国家的经验，反思自己的经验，他写文章--给自己的备忘录--消化和整理他所学到的东西。
杰斐逊从巴黎给他寄来了两百多本书--麦迪逊称之为他的"文学货物"--他在 1786 年的春夏两季都在研究这些书。其中大部分是历史学家的著作，从德摩斯梯尼（Demosthenes）到最近的欧洲作家。在阅读过程中，他撰写了一篇题为”古代和现代邦联”的文章，在接下来的几年里，他一直用这篇文章作为辩论或发表文章的简报。他的文章涉及希腊、神圣罗马帝国、瑞士和荷兰。古希腊被分为多个城邦，这些城邦在不同时期组成防御联盟。神圣罗马帝国--现代德国，再加上几个邻国--是一个国家的集合体，仍停留在中世纪；瑞士和荷兰是半自治省的联合体。麦迪逊在各地都发现了纷争和混乱。所有这些邦联问题的根源都在于缺乏令人信服的合法权威。他在谈到他的一个希腊案例研究时写道，缺乏"成员对总体权威的服从"，"毁掉了整个机构"。混乱导致崩溃，或被强势成员欺凌，或被外国征服。
第二年冬天，麦迪逊有时间反思自己在安纳波利斯的工作后，又写了一篇文章，题为"美国政治制度的弊端"。在这里，他是根据新闻和自己的观察来写作的。各州之间互相对抗，各自为政。(他引用弗吉尼亚州和马里兰州就波托马克河航行问题达成的协议作为后者的例子）。各州不能在"共同利益"的问题上一起行动：他列举的被忽视的项目包括运河和国立学院。国会的法律是一纸空文，因为国会无权执行这些法律。在这里，麦迪逊允许自己开一个玩笑：如果国家法律仅仅是建议，"那么它们被执行的可能性又有多大呢？"
麦迪逊没有解决方案。谨慎、宗教和品格（他指的是对名誉的关注）不足以确保统治者或人民行为良好。但他已经在考虑另一种鼓励良好行为的措施。他很快就会提出来。
作为弗吉尼亚州在安纳波利斯的代表之一，麦迪逊呼吁在费城召开大会。作为弗吉尼亚州里士满议会的议员，他撰写了一份法案，批准他提出的建议。麦迪逊通过快速连续地打不同的位置，可以自己执行双重战术。
在麦迪逊的建议下，议会选出了费城的候选人名单，其中包括现任州长埃德蒙-伦道夫（Edmund Randolph）、帕特里克-亨利（Patrick Henry）、乔治-梅森（George Mason）和麦迪逊。弗吉尼亚州和美国最重要的人物乔治-华盛顿（George Washington）位列名单之首。
亨利，州权的战斗队员，拒绝前往。他解释说："我闻到了老鼠的味道"。更重要的是，华盛顿也不想去。他提出了各种理由：他已经在工作之后赢得了安逸。他的健康令他烦恼（他的肩膀患有风湿病）。此外，还有一个尴尬的问题，那就是如何处理辛辛那提社团的问题，这个由革命战争时期的军官组成的组织将同时在费城举行会议。辛辛那提社团曾被批评为潜在贵族的巢穴（其成员资格应该是世袭的），华盛顿拒绝参加他们的会议，直到争议得到解决。但他担心，如果他去费城参加会议，可能会得罪辛辛那提人。
麦迪逊花了整个冬春争取他，向他施展各种策略。1786年12月，当他写信告诉华盛顿他已被列入代表名单时，他轻描淡写地描述了自己在促成华盛顿当选方面所起的作用。"我咨询过的每一位明智的朋友都认为，你的名字是不可或缺的...."。他补充道，"我完全同意这些观点"。
根据国会任期限制，麦迪逊的三年休会期于1786年底结束，1787年1月，他回到了国会，当时国会正在纽约开会。途中，他在弗农山停留，与主人商讨对策。他向华盛顿示好，最有效的手段可能就是计算选票。2月，在抵达国会一周后，他写信告诉华盛顿，"除马里兰州外，所有中部各州都派出了代表"，"据说马里兰州打算派出代表"。一个月后，他报告说，新罕布什尔州、马萨诸塞州、纽约州、南卡罗来纳州和佐治亚州"已经加入了这一行列"。他讨论了他们的代表人选（"汉密尔顿上校"是三个纽约人之一）。令人惊讶的是，许多人虽然聪明，但对政治却是门外汉，他们不明白提前计算选票的重要性。然而，选票统计回答了任何政治家提出的第一个问题：谁将出席会议？他们站在哪一边？麦迪逊向华盛顿提供了这些信息。
华盛顿需要这些信息，因为这关系到他的声誉。他赢得了一场独立战争，然后回家，成为了国家的偶像。辛辛纳图斯是罗马人，他在拯救了自己的国家后又回到了犁地的岗位上，他的传奇故事在现代生活中得到了重现（胡东的雕像将展现华盛顿的形象，他把剑放在一边，站在犁地旁）。如果他现在退休重返政坛，他需要有无可挑剔的理由--他需要有合理的成功机会。如果改革的朋友们愿意进行一场真正的斗争，那么华盛顿也会加入其中。
华盛顿的几位朋友都建议他这样做，其中包括他的老炮兵指挥官亨利-诺克斯和汉密尔顿。但麦迪逊是他在州内的顾问，他掌握着里士满和国会的脉搏。华盛顿在决定前往费城后，于4月写信给伦道夫州长说："我希望一切顺利"。
大会于 5 月 14 日召开。麦迪逊于 3 日抵达费城，是第一个抵达的外地人。他在自己曾作为国会议员使用过的一家膳宿公寓开了一间房，该公寓距离大会所在地州政府大楼（现独立厅）只有一个街区，他还为自己的弗吉尼亚州同胞预订了房间。当华盛顿在英雄般的欢迎声中于 13 日抵达时，他被带到了美国首富罗伯特-莫里斯的家中。但那只是在街的另一头。麦迪逊希望所有的弗吉尼亚人都聚在一起，这样他们就可以计划他们的议程，他打算将其作为大会的议程。
大会直到 25 日才达到法定人数；"这些拖延"，华盛顿写道，"让守时的成员脾气变坏"。(罗德岛州从未派出代表团，除了汉密尔顿，所有纽约人都早早退场，而新罕布什尔州则姗姗来迟，因此每次代表人数都不超过11个州）。但麦迪逊和他的弗吉尼亚州同胞们把这几天的耽搁利用起来了。
一个雄心勃勃的代表如果希望产生影响，就必须带着计划或至少是目标来到费城。在春夏两季参加大会的 55 名代表中，有一些是无用的（或暗语者cipher），有一些是长期缺席者，还有一些是无聊者和吹牛者。但半数以上的代表都是骄傲、有权势、聪明的人，致力于各种利益争夺。如果一个人希望从他的同伴那里得到什么，他就必须知道自己想要什么，并为之努力。
麦迪逊知道自己想要什么，5 月 29 日，伦道夫州长告诉了大会是什么。会议已经举行了两次内务会议，一致推选华盛顿为会议主席，并制定了会议规则，其中最重要的是禁止"肆意发表会议记录"（在费城没有透明度可言）。第三天，正如麦迪逊所说，伦道夫"宣布开始处理主要事务"。
伦道夫回顾了现有政府的缺陷，提出了 15 项决议，这些决议后来被称为"弗吉尼亚计划"。第一项是佯装的："邦联条款应该......得到纠正和扩大"。接下来的十四项决议远远超出了纠正和扩大的范围。
弗吉尼亚计划要求建立一个由多个部门组成的国家政府--两院制立法机构、行政机构和司法机构。此外，还有一个主要由法官组成的"修订委员会"，它可以要求立法机构和行政机构重新确认某些决定，但不能永久性地阻止这些决定。(几乎没有人喜欢这个想法，它很快就被淘汰了）。
该计划最突出的特点是新的国家政府的范围及其权力来源。国家立法机构将主导美国的政治生活。它可以"在各州没有能力的所有情况下"制定法律，并可以否决任何州的法律。新的国家政府将依靠人民的选择。立法机构的下议院由"人民"根据各州的人口或财富按比例选举产生。下议院然后选择上议院。然后，整个立法机构将选择行政和司法机构。新宪法不是由向费城派出代表团的州议会批准，而是由"人民明确选出"的州大会批准。
如果弗吉尼亚州的计划获得通过，邦联条款所规定的州霸权时代就将结束。在代表们对伦道夫的提议进行了一夜的思考后，南卡罗来纳州的查尔斯-平克尼不无道理地问道："他是否意味着要彻底废除州政府？"
我们无法确定谁为弗吉尼亚计划做出了什么贡献，但该计划与麦迪逊在给自己的备忘录和给朋友的信中提出的主题相一致，这表明麦迪逊在其中发挥了主导作用。在一个月前写给华盛顿的信中，他概述了政府的三个分支、民众的批准以及国家对州法律的否决权，他称之为"绝对必要的"。如果没有否决权，赋予国家政府的一切权力"都将被回避和击败。各州将继续侵犯国家管辖权......并以相互竞争和恶意的措施相互骚扰"。正如麦迪逊的特点是通过他人（这里指伦道夫）开展工作一样，他的特点是提前为他人做工作。
在接下来的六周里，当大会就弗吉尼亚计划展开辩论时，他利用会前功课的其他成果为该计划辩护。麦迪逊是一个共和主义者，他相信少数服从多数。他在给自己的一份备忘录中写道："多数人......是公共利益和私人权利最安全的守护者。"在大会期间，他也一再这样说：弗吉尼亚州的计划"符合民主政府的形式"；如果代表们有"正义和大多数人民站在他们一边"，他们"就没什么可怕的"。
然而，共和政府也有它的问题，作为州议员和国会议员的麦迪逊对此深有体会：州一级的派别纷争和恃强凌弱（弗吉尼亚浸礼会的苦难），国家一级的无能为力和相互掣肘（未付账单、对州际贸易的限制）。为什么弗吉尼亚计划是解决这些问题的最佳途径？因为，正如麦迪逊在6月6日所说，该计划扩大了政治争论的舞台。这是他在一年的阅读和写作中发现的想法。
根据《邦联条款》的现状，美国的共和政府只存在于十三个州的内部。他们的联合论坛--国会--是一个平等的联盟，特拉华州（人口 5.9 万）的代表与马萨诸塞州（人口 37.9 万）、宾夕法尼亚州（人口 43.4 万）和弗吉尼亚州（人口 74.7 万）的代表平起平坐。
弗吉尼亚计划将把多数人的统治扩大到全国，或者正如麦迪逊在6月6日所说的那样，"扩大"了政府的"范围"。两天后，他认为，一个根据共和原则选举产生的全国政府可以"控制各州的离心倾向"，否则各州就会"不断飞出它们应有的轨道"。它还将强大到足以保护任何州内的"弱小党派"免受迫害。由于选择它的选民的规模和多样性，它本身不会变得专制。"如此众多的利益和党派"将确保恶性的多数永远无法在全国范围内凝聚起来。
为了共和政体而扩大政府范围是一个新想法。历史上的大多数共和国都是小国（希腊或意大利城邦、瑞士州）；最大的罗马共和国被凯撒破坏，变成了帝国。但麦迪逊从阅读中了解到，联盟和邦联，即使是由小共和国组成的联盟和邦联，也并不稳定。美国已经很大了，既然美国已经决定不设皇帝--主持费城会议的人回家耕田就证明了这一点--麦迪逊愿意考虑大共和国的可能性。
埃德蒙-伦道夫（Edmund Randolph）提出弗吉尼亚计划后，麦迪逊领导了为之奋斗的斗争。虽然他满足于让伦道夫迈出第一步并获得荣誉，但他愿意并能够承担小团体内斗的重担。他把阅读当作武器。在一次演讲中，他列举了”安菲克西同盟者之间的阴谋，先是波斯国王，后来是马其顿的腓力；亚该亚人之间的阴谋，先是马其顿，后来是罗马；瑞士人之间的阴谋，是奥地利、法国和较小的邻国；日耳曼人之间的阴谋，是法国、英国、西班牙和俄国；在贝尔格共和国（荷兰），是所有大国的阴谋"（这是麦迪逊自己说的，是麦迪逊对自己博学的自述；他似乎很自豪）。在另一个场合，他纠正了康涅狄格州代表奥利弗-埃尔斯沃思（Oliver Ellsworth）关于比例代表制历史的说法。"在谈到普鲁士国王拥有九张选票的德国制度时，麦迪逊提醒埃尔斯沃思，"在里西亚邦联中，各成员的选票与其重要性成正比，孟德斯鸠建议将其作为这种政府形式的最合适模式"。人们希望埃尔斯沃思注意到了这一点。
麦迪逊不是演说家，他身上没有一丝一毫的戏剧性，几乎没有戏剧性。但他确实提醒了他的同事们利害关系。他在 6 月下旬说："我们现在正在消化一项计划"，这项计划"将永远决定共和政府的命运"。
也许他最大的优点就是坚持不懈。他参加了大会的每一次会议--代表们每周六天上午十点开会，下午休会--并在几乎所有会议上发言，有时一天内发言三四次。佐治亚州的威廉-皮尔斯是唯一一位留下同事素描的代表，他称赞麦迪逊"具有勤奋和能应用的精神......在辩论中，他总是在任何问题上最有发言权的人"。(他是"一位非常谦虚的绅士"，皮尔斯补充道，"脾气非常好"。麦迪逊在纠正埃尔斯沃思的同时，还称赞他"能干而严密地推理"）。
在费城会议期间，麦迪逊有几个盟友。华盛顿和汉密尔顿是他在会议开始时就认识的。新的支持者是宾夕法尼亚州代表之一古弗努尔-莫里斯（与罗伯特没有任何关系，尽管他们是生意伙伴）。尽管他有一条假肢和一只枯萎的手臂，这都是各种意外事故留下的后遗症，但他还是表现得铿锵有力，令人信服。皮尔斯写道："每一种天赋"都让他"在公开辩论中崭露头角、大放异彩"。费城的女士们可以证明，他在私下交谈中也很活跃。
但由于种种原因，这些盟友并不稳定。随着夏天的到来，莫里斯开始发力，但他在6月跳过了三个星期（"善变和不稳定"，皮尔斯也这样评价他）。汉密尔顿在6月中旬发表了一篇长篇大论，具有极端的国家主义倾向--他建议终身选举行政长官，并认为弗吉尼亚计划不够激进（"还是猪肉，只是换了一点调料"）--其唯一的效果就是让伦道夫的决议相比之下显得温和了一些。由于缺乏麦迪逊的耐心，汉密尔顿错过了整个七月和八月的所有会议，只有一次会议例外。"我很遗憾你离开了。我希望你能回来，"华盛顿在信中惆怅地对他说。
华盛顿本人以不偏不倚的沉默姿态注视着会议进程，与其说他是奥林匹斯山上的神，不如说他就是奥林匹斯山本身。无论他在台下说了什么--他可能说得不多，因为他私下里可能讳莫如深--他作为会议主持人的角色使他不得不在公众面前保持沉默。
只有宾夕法尼亚州的詹姆斯-威尔逊（James Wilson）--一位从苏格兰家庭教师转变为律师和商人的人，甚至在大会召开之时，他正处于破产的过程中--与麦迪逊一起参加了每一次会议，他发言的次数甚至更多，而且一般都站在同一阵营。皮尔斯写道："没有人比威尔逊先生更清楚、更丰富、更全面"。
麦迪逊可能有十几个盟友，也可能一个盟友都没有，因为他的任务实际上毫无希望。费城几乎所有人都希望变革，但小州--以康涅狄格州、纽约州、新泽西州和特拉华州为核心的不断变化的联盟--决心反对全国比例代表制，因为他们担心会被这一制度吞没。6月15日，新泽西州（人口18.4万）的威廉-帕特森（William Paterson）提出了一套九项决议，对这一制度进行了反击。新泽西州的计划要求加强《邦联条款》：各州在一院制国会中保留平等的代表权，国会被赋予征税、管理商业和挑选国家行政机构的权力。纽约州（人口 34 万）支持小州，因为纽约州州长乔治-克林顿（George Clinton）预计纽约港将带来丰厚的收入，他希望纽约港由他而非美国控制。他确保纽约代表团中有他的两位盟友--州法官罗伯特-耶茨（Robert Yates）和奥尔巴尼市长约翰-兰辛（John Lansing）--他们的票数将超过汉密尔顿。兰辛现在告诉大会，新泽西州的计划"维护了各州的主权"，而弗吉尼亚州的计划则"破坏了主权"。新泽西计划提出后，特拉华州的约翰-迪金森私下责备麦迪逊说："你看到了把事情逼得太紧的后果"。
其他州则不太关心政府结构，而只关心自己的特殊利益。康涅狄格州（人口 23.8 万）是一个小州。南卡罗来纳州（人口 24.9 万）人口较多，而且预计还会增长。但南卡罗来纳州 40% 以上的人口是奴隶，这一比例在所有州中最高。奴隶制是一个跨越大州/小州鸿沟的利益问题。如果将奴隶计入代表人数，那么每个奴隶制州，无论大小，都将从中受益。(当然，奴隶是没有投票权的，他们只会增加主人的权力）。
康涅狄格州和南卡罗来纳州的代表都是难缠的讨价还价者。康涅狄格州的罗杰-谢尔曼（Roger Sherman）自学成为一名律师；一位北方佬称他"像魔鬼一样狡猾......你还不如抓住鳗鱼的尾巴"。南卡罗来纳州的约翰-拉特利奇曾在伦敦中殿大学学习法律；一位外国外交官称他为"美国最骄傲、最不可一世的人"。如果魔鬼和贵族与小州之间达成交易，他们可能会抓住整个大会的尾巴。
麦迪逊意识到奴隶制作为一个问题的力量，他提出了自己的交易，以挽救弗吉尼亚计划的基本形态。6月底，麦迪逊在纠正奥利弗-埃尔斯沃思（Oliver Ellsworth）的同一次演讲中承认，"美国利益的重大分歧......在于北方和南方之间"。或许可以根据包括奴隶在内的总人口来确定立法机构一院的比例代表制，而另一院则只根据自由居民的人数来确定比例代表制。"通过这种安排，南方[一方]将在一个议院中占优势，而北方则在另一个议院中占优势"。
但他没有找到足够的支持者。在就代表权问题进行了几周越来越顽固的辩论后，大会于 7 月 2 日选出了一个由 11 人组成的委员会（当时每个州都有一人参加），以提出一个折中方案。麦迪逊至始至终都反对这个委员会，他说在国会中，"除了拖延，他很少看到"这样的机构产生任何其他效果。当然，他也没见过自己没有参加过的委员会有什么好的效果。他和威尔逊都没有被选中参加这个委员会，但谢尔曼和拉特里奇参加了。
在为庆祝国庆休息两天后，委员会提出了折衷方案：立法机构的一院将以比例代表制为基础，每个奴隶算作五分之三的自由居民；在另一院中，每个州将拥有平等的投票权。奴隶州和小州都设法赢得了特殊地位。几天的争论之后，妥协方案于 7 月 16 日获得批准。
第二天上午，来自各大州的代表们在大会开幕前举行了一次非正式的核心会议。其中一些代表（不清楚麦迪逊是否参与，没有记录）。麦迪逊写道："时间都浪费在含糊不清的谈话上了。这是一次典型的失败者会议，没有方向，萎靡不振"。
麦迪逊是最沮丧的一个。他认为州平等在一院的存续是一次彻底的失败，是他的计划中联盟和邦联的所有弱点的入侵。他对历史研究得如此透彻，推理得如此严密，现在怎么能接受同事们的错误呢？
因此，麦迪逊不会如愿以偿。但这是政治中常见的结果。一个常见的反应就是抱怨，麦迪逊就做了很多这样的事，在7月和8月炎热的几周里一直酝酿着他的不满，一直到9月，他在给杰斐逊的信中抱怨说："这个计划如果通过，既不能有效地实现其国家目标，也不能防止地方上的弊端，而地方上的弊端在每个地方都会激起人们对州政府的反感"。
对失望的另一种可能反应是继续前进。也许有些东西可以从残骸中挽救出来。也许方向会对你有利。也许，随着进一步的思考或事态的进一步发展，你会改变主意。
麦迪逊一直在坚持，尽管他一直在抱怨。尽管他开始感到不适，但他的完美出勤记录依然保持得一尘不染。7 月 16 日妥协之后，新的立法机构与麦迪逊最初的计划相比还发生了其他变化。它失去了否决各州法律的权力，也失去了在各州无能的"所有情况下"制定法律的权力（不过，由于立法机构的组成发生了变化，在麦迪逊看来，这不再是一件坏事）。
8 月底，麦迪逊的少数服从多数原则赢得了一场迟到的胜利，大会同意其成果应由各州的一次大会而非州议会批准。麦迪逊说，"人民"是"一切权力的源泉，求助于人民，一切困难都会迎刃而解。他们可以随心所欲地修改宪法"。
在整个辩论过程中，麦迪逊坚持完成他从五月份开始的一项任务：写下每天的讨论记录。大会有一位秘书，名叫威廉-杰克逊（William Jackson），是汉密尔顿在华盛顿战时的战友之一。但他只记录了动议和投票。麦迪逊的目标更远大，动机也更独特。"我在研究......邦联......历史的过程中感受到的好奇心......以及我发现的满足这种好奇心的方法的不足......决定了我要尽可能准确地记录[这次]大会可能通过的内容"。这位沮丧的历史学家想要创造一个完美的研究工具。
因此，麦迪逊每天早上都会站在会议主持者所坐的主桌前。他"站在这个有利的位置，聆听所有经过"，用自己的私人速记法记录下所有内容；然后"在休会和重新召开大会之间，不失时机地"充实自己的笔记。实践以及对主要参与者思维模式的日益熟悉，让他的工作变得更加轻松。他与作者核对了几篇演讲稿，其中包括古弗努尔-莫里斯的一篇"非常奢侈"的演讲稿。"当这件事让他瞠目结舌时（这是莫里斯先生的原话）......他笑了笑说，'是的，没问题'"。
其他一些代表也做了笔记。纽约的罗伯特-耶茨（Robert Yates）保存了第二套最完整的记录，但他的记录在七月初中断了，当时纽约的州权主义者们都回家了，他们对麦迪逊取得的胜利比麦迪逊遭受的失败更加厌恶。麦迪逊的记录因其完整性而独树一帜。
但麦迪逊不仅是在为历史的缪斯服务。信息就是力量，尽管他遵守大会的保密承诺，在有生之年不发表自己的笔记，但他还是会与选定的朋友分享精选的信息，以尊重他的政治联盟。没有人认为麦迪逊篡改了自己的记录；他不相信改变过去来控制现在。但他确实相信，揭示过去的点点滴滴可以影响政治动态，而且他注意积累有关这一划时代事件的最大量的点点滴滴。
9 月初，大会闭幕，麦迪逊和他的盟友们享受了最后的欢乐。麦迪逊、汉密尔顿（不再逃课）和古弗努尔-莫里斯被任命为一个委员会成员，负责制定文件的最终版本。莫里斯完成了所有的工作，他在脑海中构思了序言，并对其余部分进行了平滑和修整。几十年后，麦迪逊写道：”没有比这更好的选择了”。最后一天，即9月17日，华盛顿打破沉默，提出了一个小的修改意见；该序言无异议通过。这也是他的间接认可：没有其他需要修改的地方了；我们已经尽力了。汉密尔顿也盖上了自己古怪的批准章。他说，"没有人的想法比我的更偏离计划。但是，在无政府状态和动乱与良好机会......之间，是否有可能进行商议呢？如果连我都加入了，其他人也该加入了"。他签了名，因为兰辛和耶茨的叛变（他们不支持）使他成为无州籍人士；代表所有 11 个州的其他 38 名代表加入了他的行列。【6】
随后，《宪法》走向全国，但麦迪逊的工作完成了还不到一半。