麦迪逊遇到过的最困难的时期,是与英国开战初期,广大美国人民强烈反战,人们认为这场战争是麦迪逊强加给人们的,而且,美军又处处失利,人们甚至认为美国要毁在麦迪逊手里了。在战争初期一个妇女求上帝开恩,以解开她的长发,为绞死麦迪逊做一根绳子。
当英军进攻华盛顿时,麦迪逊到前线去了,多莉手忙脚乱地收拾文件,并忠贞地保护好华盛顿像,然后才匆忙奔向她朋友的家。不过,朋友这时翻脸了,她咒骂麦迪逊把她的丈夫送到前线去受死,大骂着让多莉滚开。可怜的总统夫人只好四处躲藏,最后跑到弗吉尼亚。麦迪逊此时也正在着急地寻找着多莉,由于战事很紧张,作为总司令他抽不出时间去照顾爱妻,但他又不能失去多莉这个给他许多帮助的女人,麦迪逊着实动了感情,他急得团团转,他们终于在分手36小时之后又团聚了。