中央决定保留毛泽东遗体并建立纪念堂后，选址在何地便成了反复研究的问题。当年一些人猜测，可能会学中山陵那样在北京西山建堂，然而最后确定建在天安门广场。
当时由国务院副总理谷牧为主任的中央保护毛主席遗体领导小组办公室，是总揽全局的办事机构。凡属有关毛主席纪念堂的建设和遗体保护的决策性意见，均出自这个最具权威的办公室里。为筹划毛主席纪念堂建设，办公室专门设立了一个“陵墓设计小组”，后改名为“毛主席纪念堂设计组”，由当时担任北京市建委主任的赵鹏飞和一机部副部长孙友余挂帅。
1976年9月13日，毛主席遗体领导小组办公室成立的当天，即电话通知了北京、天津、上海、广东、江苏、陕西、辽宁、黑龙江等8个省市10个单位，要求选派最有声望的建筑师、设计师、美术师和工人代表共40余人前来北京，负责陵墓的选址和设计工作。
选址工作刚开始，便众说纷纭，提出不同的方案。当时选来的是一批最优秀的建筑专家（国家建委建筑科学院5人，北京市规划局和建筑设计院各6人，清华大学4人，上海4人，天津、辽宁、广东、广西、黑龙江、一机部各3人），他们汇聚到北京后，立即成立了选址设计小组，并于9月14日投入到了紧张工作之中。
在近两个月的选址工作中，专家们走访了北京的有关地方，察勘了多处名胜古迹所在地，先后对香山、景山、北海、中南海、天安门广场及其北部一带等十几个地点作了重点调查研究，并先后提出了各种方案和设想。
选址设计组的专家们，首先想到的是毛泽东南征北战、辛勤操劳一生，理应在风景秀丽、环境优美的地方建造陵墓，让他老人家能够安眠静息。为此，他们设计出“水上日出”方案：浩浩碧波，霞光绚丽，一轮红日，跃出水面，光焰万丈。为此，专家们来到中南海、北海、昆明湖……走了一水又一水，寻找着合适的水域。
中南海是毛泽东长期居住过的地方，又是新中国成立之后，中共中央和国务院的办公地点。中南海里一泓碧水，微波荡漾，岸柳成行，绿草如茵，亭台廊榭，风景秀丽。有人主张将主席陵墓建在瀛台小岛上，然而中南海是全国最高领导中心和国际友好交往的重要活动场所，陵墓建在这里会有每日数万人前来瞻仰，势必会影响到此处的党务和国务活动。再者，瀛台是当年慈禧太后囚禁光绪皇帝的地方，将毛主席陵墓建在此处也不合适。
北海、颐和园虽然不是中央办公地点，但公园毕竟是人民假日休憩、游玩放松的地方，在此修建陵墓与整个环境和气氛显然不符。有的专家提出了“山顶红星”方案，并为此又去攀香山、景山、玉泉山，走过了一山又一山。
香山方案曾一度被看好。中共中央于1949年3月由河北省平山县迁至北京后，香山曾是毛泽东居住过的地方，直至同年秋天才迁往中南海。毛主席在香山虽然只住过短短几个月，却在这里指挥了震惊中外的渡江作战，商讨和确定了建国大计，拟定和发表了《南京政府向何处去》、《向全国进军的命令》、《丢掉幻想，准备斗争》、《论人民民主专政》等一系列纲领性文献。除历史地位重要之外，在此仿照气势宏伟的南京中山陵，依山而建毛主席陵墓，同样可以获得“高山仰止，景行行止”之效果。然而，香山虽有山势险峻、气势开阔、景色秀丽、环境幽雅之长，却距北京城较远，给群众带来不便。
景山公园与中南海、北海这些皇家园林，共同构成了北京城内最优美的风景区，也是北京过去城内的最高点。站在景山主峰的万寿亭上，天气晴朗时，不仅可以环视北京全城，还可以俯看世界上规模最大的宫殿建筑群——故宫。景山虽位于整个京城的中心位置，但却距离政治中心天安门广场较远，也显偏僻。
当依山依水的各种方案纷纷受到质疑后，选址设计组的目光，便自然而然地聚集到了天安门广场。
天安门以北的方案，是把陵墓建在位于南北中轴线上的天安门之北的端门位置上。提出此方案的专家认为，当党和国家领导人在天安门城楼检阅队伍时，游行的人群面向天安门，同时也向着伟大领袖毛主席。在此修建陵墓，不仅不涉及房屋拆迁问题，还有现成的公园树木可以利用。此案的缺点是，陵墓藏在古建筑群中，而且被高大的天安门挡住，广场上的群众根本看不到它。
在选址和设计工作加紧进行的时候，党中央在粉碎“四人帮”的第二天，即1976年10月8日作出了在首都北京建立毛泽东主席纪念堂的决定，正式宣布“在纪念堂建成以后，即将安放毛泽东主席遗体的水晶棺移入堂内，让广大人民群众瞻仰遗容”。这一决定的发表，立即引起了全国人民的热烈反响，人们开始毛主席纪念堂何日建成，也促使纪念堂设计小组加快了自己的工作进程。
选址设计小组的专家走遍了京城内外，仍没能找到最理想的地方，心中也不免焦躁起来。
正当选址一筹莫展的时候，谷牧、顾明等领导多次参加现场勘察，亲自主持召开座谈会，讨论选址和设计方案，广泛听取了多方面的意见，并就一些重要问题给予了明确指示。顾明耐心启发小组成员说：“毛主席在《蝶恋花·答李淑一》词中写道：‘我失骄杨君失柳，杨柳轻直上重霄九’。烈士们到月宫里，吴刚捧出桂花美酒，过着寂寞生活的嫦娥也万分激动，在碧海青天舒袖起舞……”
领导的启发，给选址设计组的全体人员，指明了选址和设计的方向，引导他们彻底跳出陵墓的概念，摆脱了悲哀的调子。山重水复疑无路，柳暗花明又一村。通过对众多方案的反复比较和论证，设计组最终将目光锁定在天安门广场。
毛泽东也应该算是第一个把陵墓较为纪念堂的人。这样既方便后人祭拜，以记住自己的光辉伟绩，又不是庄重。这一想法真是令那些建筑家煞费苦心。也正是因为他们，才有了今天的纪念堂。他们是保留历史的英雄。
