1977年召开的十一大会议上，徐向前元帅被选为政治局委员。到了第二年，在第五届全国人大第一次会议上，他又被任命为国务院副总理兼国防部长。同年11月，中央军委还让他担任了武装力量委员会主任一职。

77岁的徐向前虽已年迈，却像枯木逢春般焕发活力，全身心投入到国防现代化建设事业中。

1978年，根据中央军委的部署，由徐向前牵头负责，解放军对整体军事战略进行了全面调整，同时为各个战区制定了具体的作战方案。这项工作圆满结束后，徐向前向中央领导汇报时表示："我负责的任务已经全部完成了。"

1978年10月，越南军队突然大举进攻柬埔寨，同时不断在我国广西、云南边境挑起冲突。为了阻止越军的侵略行径，守护国家疆土安全，中央决定在合适时机对越军进行自卫反击。时任国防部长的徐向前，在这关键时刻再次肩负起重要使命。

这场自卫反击战总共打了18天，我军在达成既定作战任务后，主动撤回了部队。

自卫反击战胜利后，徐向前等军委首长在北京亲切会见了参战英模代表。徐向前高度赞扬了官兵们在战场上的英勇表现，并挥笔写下"保家卫国的英雄们永垂青史"的题词。

1980年某月，中央军委召开了一次重要会议，专门研究军队精简整编的事情。会议由徐向前元帅主持。会上大家一致同意先裁减50万军队人员，这个方案上报中央得到批准后，又决定再裁减50万人。

这次改革中，军委下属的炮兵、装甲兵和工程兵都划归总参谋部管理，成为总参的下属单位；各军区的同类兵种也统一归到军区司令部；同时铁道兵和铁道部也实现了合并重组......

这次军队精简整编为1985年百万大裁军开了个好头，树立了榜样，为后续继续压缩军队规模打下了基础。

徐向前在担任国防部长的三年间，共接待了21批外国军事代表团、社会名流和新闻记者。作为经历过二战的资深军事家，他是当时全球国防部长中唯一具有这段历史记忆的老一辈将领。许多外国军官都以能见到徐向前为荣。例如1981年6月，泰国元帅巴博访问中国时，即便徐向前已不再担任国防部长，他在完成正式会见后仍专程前去拜访。

1980年8月召开的第五届全国人大第三次会议上，徐向前主动请辞国务院副总理一职，随后也不再担任国防部部长职务。

徐向前当国防部长那会儿，作为邓小平的得力助手，为国防建设操碎了心。其实他俩早就是老搭档了，抗战和解放战争初期都在129师和晋冀鲁豫军区共事过。特别是解放战争打到刘邓大军挺进大别山那阵子，徐向前留在后方根据地，发动老百姓省吃俭用、踊跃参军，拼了命也要保障前线部队的后勤补给。

1976年，在"反击翻案风"运动期间，邓小平同志生病了。徐向前知道后，立即联系了曾经的下属陈锡联将军——当时负责军委日常工作的领导，要求他尽快安排邓小平住院治疗。手术后，尽管徐向前自己也在生病，他还是坚持去医院看望了邓小平。后来，徐向前还大力支持邓小平恢复工作，并公开表示赞同叶剑英元帅的评价："邓小平虽然没有军衔，但他的地位相当于元帅中的领头人。"

邓小平同志对徐向前一直很敬重。1979年12月14日，天气特别冷，邓小平不顾严寒，专程到徐向前家里拜访，两人一起研究军委工作的重大决策。

曾指挥过1979年对越自卫反击战的徐向前老将军，在报纸上看到相关报道后感到非常痛心。他马上联系了当时的解放军总参谋长杨得志，语重心长地说："战士们打仗受伤致残，战后必须好好安置他们，这是我们军队的老规矩。但现在有些地方做得不到位。请军委开会讨论这事。部队不会提过分要求，但地方上一定要把安置工作落实到位。看能不能专门拨一笔钱来解决这个问题，这笔钱必须用在刀刃上，你们好好考虑下。"

在书记处的会议上，杨得志把徐向前说的那番话原原本本念给大家听。经过集体讨论后，国务院重新发布了文件，把原来对伤残军人"看情况安排工作"的规定，改成了"必须安排工作"。

从"看情况安排"到"必须安排"，虽然就改了两个词，但徐向前元帅对战士们的深厚感情和牵挂，在这细微变化中展现得淋漓尽致。

徐向前元帅的回忆录中提到，他80岁高龄时去部队视察，仍然坚持到士兵宿舍走访，亲手摸摸战士们的被子够不够厚，检查暖气热不热。

1990年9月21日，徐向前元帅永远离开了我们。按照他生前"不办告别仪式、不举行追悼会"的遗愿，家人和工作人员只在家中客厅布置了简单的灵堂。消息公布后，前来吊唁的人源源不断。许多七八十岁的老战士专程从各地赶来，刚走进灵堂就忍不住泪流满面。这些老人都是十几岁就跟着徐向前参加"儿童团"的。他们动情地说："是徐帅把我们这些没读过书的穷孩子培养成了革命战士。"一位曾跟随徐向前参加西路军的老战士对他的儿子说："我跟着你父亲整整60年......"

徐向前真心实意地爱护士兵，时刻惦记着他们，战士们也深深铭记着这位好领导。