在中央军委的安排下，徐向前被派往大别山领导武装斗争。在这段时间内，可以说是徐向前军事生涯中最辉煌的时期，他成了红四方面军的创始人之一
　　
　　大别山脉绵亘数百里，横贯湖北、河南、安徽三省交界。在中国共产党领导的革命斗争史上，大别山与井冈山齐名。董必武、陈潭秋等一代革命家，是在大别山区最早播下革命火种的人。
　　
　　1923年大别山下就有了共产主义小组，相继发展为共产党支部，领导农民革命。1927年毛泽东在武汉举办农民运动讲习所，黄安、麻城等县都有人投奔武汉成为农讲所的学生。蒋介石背叛革命发动“四一二”反革命政变后，黄安、麻城地区的共产党员，最先组织农民自卫军武力反抗。1927年11月，黄安、麻城数万农民举行起义，于14日攻占黄安城，活捉伪县长和大批贪官污吏、土豪劣绅。11月18日正式宣布成立了黄安工农政府。
　　
　　黄麻起义，震动了南京、上海、武汉，影响大别山区纵横几百里。它是“八一”南昌起义和毛泽东领导的湖南秋收起义后，又一次规模较大的武装起义。
　　
　　黄麻起义的鄂东军，占领黄安城仅21天，在反革命军队围攻下，弃城突围。中共黄安县委书记王仁志牺牲，工农革命军鄂东军总指挥潘忠殉职。从黄安突围出来的革命军战士，最后只集合到72人，吴光浩、戴克敏、曹学楷、戴季英等几位忠诚革命的将领，率领着这70余人，奔向了木兰山。他们虽然不足百人，却雄心不灭，自称“工农革命军第七军”，随后又改称为中国工农红军第11军31师。
　　
　　徐向前初到大别山时，看到的是这样一番景象：村庄都是破旧的草屋，人们衣不掩体。红军战士和普通老百姓外表没多少差别。没有军服，有的人也没有枪。农村比不上广东的东江，队伍比不上广州起义的红军。徐向前又和当年刚到广东一样，语言又成了交往中的大难题。他原想，湖北人讲话会比广东话好懂，哪知一进大别山区，仍是个不会本地话的“外乡佬”。
　　
　　他一到任就被任命为红31师副师长，当时正师长吴光浩已经牺牲，但对外是保密的。如果他牺牲的消息传下去，军心士气会大受影响，说不定有人会马上拉出去找敌人拼命。地主、豪绅和民团，都怕吴光浩，若得知他牺牲的消息，敌人也会乘机兴风作浪。实际上徐向前就是正师长。
　　
　　这时红31师，号称有四个团，实际上是四个大队，每个大队五六十人，四五十条枪。不少战士扛着红缨枪，提把大刀，有的连刀矛都没有，徒手兵一个。一个个都和当地农民一样，破旧的衣裤，脚蹬草鞋或打着赤脚。徐向前高兴而来，面对现实，心中不禁有些发凉。又是一次临危受命啊！一年前，在东江大山里，叶镛师长被俘牺牲，他接替师长，收拾残局，最后几乎全师覆没，被迫撤出东江地区。现在，吴光浩同志刚牺牲，对外、对下层还保守着秘密，又让他来顶替指挥。当副司令也好，副师长也罢，为革命事业，名义他不计较，可是这局面怎么坚持？