参加对日作战，属第三战区指挥管辖，曾担任中央地段防守任务，胡宗南的第一军和刘和鼎的第三十九军也曾加入过该集团军的战斗序列。在淞沪对日作战中，该集团军第四十八军第一七四师五二二旅旅长夏国璋、第一七○师五一○旅旅长庞汉祯、第一七一师第五一一旅旅长秦霖均阵亡殉国。1938年初，第二十一集团军调归第五战区指挥管辖，第七军正式加入该集团军战斗序列，廖磊兼任第四十八军军长，驻扎安徽河南一线，曾参加徐州会战，其第四十八军第一七一师副师长周元在蒙城保卫战中阵亡殉国。不久，该集团军参加武汉会战江北作战。1939年10月，该集团军总司令廖磊因病去世，李品仙接任该集团军总司令，该集团军司令部还兼属豫皖鄂边区游击总司令部，李品仙兼任游击总司令。该集团军曾参加随枣会战、枣宜会战、第二次长沙会战、常德会战。因该集团军长期驻守大别山区，又称“大别山兵团”。1943年4月，莫树杰的第八十四军加入该集团军的战斗序列。1945年初，第二十一集团军划归第十战区指挥管辖，李品仙任第十战区司令长官兼第二十一集团军总司令。