新中国成立后，31军长期驻防福建厦门。1953年7月，金门防卫部司令胡琏率1.2万余人、13艘舰艇和30多艘机帆船偷袭东山岛，31军在28军和41军支援下，经2天激战，歼敌3379人（其中俘获715人）、炸毁坦克2辆、击沉登陆舰3艘、击落飞机2架。这是解放军在打击国民党军窜犯活动中取得的最大一次胜利。1958年，31军炮兵部队参加了著名的“八·二三金门炮战”，此后炮击金门、马祖的任务也由该军承担。