1930年(民國十九年)5月至10月的中國近代史上規(guī)模最大、耗時最長的軍閥混戰(zhàn)中原大戰(zhàn)爆發(fā)，馮閻兵敗被迫下野后25萬人退入山西各縣駐扎，蔣介石改組山西省政府，改編晉軍，山西時局混亂。中共中央決定把山西作為創(chuàng)建北方根據(jù)地的重點地區(qū)，對馮玉祥、閻錫山部隊加強滲透，爭取武裝起義改編為紅軍。1931年3月4日，中共山西特委軍委派谷雄一書記到高桂滋部隊建立黨的軍事行動委員會，親自領導組織兵變工作，依托五臺山開辟革命根據(jù)地。
1931年7月4日夜11點30分，駐平定地區(qū)西北軍高桂滋部第十一師一部武裝起義。5日，起義部隊行軍至盂縣清城村成立了北方第一支中國工農(nóng)紅軍正規(guī)軍——紅二十四軍。6日早飯后，紅二十四軍政委谷雄一、軍長赫光率領1100多名官兵，打著繡有“中國工農(nóng)紅軍第二十四軍”鮮紅大字的軍旗，向五臺山地區(qū)挺進。事前探聽到紅二十四軍成立并向五臺山進發(fā)的國民黨孟縣、五臺反動政府，分別召開緊急會議，立即派警察和保安團沿路相機阻擊。7月11日，紅二十四軍翻越盂縣與五臺縣交界的軍事關隘牛道嶺，以排山倒海之勢，浩浩蕩蕩抵達五臺縣柏蘭鎮(zhèn)，與地方反動武裝發(fā)生了激烈戰(zhàn)事。紅二十四軍經(jīng)過兩個多小時的激戰(zhàn)擊敗了反動軍警，包圍消滅、繳械了前來增援的保安隊幾百士兵，生擒了保安隊副司令和國民黨五臺縣三區(qū)區(qū)長索某，占領了閻錫山保安隊設在柏蘭村西的電話局(現(xiàn)為村民李義良院)，切斷電話線，并把電話局作為紅二十四軍臨時指揮部。紅二十四軍優(yōu)待俘虜，中午紅軍大宴俘虜，飯后赫光軍長給保安隊講話：“我們是中國共產(chǎn)黨領導的中國工農(nóng)紅軍第二十四軍，是專門為窮人謀利益的，只有國民黨反動派才欺壓人民，你們大部分是窮苦農(nóng)民，怎能做那些喪盡天良的事呢?我們紅軍寬待俘虜，愿意參加紅軍的，就跟我走，愿意回家的就回家?！闭f完，釋放了所有俘虜。紅二十四軍根據(jù)偵察敵情放棄進軍五臺山原計劃，當晚向黑山關進軍，隨后轉戰(zhàn)平山、靈壽、阜平。
7月18日，紅二十四軍進入阜平縣城，開倉放糧、釋放政治犯，并于7月26日召開大會，宣布阜平縣蘇維埃政府成立，這是共產(chǎn)黨在北方建立的最早的蘇維埃政權,被當時報紙稱為“北方之朱(朱德)毛(毛澤東)”,震動全國。可惜的是，新生的阜平縣蘇維埃政府被張學良收編了的馮玉祥殘部利用詐降計絞殺，軍長赫光被害，政委谷雄一被捕(后被害于北平)。紅二十四軍參謀長劉明德率軍轉戰(zhàn)晉北、內(nèi)蒙古、陜北一帶。1931年9月，紅二十四軍余部加入陜北紅軍。1933年8月編為陜北紅軍第三支隊，后成為紅27軍一部。紅二十四軍對陜北紅軍的成立和發(fā)展起到積極的推動作用，被紅軍研究專家親切地譽為“陜北紅軍之根”。
