黃山是具有革命傳統(tǒng)的老區(qū)，早在五四時(shí)期，歙縣、休寧、黟縣等地愛國師生就積極聲援五四運(yùn)動(dòng)。

1919年秋，旌德進(jìn)步學(xué)生梅大棟、王同年、管棟忠等人從鳧山書院畢業(yè)后，考入宣城省立第四師范學(xué)校。入校后，他們積極投入宣師的學(xué)生運(yùn)動(dòng)，參加了當(dāng)時(shí)在校任教的黨的早期革命活動(dòng)家惲代英、肖楚女等同志組織的學(xué)生讀書會，受到了革命思想的熏染，開始接觸馬克思主義，梅大棟很快就成為該校學(xué)生運(yùn)動(dòng)骨干，加入了社會主義青年團(tuán)。

1921年6月，惲代英帶梅大棟、吳華梓等4名學(xué)生骨干，以游黃山為名，來旌德、太平等皖南山區(qū)農(nóng)村進(jìn)行社會調(diào)查。6月19日，師生一行抵達(dá)旌德三溪，在宣師學(xué)生王同年家逗留了兩天，邀請當(dāng)?shù)剡M(jìn)步青年知識分子開會宣傳反帝反封建思想，在旌德人民中播下了革命火種。之后，黃山各界進(jìn)步青年，特別是在外埠求學(xué)和經(jīng)商的進(jìn)步青年，紛紛結(jié)社并出版諸如《古黟新語》、《黟山青年》、《徽聲》等進(jìn)步刊物，宣傳新文化、新思想，喚起黃山民眾的覺醒，激發(fā)民眾的愛國熱情，促進(jìn)了馬克思主義在黃山的傳播。

1923年春，梅大棟應(yīng)宣師同學(xué)李延瑞(涇縣人)函約，由惲代英介紹去江西安源路礦職工子弟學(xué)校任教師。1924年元月由當(dāng)時(shí)任安源路礦職工子弟學(xué)校校長李延瑞介紹，加入中國共產(chǎn)黨。劉少奇任路礦工人俱樂部主任時(shí)，梅大棟擔(dān)任秘書。1925年9月，安源工運(yùn)和黨組織遭到破壞。10月，梅大棟奉命攜帶了一尊銀質(zhì)馬克思胸像，回到旌德梅村，以辦學(xué)教書作掩護(hù)，從事地下工作。年底，應(yīng)梅大棟的請求，蕪湖團(tuán)地委派中共黨員曹宣天(和縣人，系梅在宣師同學(xué)，安源同事)來旌德，協(xié)助梅大棟開展農(nóng)運(yùn)。他們在梅村創(chuàng)辦了旌德三都農(nóng)民補(bǔ)習(xí)學(xué)校作為活動(dòng)陣地，宣講反帝反封建的民主思想和馬克思主義理論。11月，經(jīng)梅、曹介紹，梅大梁、王士楨、朱鵬、程朝干、朱甲、張照謨、朱和尚等7名學(xué)員加入中國共產(chǎn)黨，成立了中共旌德三都農(nóng)民補(bǔ)習(xí)學(xué)校支部，這是黃山(徽州)第一個(gè)黨支部。

1930年，曾參加潛山請水寨暴動(dòng)的共產(chǎn)黨員劉伯林從潛山輾轉(zhuǎn)來到歙縣，以賣雪花膏為掩護(hù)，開展革命活動(dòng)，秘密發(fā)展黨員，建立黨的組織。在小練村，劉伯林陸續(xù)將陳友交、陳家興、洪繼明，何旺根、汪忠福、何令忠、陳灶炎、余金有、曹萬財(cái)、童銀六、林子娥等11名骨干發(fā)展為中共黨員，并于1930年8月建立了歙縣第一個(gè)黨支部——中共小練支部。1931年7月，中共歙縣臨時(shí)縣委在小練成立。

1930年冬至1931年春，先后有儲德明、劉仲希、方鼐、王以仁、王農(nóng)元、儲洪元、夏承世、王乃吾等一批共產(chǎn)黨員和紅軍骨干，自大別山來到祁門投親靠友，以行醫(yī)、教書、經(jīng)商、幫工等為掩護(hù)進(jìn)行革命活動(dòng)。在劉仲希等人的組織和領(lǐng)導(dǎo)下，南坑、番村、沿邊、石壁下和與祁門毗鄰的江西浮梁嚴(yán)坑、塔坑等地都陸續(xù)發(fā)展了一批黨員。1931年6月，全縣已有中共黨員64名，建立了2個(gè)區(qū)委、6個(gè)支部，嗣后，中共祁門臨時(shí)縣委正式成立，書記劉仲希，副書記方鼐。

1930年2月，潛山請水賽暴動(dòng)失敗后，共產(chǎn)黨員韓文治、王誼、王高潤、王天德等來到休寧，同年秋，他們在萬安東北山秘密吸收蔣溢、邵逃荒等6人入黨，建立了休寧縣第一個(gè)黨支部——東北山支部，蔣溢任支部書記。1931年6月，休寧縣城、萬安、屯溪一線建立和發(fā)展了11個(gè)支部、91名黨員，為統(tǒng)一領(lǐng)導(dǎo)，在西館小學(xué)成立了以韓文治、朱燦霞、汪憲等組成的中共休寧臨時(shí)委員會。1931年11月，休寧黨組織劃歸徽州工委領(lǐng)導(dǎo)時(shí)，正式成立中共休寧縣委。

1930年9月，原潛山縣革命委員會青年委員汪大中（汪潤吾）來到黟縣，在黃梓坑其叔父汪步高家落腳，以教書為掩護(hù)，秘密進(jìn)行革命活動(dòng)。11月，在黃梓坑先后發(fā)展了多人加入少共團(tuán)建立了團(tuán)支部。1931年春，中共安徽省委派朱曉村（金湯）來黟縣發(fā)展黨組織。4月，在朱曉村的主持下，黃梓坑的少共團(tuán)員轉(zhuǎn)為共產(chǎn)黨員，建立了黟縣第一個(gè)黨組織——中共黟縣特支，先后隸屬中共安徽省委、省臨委。7月，黨員發(fā)展到29人，特支擴(kuò)建為中共黟縣區(qū)委，書記汪大中，隸屬中共蕪湖中心縣委，下設(shè)平坑、石灰坑、黃梓坑3個(gè)支部。1931年汪希直，余紀(jì)一受在上海的中共臨時(shí)中央政治局派遣到黟縣發(fā)展黨組織。1932年春，在城區(qū)蔚文小學(xué)成立中共黟縣特支。同年夏，在特支的基礎(chǔ)上建立中共黟縣區(qū)委，隸屬中共臨時(shí)中央政治局，這樣，就有了隸屬關(guān)系不同的兩個(gè)黟縣區(qū)委。

1931年前，來自鄂豫皖蘇區(qū)的共產(chǎn)黨員王禮松、劉仲弟等，轉(zhuǎn)移到譚家橋地區(qū)，以種山、教書等職業(yè)為掩護(hù)，開展秘密建黨活動(dòng)。他們一面聯(lián)絡(luò)由潛山，太湖，霍山，六安、懷寧、黃梅、廣濟(jì)等地轉(zhuǎn)移來的共產(chǎn)黨員，一面培養(yǎng)和發(fā)展地方貧苦農(nóng)民入黨。

同年2月，中共安徽省委派組織員到徽州指導(dǎo)建黨工作。王禮松與省委組織員取得聯(lián)系后，同月在潭家橋一帶建立了菖莆田、南山和高山3個(gè)黨支部，黨員32人。這是太平縣最早的中共組織。其中菖莆田黨支部，書記黃國華 (菖莆田人)，黨員7人； 南山黨支部，書記陳伯滿(西文高山人)，黨員12人；高山黨支部，書記程小發(fā)(菖莆田人)，黨員13人。

1931年6月，經(jīng)蕪湖中心縣委批準(zhǔn)，中共太平縣臨時(shí)委員會在譚家橋南山成立，隸屬蕪湖中心縣委。書記王禮松，秘書劉仲弟。