黃山市歷史文化源遠(yuǎn)流長(zhǎng)，文明的源頭可以追溯到距今5000多年前。從歙縣、祁門等地出土的文物表明，今黃山市一帶早在舊石器時(shí)期就已有先民生活。而在新石器時(shí)代，這里的先民們已創(chuàng)造原始土著文化。1959年至1975年，屯溪西郊奕棋村附近先后發(fā)現(xiàn)8座土墩墓，出土一批青銅器、陶器、原始瓷器、玉石件和漆器殘件等，經(jīng)文物考古工作者研究，這些墓葬的時(shí)代是西周時(shí)期。根據(jù)墓葬形式和器物分析，應(yīng)屬于當(dāng)時(shí)生活在這里的古越族。說明在約3000多年前，這一帶古越文化已相當(dāng)發(fā)達(dá)。春秋戰(zhàn)國(guó)時(shí)期，這片地域先屬吳，吳亡屬越，越亡屬楚。直至秦王嬴政二十四年（公元前223年）滅楚。但這些都只是地域上的歸屬，并非實(shí)質(zhì)性的管轄。種種跡象表明，在今天黃山市及其周邊地區(qū)，當(dāng)時(shí)仍屬于相對(duì)獨(dú)立的古越土著的勢(shì)力范圍。

秦王嬴政二十六年（公元前221年）統(tǒng)一中國(guó)，秦始皇推行郡縣制，這一帶隸屬于會(huì)稽郡。秦始皇三十七年（公元前210年）正月，始皇帝嬴政東巡至?xí)ń裾憬B興一帶），為加強(qiáng)對(duì)東南地區(qū)的統(tǒng)治，將原越國(guó)的百姓遷徙至新安江上游一帶，設(shè)立黝（宋以后稱黟）、歙二縣，屬鄣郡。這是黃山市地域最早的行政建置，距今已有兩千兩百余年?！镑睢?、“歙”二縣的縣名，來自于古越語地名的發(fā)音。當(dāng)時(shí)的黝、歙兩縣轄地很廣。歙縣地包括今天的歙縣、休寧、屯溪區(qū)、徽州區(qū)、績(jī)溪，浙江的淳安及江西婺源的一部分。黝縣地包括今天的黟縣、祁門、石臺(tái)、廣德和黃山區(qū)的一部分。

西漢初期，黝、歙二縣相繼屬楚國(guó)、荊國(guó)、吳國(guó)、江都國(guó)，后屬丹陽郡。鴻嘉二年（公元前19年）改黝縣為廣德王國(guó)，廣德王城在今黟縣城東五里。歙縣屬丹陽郡。第二年廢廣德王國(guó)，復(fù)設(shè)黝縣。漢平帝元始二年（公元2年）又設(shè)廣德王國(guó)。王莽篡權(quán)，建立新朝，于始建國(guó)二年（公元10年），貶廣德王為公，改黝縣為愬虜。東漢末年，三國(guó)鼎立。黝、歙二縣屬東吳領(lǐng)地。當(dāng)時(shí)，這里的越人土著和一些避入山林的漢人，“依山阻險(xiǎn)，不納王租”，被稱為“山越”，勢(shì)力日益強(qiáng)大，對(duì)東吳的統(tǒng)治構(gòu)成嚴(yán)重威脅。漢建安十三年（公元208年）。吳主孫權(quán)派遣“威武中郎將”賀齊征服歙縣金奇、毛甘，黟縣陳仆、祖山等山越部落后，分歙縣東鄉(xiāng)地置始新縣，南鄉(xiāng)地置新定縣，西鄉(xiāng)地置黎陽、休陽縣，加黟、歙共六縣建新都郡。治所始新（故城在今浙江淳安縣西）。這是黃山市地域州郡一級(jí)行政設(shè)置的開始，從此這里成為相對(duì)獨(dú)立的行政區(qū)劃。

三國(guó)吳永安元年（公元258年），避吳主孫休名諱，改休陽縣為海陽縣。西晉武帝太康元年（公元280年）滅吳國(guó)，改新都郡為新安郡，所屬新定縣改為遂安縣，海陽縣為海寧縣。新安郡轄始新、黝、歙、遂安、黎陽、海寧縣，郡治在始新縣?？っ掳?，一說以祁門縣新安山為名，一說取其安定之意。

南北朝時(shí)期，南朝宋大明八年（公元464年），并黎陽縣入海寧縣。梁普通三年（公元522年）劃吳郡壽昌縣入新安郡，大同元年（公元535年）析歙縣華陽鎮(zhèn)置良安縣。梁元帝承圣二年（公元553年）又析海寧、黝、歙各一部分重設(shè)黎陽縣。當(dāng)時(shí)這里有兩個(gè)郡。一個(gè)是新設(shè)的新寧郡，轄海寧、黝、歙、黎陽縣，治所海寧；另一個(gè)為新安郡，轄始新、遂安、壽昌、良安縣，治所始新。陳文帝天嘉三年（公元562年）將新寧郡并入新安郡，黎陽縣并入海寧縣。新安郡轄歙、黝、海寧、始新、遂安、壽昌6縣。

隋朝重新統(tǒng)一中國(guó)。隋開皇九年（589年），改始新縣為新安縣，并遂安、壽昌入新安縣，隸婺州。改新安郡為歙州，領(lǐng)海寧、黝、歙縣，治海寧（一說并黝、歙入海寧，劃歸婺州）。開皇十一年歙州轄黝、歙、海寧縣，治黝縣。開皇十八年取“休陽”、“海寧”各一字改海寧縣為休寧縣，郡治在萬歲山（又名萬壽山，即今休寧縣萬安鎮(zhèn)東古城巖）。大業(yè)三年（公元607年），復(fù)改歙州為新安郡，轄休寧、黝、歙縣，郡治休寧縣。隋末動(dòng)亂，大業(yè)十二年，歙縣人汪華起兵占據(jù)歙州及宣、杭、睦、婺、饒共6州，號(hào)稱吳王。王城即設(shè)于休寧萬安萬歲山，這便是萬歲山又稱為古城巖的來歷。次年遷往歙縣烏聊山。

唐武德四年（公元621年），汪華歸附唐朝，被封為越國(guó)公。復(fù)改新安郡為歙州，州治歙縣。并在歙縣設(shè)歙州總管，越國(guó)公汪華為總管府使，總管歙、宣、杭、睦、婺、饒六州軍事。武德七年改總管府為都督府。永徽五年（公元654年）平睦州女子陳碩真起義，析歙縣地置北野縣。開元二十八年（公元740年），平休寧人洪貞起義，劃休寧回玉鄉(xiāng)及樂平懷金鄉(xiāng)置婺源縣。天寶元年（公元742年）改歙州為新安郡，轄歙、休寧、黝、北野、婺源縣。乾元元年（公元758年）復(fù)改歙州。大歷元年（公元766年），平方清起義，析歙、休寧地置歸德縣，析黟縣赤山鎮(zhèn)和饒州浮梁地置祁門縣，劃歙縣華陽鎮(zhèn)置績(jī)溪縣。大歷五年，廢北野縣入歙，廢歸德縣入休寧，歙州轄歙、休寧、黝、績(jī)溪、婺源、祁門縣，從此形成延續(xù)至清末達(dá)一千兩百多年的“一府（州）六縣”格局。

五代十國(guó)時(shí)期，歙州先后屬吳、南唐（江南）。

宋宣和三年（公元1121年），平歙州人方臘起義，改歙州為徽州，轄歙、休寧、黟、績(jī)溪、婺源、祁門縣，州治歙縣?；罩菝Q的由來，一說因績(jī)溪有徽嶺、徽溪，一說“徽”為美義。其實(shí)“徽”字本意為“繩索”、“捆綁”，以其命名，表達(dá)了宋王朝在經(jīng)過“動(dòng)蕩”之后，企望對(duì)這片土地加強(qiáng)約束和統(tǒng)治。從此，直到清宣統(tǒng)三年（1911年）的790年間，作為州府名，徽州這一名稱一直沒有變更。

元至元十四年（公元1277年），改徽州為徽州路。元貞元年（公元1295年）升婺源縣為州，徽州路領(lǐng)歙、休寧、黟、績(jī)溪、祁門縣和婺源州。至正十七年（公元1357年），朱元璋部攻克徽州，改徽州路為興安府。至正二十四年，又改興安府為徽州府。

明洪武元年（公元1368年），曾經(jīng)是朱元璋重要根據(jù)地的徽州府直隸中書省。洪武二年，降婺源州為縣。洪武八年徽州府直隸六部。永樂元年（公元1403）改隸南京（不久改稱南直隸）。

清順治二年（公元1645年），徽州府隸屬江南省?？滴趿辏ü?667年）七月，康熙帝批準(zhǔn)建立安徽?。ㄊ∶　鞍矐c”、“徽州”兩府首字），徽州府改屬安徽省，后屬安徽省徽寧道、徽寧池太道。乾隆二十六年（公元1761年）隸安徽布政使。咸豐四年（公元1854年），改屬徽寧池太廣道及皖南鎮(zhèn)，因清軍與太平軍在這一帶爭(zhēng)戰(zhàn)激烈，徽州府由浙江巡撫兼轄。同治四年（公元1865年），復(fù)歸安徽省管轄。

民國(guó)元年（公元1912年）裁府留縣，徽州所屬各縣直屬安徽省。民國(guó)20年實(shí)行“首席縣長(zhǎng)”制，原屬徽州各縣首席縣長(zhǎng)駐歙縣。民國(guó)21年10月，設(shè)安徽省第十行政督察區(qū)，轄休寧、婺源、祁門、黟、歙、績(jī)溪6縣，治所休寧。民國(guó)23年7月，婺源縣劃屬江西省，婺源縣和原屬徽州各縣士民隨即掀起“婺源回皖運(yùn)動(dòng)”。民國(guó)27年4月，成立皖南行政公署，治所屯溪，第十行政督察區(qū)隸之。民國(guó)29年3月，撤銷第十區(qū)機(jī)構(gòu)，保留名義，各縣直屬皖南行署。同年8月原第十區(qū)改為第七區(qū)，轄休寧、黟、歙、祁門、績(jī)溪、旌德6縣。民國(guó)36年6月，經(jīng)過原屬徽州各縣士民及旅外知名人士的不懈努力，婺源縣劃歸安徽省，屬第七區(qū)。民國(guó)38年4月，第七區(qū)所屬7縣全境解放。5月成立徽州專區(qū)，隸屬皖南區(qū)人民行政公署。專區(qū)治所初置歙縣，后遷屯溪。全區(qū)領(lǐng)屯溪市和績(jī)溪、旌德、歙、休寧、黟、祁門6縣，婺源縣劃屬江西省。

1949年10月1日中華人民共和國(guó)成立后，徽州專區(qū)仍屬皖南區(qū)。1952年2月，太平、石棣、寧國(guó)三縣劃屬徽州專區(qū)。8月，撤銷皖南、皖北區(qū)，設(shè)安徽省，徽州專區(qū)改屬安徽省。1953年12月，屯溪市直隸安徽省，專區(qū)轄歙、休寧、績(jī)溪、黟、祁門、旌德、太平、石棣、寧國(guó)9縣。1955年屯溪市改屬徽州專區(qū)。1956年1月，徽州專區(qū)并入蕪湖專區(qū)。1961年4月重設(shè)徽州專區(qū)，領(lǐng)績(jī)溪、旌德、太平、歙、休寧、黟、祁門7縣和屯溪市。8月，寧國(guó)縣劃屬徽州專區(qū)。1965年8月，從太平縣劃出原石棣縣區(qū)域和貴池縣部分地區(qū)設(shè)石臺(tái)縣，屬池州專區(qū)。1971年3月，改徽州專區(qū)為徽州地區(qū)。1974年3月，太平縣劃屬池州地區(qū)。1980年1月，寧國(guó)縣改屬宣城地區(qū)，太平、石臺(tái)2縣劃歸徽州地區(qū)。1983年12月，撤銷太平縣，所轄區(qū)域與歙縣黃山公社、石臺(tái)縣廣陽公社合并成立黃山市（縣級(jí)），由省直轄。1986年6月，黃山市（縣級(jí)）改由徽州地區(qū)代管，徽州地區(qū)轄屯溪、黃山（縣級(jí)）2市和歙、休寧、黟、祁門、石臺(tái)、績(jī)溪、旌德7縣。

1987年11月，國(guó)務(wù)院發(fā)出《關(guān)于安徽省調(diào)整徽州地區(qū)行政區(qū)劃的批復(fù)》，撤銷徽州地區(qū)、屯溪市和縣級(jí)黃山市，設(shè)立地級(jí)黃山市。原屬徽州地區(qū)的石臺(tái)縣劃屬池州地區(qū)，績(jī)溪、旌德2縣劃屬宣城地區(qū)。1988年4月，地級(jí)黃山市正式成立，轄屯溪、黃山、徽州3區(qū)和歙、休寧、祁門、黟4縣。

作為古徽州的所在地，歷代名人輩出，歷史文化十分發(fā)達(dá)。朱熹、朱升、程敏政、汪機(jī)、戴震、黃賓虹、陶行知、蘇雪林等在歷史上具有重要影響。新安理學(xué)、徽州樸學(xué)、新安醫(yī)學(xué)、徽商、徽劇、徽派建筑、徽派版畫、徽派篆刻、新安畫派、徽派盆景等經(jīng)濟(jì)文化流派構(gòu)成的徽州文化博大精深，源遠(yuǎn)流長(zhǎng)。