中國自秦兼并各諸侯國、建立統一國家、施行郡縣制開始，就已形成全國統一的行政區域。秦統一全國，分天下為36郡。唐貞觀初，分天下為10道，后增為15道。宋初分境內為21路，其后分合不一。元代除京師附近地區直轄于“中書省”外，又于各處設11“行中書省”，簡稱“行省”。明代改“行中書省”為“宣承布政史司”，除兩京直轄地區外，全國設13布政使司，簡稱為省。清初增為18省，后又增為22省。中華民國時期分全國為28行省，2地方（西藏、蒙古），后增為35省，另有12直轄市，1地方（西藏）。盡管歷代行政區域的劃分及其名稱不完全相同，但主要實行省（郡）縣二級制。
新中國成立后，中央人民政府曾對行政區劃體制進行過改革。具體措施，一是劃小省區，二是增設直轄市，三是設立大行政區，目的是鞏固新生的人民政權，便于中央政府對地方的行政管理。國家進入全面建設時期以后，為了減少層次，提高效率，對建國初期的行政區劃又進行調整，撤銷大行政區，合并了一些省和直轄市。
1954年以后，我國行政區劃主要實行省、市或縣、鄉或鎮三級制。1982年以后開始的地、市合并、撤地設市和撤縣設市工作，使我國省縣之間的市級行政區劃逐漸增多，成為世界上少有的實行地方政府四級制以上的國家。
隨著我國交通運輸和通信行業的快速發展、政府職能的調整和公共管理方式的轉變，應借鑒國外成功經驗，減少行政層級，擴大管理幅度，劃小省、自治區，逐步撤銷市領導縣體制，并實行市縣分治。
1.改革市管縣體制，實行省直管縣 中共中央、國務院明確指出有條件的地方可依法探索省直接管理縣（市）的體制，而要形成這個體制，關鍵是要解決好地級管理層的存廢問題。從地級管理層改革的要求與可能出發，首先應該改革市領導縣體制。
根據1982年憲法第30條，省、自治區分為自治州、縣、自治縣、市；直轄市和較大的市分為區、縣；自治州分為縣、自治縣、市；縣、自治縣分為鄉、民族鄉、鎮。在這里，縣與市是并列的，直轄市與較大的市是并列的。按照現行地方組織法，省、自治區的人民政府經國務院批準，必要時可設派出機關。可見，憲法設計的行政區劃主要是省、縣和鄉或省、市、區三級體制；鑒于1982年憲法與1954年憲法相關規定的延續性，并考慮 1954年合并了一些省和直轄市等背景情況，這里的“較大的市”應理解為主要是指武漢、西安、沈陽、廣州、成都等大城市，而不是一般的地級市，但目前設區的市已達283個，不應該是憲法規定的本意。因此，探索實行省直接對縣（市）的管理體制，有明確的憲法和組織法依據。但實行省直接領導縣（市）的體制必須因地制宜、逐步實施，可以先在東中部地區進行試點，經過一段時間的準備，再在東中部地區逐步推行。
2.增加省級行政區劃設置 在一些西方國家，省級行政單位較多，如法國有100個省，另設26個大區。我國目前共有34個省級單位，由于地域的差異導致人口密度的不均衡，加上民族分布、歷史傳統等因素，現有各省規模差距很大，省級行政區劃設置的數量也過少，這增加了中間環節，也使得某些省份在全國總體格局中分量過重。
另外，一定數量的直轄市對國家和跨地區經濟的發展以及政治上的安定都有重要作用。我國現有4個直轄市數量過少，地區分布也不均衡，應考慮建國初期的做法，在華中、華南、東北、西北等地區恢復設置若干較大的市作為直轄市。
3.逐步將城市地方從一般地方中單獨列出，實行市縣分治 通過比較和研究可以看出，市是城市型的行政建制，主要管理市區和郊區。城市地方是單獨的地方類型，具有與一般地方不同的特點。因此，要在增強縣的管理權限、壯大縣域經濟實力的同時，逐步將城市地方從一般地方中單獨列出，實行市縣分治。
地級市不領導縣但還要領導市轄區，所以實行省領導縣體制不等于撤銷地級市。市轄區作為市的二級行政區劃建制不可能由省直接領導，只能由市領導；更重要的是，要把市的職能、機構與市轄區的職能、機構一并考慮，進行城市管理體制的創新。
