東晉十六國
參見：南兗州 (前秦)和南兗州 (南朝)
東晉永昌元年（322年），陳留、泰山二郡陷於後趙。太寧三年（325年），兗州全境陷於後趙，遂於徐州廣陵郡僑置兗州。
後趙時，兗州徙治濮陽郡鄄城縣（今山東省鄄城縣北）。建武元年（335年），割陳留、東燕二郡置洛州。至此，兗州領七郡：濟陽郡、濮陽郡、東平郡、泰山郡、濟北郡、高平郡、濟陰郡。冉魏永興二年（351年），兗州大部陷於東晉。
前燕元璽二年（353年），佔領後趙司州之陽平郡，置兗州，治館陶（今河北省館陶縣）。元璽四年（355年），佔領東晉兗州之濟北郡。光壽元年（357年），陽平郡還屬司州，兗州徙治濟北郡盧縣（今山東省平陰縣西）。光壽二年（358年），佔領後趙兗州之濮陽郡與東晉兗州之東平、任城、泰山（部分）三郡。光壽三年（359年），佔領後趙東燕郡與東晉陳留、濟陽、濟陰、梁四郡，屬兗州。建熙元年（360年），兗州徙治梁郡睢陽縣蠡臺城（今河南省商丘市睢陽區西南）。建熙七年（366年），佔領東晉高平、魯、泰山（部分）三郡，屬兗州。至此，兗州領十二郡：梁郡、陳留郡、濟陽郡、濮陽郡、東燕郡、東平郡、泰山郡、濟北郡、高平郡、濟陰郡、任城郡、魯郡。
前秦建元六年（370年），佔領前燕兗州，徙治陳留郡小黃縣倉垣城（今河南省開封市祥符區北），割梁郡屬南兗州，併任城郡入高平郡。建元十五年（379年），兗州徙治高平郡湖陸縣（今山東省魚臺縣東南）。至此，兗州領十郡：陳留郡、濟陽郡、濮陽郡、東燕郡、東平郡、泰山郡、濟北郡、高平郡、濟陰郡、魯郡。
東晉太元九年（384年），收復兗州。太元十一年（386年），泰山郡陷於翟魏。太元十二年（387年），陳留、東燕、濟陰、高平四郡陷於翟魏；濟北郡陷於後燕，改屬青州。太元十五年（390年），收復泰山、高平二郡。太元十九年（394年），濮陽、東平、泰山、高平、魯五郡陷於後燕，改屬徐州。
後燕建興七年（392年），佔領翟魏東燕、陳留、濟陰、滎陽四郡，置兗豫二州，治東燕郡白馬縣滑臺城（今河南省滑縣東）。
東晉隆安二年（398年），佔領後燕徐州之魯、泰山、高平、東平四郡，兗州之陳留、濟陰二郡，青州之濟北郡，屬兗州。
南燕二年（399年），佔領東晉兗州之泰山、東平、濟北三郡，以泰山郡置兗州，治梁父縣（今山東省泰安市岱嶽區東南），以東平、濟北二郡置并州。
後秦弘始元年（399年），佔領東晉兗州之陳留郡，仍置兗州，治小黃縣倉垣城（今河南省開封市祥符區北）。[8]