王安石的罷相其實早有征兆，以北宋的政治傳統來講，王安石能夠在朝中主持變法多年屹立不倒才是奇跡，而這個奇跡最終也沒能抵擋得住政治環境的惡化。
熙寧三年二月，已經出任地方的前任宰相韓琦上梳，提出了在他轄地的河北地區出現了這樣一種情況：青苗法是按百姓的貧富程度劃分成五等來發放貸款的，最富的一等戶放貸額度最高，最低的五等戶放貸額度最低。
金融從業者都了解這么一個原則，那就是為了控制風險，越是還款實力強的越要給予其大額貸款，而越是還款實力弱的越要減少對其的貸款額度。
而青苗法，說白了就是國家主導的一項金融政策，既然是金融政策就必須要遵循金融風控的原則，可問題又回來了，國家跟金融機構能一樣嗎？金融機構嫌貧愛富，具有天然的逐利性，而國家是要控制貧富差距的，天下蒼生必須一視同仁。
韓琦在奏疏的最后提到，河北地區大量富戶借到貸款之后自己用不上，就把貸款又放給窮人，窮人還款時候就要還遠高于青苗法的利息。原來只是富人盤剝窮人，現在政府在里面插了一腳，變成了政府和富人一起盤剝窮人，民不聊生。
韓琦對英宗和神宗有恩，神宗一向很尊重韓琦，奏疏也很重視，把奏疏拿到中書給宰執們看，說韓琦這份奏疏反映了一些問題，青苗法在地方上的推行確實存在一定的問題。
王安石一聽就不樂意了，合著我在這兒辛辛苦苦的搞變法，神宗您聽到前朝老臣上梳就開始動搖了，反駁神宗說就算是青苗貸款強行攤派下去，總的來看對國家還是利大于弊，怎么能因為一點兒反對聲音就打退堂鼓呢？
眼見神宗有所動搖，氣憤的王安石稱病不朝了，神宗考慮再三，下詔要求廢止青苗法。正常情況下皇帝的詔令必須經過宰執的商議之后才能頒布，宰執里的主心骨不在，神宗不敢擅自做主，于是就叫副宰相趙抃去請王安石回來上班。
王安石拗得很，你不是動搖了嗎？我不玩兒了，上梳一封請求罷官離京。
神宗就算再怎么動搖也不能沒有王安石，為了勸慰王安石，神宗找來翰林學士司馬光替自己寫一封詔書表明對王安石的信任，宰相大人你趕緊回來吧。
神宗真是找對人了，作為王安石執政的死對頭，文采飛揚的司馬光先生可毫不客氣，詔書里夾帶私貨，狠狠的嘲諷了王安石一番，說王安石搞變法搞到一半，把國家搞得雞犬不寧百姓遭殃。
要放一般人寫一封不痛不癢的詔書、，王安石估計看了之后不會當回事兒接著裝病，可司馬光的嘲諷太深刻了，給王安石惹毛了，馬上就回了一封奏疏針對嘲諷一一辯解。
神宗收到王安石的奏疏一看滿腹狐疑，怎么奏疏里言辭這么激烈，再回頭一看司馬光給自己代筆的那封詔書全明白了，司馬光這貨是在嘲諷王安石呢，趕緊又親自寫了一封詔書給王安石賠不是，解釋上一封詔書是司馬光寫的不是自己本意，以后一定自己親自擬定詔書。
君臣二人經過這一番波折，反而消除了誤會，王安石又回到朝中繼續主持新法。
慘遭司馬光戲耍之后，王安石提高了警惕。正巧這時候老宰相富弼徹底辭去了相位出任地方，樞密使陳升之進入中書任次相，樞密院依次遞補后空出了職位，神宗想提拔司馬光進入宰執擔任樞密副使。
王安石找到神宗，勸神宗說司馬光表面上勸諫皇帝，其實都是給下面的官員做樣子看的，只不過是沽名釣譽而已，讓他發發牢騷上上奏疏可以，但讓他進入宰執參與國家大事的決策，他不行。
王安石覺得司馬光不行，司馬光覺得王安石瞎搞，使者把樞密副使的任命詔書給司馬光送了九次，司馬光上梳拒絕了九次，在奏疏里推辭說，編修史書、做學問、提意見，這些自己都擅長，但是真正讓自己進入宰執擔任樞密副使，那陛下你先把新法廢除了再說。
在王安石的極力反對下，司馬光最終沒能進入宰執，熙寧三年九月，眼看阻止新法無望的司馬光連續上梳辭官外放，神宗多次挽留無果，安排司馬光出任陜西永興軍地方長官。
司馬光離開不久，曾公亮以年老提出辭官，接著陳升之母親去世回家丁憂。到了熙寧三年十二月，王安石升任首相，經過多年的改革和政治斗爭，王安石站到了大宋政治舞臺的權力巔峰。
升任首相后的王安石更忙了，新法本身需要加大推廣力度的，地方上的新法執行的不到位的，朝廷里對新法有意見的等等都需要他去處理。
新法的執行有呂惠卿等得力助手分工協作，而王安石要把朝中的反對聲音及時撲滅，在司馬光離開中央之后，反對新法最大的刺兒頭就是蘇軾。
蘇軾與蘇轍兄弟自幼出生成長在四川眉州，父親蘇洵和母親程氏非常重視兩兄弟的教育，從小教育兩兄弟各種古籍經典，兩兄弟學習方面天資聰穎，有如神助，尤其是蘇轍，讀完一本書可以輕松復述，過目不忘。
天才兄弟一路讀書升級，嘉祐二年父親蘇洵帶著兩兄弟進京參加科舉考試，二十歲的蘇軾和十七歲的蘇轍雙雙進士及第，而且都名列甲等，一下子名動天下。
三年后的制科考試，由于蘇轍極富爭議的文章還引發了朝廷多位大佬激烈爭論，最終兩兄弟制科再次雙雙高中，蘇軾還取得了百年了第一回制科三甲的好成績。
在這樣的基礎上，兩兄弟的仕途前景不可限量。而由于反對新法，蘇轍在進入制置三司條例司后沒多久便被貶官外放，蘇軾此時擔任閣臣，雖然不直接參與變法具體事宜，但對新法仍然持反對態度。
在變法的過程中，除了王安石受到無數攻擊外，神宗也承受了許多壓力，從后宮到朝廷再到宗室，不少人質疑神宗改變祖宗法度，違背輕徭薄稅的傳統。為了堅定改革決心，王安石向神宗提出了“天變不足畏、祖宗不足法、流俗之言不足恤”的理念，想要變法，就一定要乾綱獨斷堅定的執行下去。
蘇軾對王安石的變法理念完全不認同，在一次科舉考試的策論中，蘇軾擔任考官，就出了一道策論題目，說司馬炎獨斷專行伐吳最終統一天下，苻堅獨斷專行伐晉最終身死國滅，大家論述論述這君王獨斷專行是不是對國家有好處？
王安石變法以來，對教育事業非常重視，親自主持編纂了《三經新義》等著作，并明確將著作作為科舉考試的參考書目。書中均體現了改革變法的思想，為的就是讓天下讀書人都成為王安石的門生，都認同變法圖強的思想。
蘇軾這種夾帶私貨的行為顯然是王安石不能忍的，為了防止蘇軾在教育領域搞小動作，王安石安排親信彈劾蘇軾。
諫官們羅織了一堆罪名彈劾蘇軾，經過朝廷調查全都不屬實，但是蘇軾深切感受到了王安石的敵意，惹不起我躲得起，蘇軾本身對位極人臣也不是很熱衷，于是自請罷官外放，去了杭州擔任通判。
除了司馬光、蘇軾這樣旗幟鮮明的反對新法外，新黨內部也出現了分裂，熙寧六年下半年，北宋發生了大旱，大量田地歉收，百姓流離失所。神宗下詔求言，新法骨干成員、時任三司使的曾布上梳，稱新法中的市易法對百姓盤剝過重，請求罷黜市易法。
奏疏一上就在朝中引起軒然大波，還改革呢，新黨內部就出了叛徒，大家都等著看王安石笑話。神宗不表態，把奏疏轉給中書處理，王安石氣的大罵曾布，曾布自知理虧，只好自請罷官離開朝廷。
王安石在朝堂上高接抵擋，不停化解著舊黨的攻擊和內部的分裂，但神宗畢竟年輕，在舊黨軟硬兼施下逐漸動搖了。
熙寧年間，仁宗皇帝的皇后曹太皇太后依然在世，太皇太后對新法非常反感。神宗與弟弟岐王趙顥在一次給太皇太后請安時，太皇太后就勸神宗，祖宗法度不能輕易改變，聽說青苗法免役法搞得民怨沸騰，最好還是廢除。
神宗趕忙解釋，都是利國利民的法令，沒有加重百姓負擔。
太皇太后又說，王安石這個人確實能力很強，但是在朝中樹敵太多，皇帝如果想保全他，不如先暫時將他外放避避風頭，等朝政穩定了再回來。
神宗一聽就急了，王安石是變法的頂梁柱，想要變法圖強富國強兵，沒有王安石是萬萬不行的。
岐王在一旁看哥哥跟奶奶你一言我一語的言辭越來越激烈，好心勸神宗，太皇太后說的話，陛下不能不慎重考慮。
諫官們罵，地方官反對，老宰相們也都反對，太皇太后也在施壓，神宗一直處于一種精神壓力極高的狀態，奶奶教育我也就算了，什么時候輪到你這個當弟弟的也來說我兩句？
神宗怒斥岐王，是我敗壞天下，你岐王來做皇帝吧！
岐王嚇得跪地大哭請罪，陛下何必如此生氣。
一場例行的請安，以太皇太后、神宗、岐王三人不歡而散結束。
后宮的壓力雖大，卻還不足以改變神宗變法的決心，直到后來神宗看到民間疾苦時方才真正動搖。
動搖神宗的這個人名叫鄭俠，時任開封安上門門監。
鄭俠年輕時就與王安石認識，王安石欣賞他的學識多次嘉獎鼓勵，后來宗治平四年考中進士入朝為官。熙寧變法后王安石提拔鄭俠進京為官，但鄭俠在地方上做官的幾年目睹新法擾民，成為了新法的反對派，對王安石的提拔堅決拒絕。
王安石好不容易培養起來一個嫡系，就這么成了敵人，只好把鄭俠貶官打發他去做了個閑職，給首都看大門去吧。鄭俠任門監之后沒有消沉，仍然經常給朝廷上梳新法的弊端，其中一些建議也確實得到了王安石的采納。
但鄭俠的目的明顯不僅僅是新法的部分調整，而是全面廢除。熙寧六年旱災期間，神宗愁眉不展，以為是新法觸怒了上天。王安石安慰神宗說，水災旱災都是常見的自然現象，就算是堯舜在位的時候也有過災情，現在發生旱災我們應當盡力救災來渡過難關。
神宗一邊擔心著是不是自己皇帝職責沒做好而被上天怪罪，另一邊鄭俠就上梳了。因為長期駐守城門，鄭俠目睹了旱災以來城外大量流民路過，將流民畫成了一幅畫，起名《流民圖》，然后連同彈劾新法的奏疏一起上梳了。
正常情況下，所有上梳都要經過中書才能呈給皇帝，鄭俠的上梳毫無意外的被中書扣了下來。不過鄭俠有辦法，他不是管首都大門的嗎，給傳令兵假傳軍令說是緊急軍情，必須馬上上奏神宗，于是這幅《流民圖》最終來到了神宗面前。
史書記載，神宗看了《流民圖》之后，連聲嘆氣，把畫拿回后宮晚上接著看，一整夜都沒睡。
中國古代社會，只要不是個別喪心病狂的，皇帝們基本上都是非常愛惜老百姓的。鄭俠用《流民圖》擊中了神宗愛民的心，接著又用毒誓導演了一出天人感應的戲碼，讓神宗不得不敬畏。
鄭俠在奏疏中說，天下大旱，這是上天在怪罪陛下推行新法，請陛下廢除新法，自己以性命擔保，只要新法廢除，十日內天不降大雨的，請求把自己推出宣德門斬首。
神宗畏懼了，第二天下令青苗法、免役法暫停執行，方田均稅法、保甲法廢止。
新法停止的第三天，天降大雨。
天不佑大宋。
這場大雨改變了神宗對于富國強兵的戰略思考，也澆滅了王安石的改革熱情。面對著矛盾幾乎已經無法調和的朝堂，王安石上梳請辭，神宗再三挽留不住，熙寧七年四月，王安石辭任首相離京赴江寧任職。