Et sådant forhold kunne naturligvis ikke vare længe. Iver Rosenkrantz afløstes allerede [[12. maj]] [[1735]] som oversekretær i [[danske kancelli]] af [[Johan Ludvig Holstein]] og [[28. maj]] som oversekretær i [[tyske kancelli]] af [[Johan Sigismund Schulin|Schulin]]. Derimod beholdt han sine pladser som medlem af konseillet og som patron for universitetet. I kraft af denne sidste stilling havde han få år i forvejen ([[1732]]) virket med til, at [[Københavns Universitet|universitetet]] havde fået en ny [[fundats]]. Men det må konstateres, at Rosenkrantz og Hans Gram ikke evnede at få institutionen moderniseret tilstrækkeligt, og mange reformer og udvidelser savnedes stadigvæk.
Stillingen som menigt medlem af konseillet gjorde det ganske vist også efter [[1735]] muligt for [[Iver Rosenkrantz]] at tale et ord med i vigtige statsspørgsmål, men han var nu helt isoleret med sine holdninger. At han dog ikke var bange for at give mening tilkende, også i holdninger som kongen helt åbenlyst var imod, ser man eksempelvis i året [[1737]] indgav en indtrængende forestilling imod et forslag af generalprokurøren [[Andreas Hojer]] om indførelse af [[fiskal|landfiskaler]], som skulle overvåge, hvad der skete imod loven og forordningerne. Iver Rosenkrantz frygtede, at dette kunne føre til en uhyggeligt spionage, der ville gøre en slet virkning på befolkningen. Men både i dette spørgsmål såvel som andre, kunne han ikke trænge igennem til kongen. I det [[Christian 6.]] i stigende grad opfattede brødrene Plessen som ubehagelige opositionsmænd, blev Rosenkrantz på grund af sit nøje forhold til disse mænd også genstand for kongens mistro. Da [[Kurantbanken]] i [[København]] blev grundlagt [[1736]], fandt kongen, at Rosenkrantz var meget lidt ivrig i at tegne aktier i dette af ham selv stærkt begunstigede foretagende, og med en klar hentydning til plessenerne skrev han i den anledning til Schulin: ”''Gehejmeråd Rosenkrantz viser ved enhver Lejlighed, af hvilken Bande han er, og at han ikke vil flattere os''.” Det synes også, som om Rosenkrantz, der nok holdt for meget af at høre sig selv tale, ikke altid var tavs nok. Christian 6. krævede tavshedspligt af sine ministre, men om Rosenkrantz sagde kongen ærgerligt, at han ikke kunne tie om statshemmeligheder længere, end til han så sin kone.
