1931年4月，中央特科負責人顧順章叛變，由于此人掌握很多黨內的核心機密，形勢萬分緊急。陳云在接到情報后立刻上報中央，并全力協助周恩來趕在國民黨大搜捕前，采取了一切能夠采取的應變措施，避免了一場后果極其嚴重的大破壞。之后，陳云由于表現突出，開始正式參與領導中央特科的工作。但不幸的是，顧順章叛變的后遺癥并未清除，不久，中共總書記向忠發又被捕叛變，周恩來不得不停止工作，轉移到中央蘇區。危難之際，重建中央特科的重擔落到了陳云的肩上。

　　為了迅速從顧順章叛變的致命打擊中開辟新的工作局面，陳云首先改變中央特科的工作方式。根據少而精的原則，他將已在一定程度上暴露、不宜繼續做秘密工作的主要干部調離上海，撤銷第四科。根據方便、安全、隱蔽的原則，陳云要求一切工作人員的社會職業必須是真實的，有著落的。為此，陳云出資由同情革命的可靠人士出面籌辦了多種小鋪子，散布在上海各個地區，就連陳云當時的辦事機關也是隱蔽在一個名為“新生”的印刷所內。陳云常常打扮成商人、賬房先生，靈活機智地給各秘密聯絡點下達任務和布置工作。開鋪子做買賣，使中央特科有了比較可靠的社會根基，更利于開展斗爭，共產國際代表對此給予了充分肯定。一個當年的國民黨特務在回憶錄中感嘆道：“實行新的隱蔽策略之后，把我們在共黨內所建立的線索，一下割斷了， 于是我們的耳朵又失靈了，眼睛又失明了。我們只知道共黨的地下組織已經變了，但是怎樣變?何人負責?機關設在哪里?一切具體情況，我們便茫然無知。”

　　緊接著，陳云又殫精竭慮地重建情報系統。他與潘漢年等人利用敵人對我黨進行分化的圖謀，將宗益壽、劉鼎通過“自首”方式打入敵特機關；他派鮑文蔚到國民黨當局當法文秘書，并由此結識警備司令部軍法處的一個錄事；他派一位商務印書館的同事打入英巡捕房政治部；他爭取同鄉沈壽亞長期潛伏在國民黨上海市黨部組織部為我黨提供情報；他派徐強打入國民黨軍隊；他通過章秋陽任上海交易所經紀人的合法身份收集情報，幫助我黨處理大宗外匯兌換等。這些內線聯系人在關鍵時刻發揮了非常重要的作用。長期在中央特科工作的陳養山回憶說：“在陳云同志親自籌劃下，集中一切力量，千方百計利用社會關系，終于在(上海)警備司令部、法英巡捕房等機構重新建起反間情報關系。這個階段雖僅一年時間，但各項工作很快恢復，成效很顯著。”

　　長征途中，毛澤東曾非常感慨地說：“我們這些人能活著出來，做情報工作的同志是立了功的。”1981年， 在接見原中共中央特科工作者座談會代表時，陳云也深情地指出：“特科是周恩來同志直接領導下的黨的戰斗堡壘。特科是一個有戰斗力的白區黨的地下組織。特科出過若干個有名的或者黨內大多數人不知名的有功績的同志。”