그리고 상해와 국내 한성임시정부, 러시아의 대한국민의회정부로 대표되는 세 곳의 임시정부를 통합하는 작업을 추진하였다. 도산은 대한민국임시정부가 국권회복과 민족국가 건설이라는 민족의 과제를 실현시켜줄 실질적인 국민의 총집결체가 될 수 있다는 희망과 기대를 가지고 독립운동 세력의 통합에 전념하였던 것이다. 비교적 자유로운 정치활동을 보장받을 수 있었던 상해에 임시정부를 두기로 하고, 1919년 9월 6일 통합헌법을 성립시켜 9월 11일 통합임시정부를 출범시켰다. 도산은 통합임시정부의 노동국총판에 임명되었으며, 국내·외 독립운동 단체를 통합하여 임시정부 관할 아래로 끌어들이고자 각 지역에 특파원을 파견하여 교섭활동을 벌였다.

그러나 임시정부의 빈약한 재정상태로는 효과적인 운동을 전개할 수 없었다. 재정 상태가 심각해지자 도산은 정부기관 축소와 직제 개편, 역할분담 등을 통해 문제를 해결하려 하였다. 즉 상해는 기록 보존 사업과 연락 담당을, 노령에는 군사기관을 설치하고, 미주는 독립자금 부담과 구미와 중국을 향한 외교활동 전개 등의 역할을 분담하자는 것이었다. 아울러 정부가 재정확보를 위해 직접 개척사업과 영업을 함으로써 정부를 유지한다는 방략을 세웠다. 그리고 사업진행을 위해 해외동포의 민적(民籍)을 작성하여 납세와 병력, 법률복종의 의무를 지는 국민을 모집하여 군대를 편성, 군사훈련을 실시하여 독립군을 양성하고자 하였다.

한편 러시아·중국·한국 3국간에 동맹을 맺고 일본 안에 내란을 조성하여 미·일간에 전쟁을 촉발시킨다는 방략을 세웠다. 그리고 노령에 있는 한인공산당과도 연합하여 북경·상해 등지에서 정부를 파괴하려 하는 반임정 세력을 봉쇄하고, 독립운동에 참가한 다수 청년들을 독립군 지원병으로 수용·훈련하여 청년층의 불평 행동을 제거한다는 효과를 아울러 기대하였다.

이처럼 도산은 임시정부를 중심으로 총단결하고 외국과 동맹을 맺어 독립운동의 기반을 마련하고자 하였다. 이러한 방략들을 실천하기 위하여 노력하였지만 미주와 만주 및 중국, 노령을 잇는 광대한 지역에서 통일성 있게 독립투쟁을 지휘하고 전개한다는 것은 매우 어려웠다. 1920년 이후 독립운동세력의 사상분화와 노선갈등이 복잡해지면서 이들간에 통합은 더욱 어려워졌다.

1920년 1월 3일 도산은 임정 신년축하회 석상에서 「우리 국민이 결단코 실행할 6대사(군사·외교·교육·사법·재정·통일)」에 대한 연설로써 독립운동의 확실한 방침을 내·외에 공포하였다. 도산은 장기적인 독립투쟁을 수행하는 데는 무엇보다도 재정 확보가 중요함을 강조하였다. 그래서 정부가 정부로서의 역할을 다하고 독립전쟁을 수행하기 위하여는 국민의 세금이 정부 재정의 기반이 되어야 하고, 납세를 위해서 국민은 일정수입이 보장되는 직업을 가져야 하며, 한인들은 모두 군적(軍籍)에 등록하여 유사시에 군인이 되어야 한다고 하였다. 이른바‘국민개납',‘국민개업',‘국민개병'을 독립운동의 지도 방침으로 세웠던 것이다.

도산은 임시정부를 독립운동의 최고 지휘부로 올려놓고자 각 방면으로 전력하였으나, 임시정부는 곧 내분에 휩싸이고 말았다. 대통령 이승만과 국무총리 이동휘의 독립운동 방략의 차이는 임시정부를 혼돈으로 몰아갔다. 대통령 이승만의 위임통치안을 두고 논란이 거듭되면서, 이승만 대통령 취임 반대 운동이 전개되었다. 여기에 박용만의 외교총장 취임거부, 북경에서의 반임정운동 등으로 진전되면서 임시정부는 난관에 봉착하였다.

도산은 대통령직을 수행할 수 있도록 이승만 대통령을 중심으로 단결해 줄 것과 개인의 비난이 정부의 비난이 되어서는 안 된다고 호소하였다. 그러나 정국을 수습할 수 없게 되자 도산은 1921년 5월에 노동총판을 사임하고, 여운형과 함께 국민대표회의 개최를 주도하였다. 도산은 거의 침식을 잊고 각방면으로 권유하며 원근 각지로 연락에 취하였다.

위기에 처한 독립운동계의 돌파구를 마련하고 국민적 공론을 도출하기 위하여 불철주야 교서하던 도산의 노력이 드디어 그 결실을 맺어 1923년 1월 초부터 5월까지 61개 단체 124명의 대표들이 참석한 가운데 국민대표회의가 개최되었다. 미주대표 자격으로 참가한 도산은 임시의장으로 선출되었다. 이후 만주대표로 참가한 김동삼이 새로이 의장에 선출되고, 도산은 윤해와 함께 부의장으로 활동하였다.

국민대표회의에서 도산은 임시정부를 그대로‘고수'하자는 의견을 내세워 “장차 독립운동을 계속할 것인가 계속하지 않을 것인가, 만약 계속한다면 현 임시정부는 이를 존속하되, 다만 각 원의 개조로 끝내고, 각 파와 단체를 통일하자”고 주창하였다.

그러나 국민대표회의는 5월 15일 63회 회의를 끝으로 독립운동계의 노선 차이만을 드러낸 채 결렬되었다. 국민대표회의마저 실패로 돌아가자 많은 지사들이 독립운동에 회의를 느끼고 분산되어 갔으나 도산은 좌절하지 않고 민족유일당 결성에 착수하여 독립운동의 계파와 노선을 초월하는 대동단결운동을 전개하였다. 도산의 유일당운동은 반임정세력의 집결지인 북경을 시작으로, 중국 관내 주요지역과 만주지역까지 확산되었다.