일본을 거쳐 1907년 2월 20일 귀국한 도산은 발빠르게 애국지사들과 연락을 취하였다. 그리하여 4월경 상동청년학우회, 대한매일신보, 구한말 군인 등 국가와 민족을 위해 뜻을 같이 하는 지사들과 결의하여 비밀결사단체인 <신민회>를 결성하였다. 신민회는 ‘봉건적 구사회사상과 관습을 혁신하고 국민을 유신케 하며, 국권을 회복하여 근대적 자유문명국가를 건설함을 목적'으로 한 다양한 활동을 전개하였다.
나아가 도산은 국권회복을 위하여 교육, 언론, 실업, 학회 등 각 방면에서 구국운동을 전개하면서 평양에 대성학교(大成學校)를 설립하고, 근대교육과 애국교육을 실행하였으며, 학생들에게 양계초의 『음빙실문집(飮氷室文集)』을 직접 강의하였다.
한편 1909년 8월에는 청년학우회(靑年學友會)를 조직하였다. 도산은 청년학우회를 통해 무실, 역행, 자강, 충실, 근면, 정제, 용감을 기본 정신으로 하여 한 가지 전문 학술이나 기예를 반드시 학습하여 직업인으로서 자격을 구비하고, 매일 덕·체·지육의 수양을 한 가지씩 행하여 수련함으로써 민족계몽운동과 구국운동을 이끌어 나갈 지도자를 양성하고자 하였다.
또한 서울, 평양, 대구에 태극서관(太極書館)을 설립하여 서적 판매와 함께 출판사업을 계획하였다. 태극서관은 신교육 보급만이 아니라 신민회 회원들의 비밀연락처의 역할을 하였다. 그리고 한국인 최초의 주식회사 형태로 평양 마산동에 자기회사(瓷器會社)를 설립, 민족산업을 육성하여 경제 발전을 이룩하고자 하였다. 도산은 이후에도 자본력이 부족하여 산업 투자가 어려운 민족현실에서 한인들의 소자본을 주식형태로 모아 투자하는 많은 주식회사를 설립하였다.
신민회는 국권회복을 위한 실력양성의 방법으로 여러 구국운동을 전개하였지만 일제의 주권 침탈행위가 심각해지자 애국계몽운동의 차원에서 일제 침략을 저지할 수 없음을 깨달았다. 그래서 국외에 독립군기지를 건설하여 무관학교를 설립하고 독립군 배출하여 기회가 올 때에 독립전쟁에 대비할 전략을 세우고, 국내에서 가장 가까이 있던 만주와 시베리아 지역을 가장 적합한 곳으로 선정하였다.
구국을 위한 도산의 여러 활동이 알려지면서 도산은 당시 민중들에게 큰 지지와 존경을 받았다. 당시 통감이었던 이토 히로부미는 병합계획을 착착 세워가면서 도산에게 은밀히 ‘청년내각'조각을 제의하였으나 도산은 이를 결연히 거부하였다. 그리고 대성학교 학생들은 융희황제가 서도지방을 순행할 당시 이토 통감을 위해 일장기를 들고 나오라는 요구를 거부하였다. 이러한 여러 가지 이유로 도산은 요주의 인물로 지목되어 일제의 감시를 받았다.
도산이 국내에서 활동하는 동안 미주 공립협회는 하와이의 한인단체들과 통합하여 <국민회>로 재편되었고, 신민회와 연계 하에 비밀리에 국외 기지개척운동을 전개하였다. 신민회 회원들이 각지에 파견되어 국외에 독립운동기지를 건설하는 것으로 시작한 기지개척운동은 우리 동포가 다수 거주하고 있는 노령(연해주)과 북간도지역 외에 서간도와 북만주(蜂蜜山), 중국(북경), 몽고지역까지도 물색되었다. 도산은 미주지역의 <대한인국민회>를 총본부로 하여 해외 각지에 지회를 설립하여 상호간의 연락을 취하고, 이를 기반으로 그 나라의 운동세력과 결속관계를 맺어 우리의 독립운동을 지원하도록 하며, 산업·교육방면에서 부단히 실력을 키워 일본과 일전을 벌릴 준비를 하고자 하였다.
신민회 결성 당시 사진
