고향을 떠나 상경한 도산은 1895년 밀러학당(후에 구세학당으로 부름) 보통부에 입학하여 처음으로 신학문을 접하고 3년 간 공부한 뒤 졸업하였는데, 졸업 후에는 그 학교 조교로 근무하였다. 이 무렵 기독교에 입교한 도산은 기독교를 통하여 서구의 자본주의를 접하게 되었고 약육강식의 논리가 세계질서를 지배하고 있다는 엄연한 현실을 바로 보고 철저한 자기비판 의식을 통해 우리 민족도 실력양성, 즉 '힘'을 길러야 함을 다시 한번 깨달았다.

1897년 독립협회에 가입하여 사회운동에 참여한 도산은 필대은과 함께 독립협회 평양지회를 설립하는 데 참여하였다. 또한 만민공동회 관서지부를 조직하여 3년 간 경기·황해·평안 각도를 순회하며 연설하였다. 독립협회 활동을 통해 청년 도산은 근대화론과 민주주의사상을 접하고, 그 영향 아래 자신의 정치 및 사회사상을 키워 나갔다.

1898년 7월 25일(음력) 광무황제의 생신을 맞아 평양 쾌재정에서 만민공동회가 열렸을 때, 도산은 처음으로 대중 앞에서 연설하였다. 이 연설에서 도산은 정부와 탐관오리의 부정부패를 비판하고 개혁을 주장하였으며 민중의 새로운 각성을 촉구하였다.

독립협회가 강제로 해산되자, 도산은 1899년 고향으로 돌아와 22세에 강서군 동진면 암화리에 강서군에서 최초로 설립된 근대학교인 점진학교(漸進學校)를 세우고 교육구국운동에 뛰어들었다. 이때부터 도산은 황무지 개간사업을 추진하였다.

3년 간 점진학교에서 교육사업을 시행한 뒤, 본격적으로 교육구국운동을 전개하고 실력을 양성하기 위해서 도산은 더 큰 공부를 해야겠다고 결심하였다. 그래서 구세학당 밀러목사의 주선으로 교육학을 공부하고자 미국으로 유학을 결정하였다. 24세 되던 해인 1902년 약혼녀인 이치관의 딸 이혜련(李惠練)과 결혼한 도산은 결혼 다음날인 11월 4일 미국 유학길에 올랐다. 미국으로 가는 뱃길에서 일몰 중에 망망대해에 우뚝 솟은 하와이 섬의 웅장한 모습을 보고 감격한 도산은 이때 자신의 호를 직접 ‘도산(島山)'이라 명명하였다.