Sebelum Gerakan Pemuda Ansor berdiri pada 1934, belasan tahun sebelumnya telah terjadi rangkaian panjang gerakan pemuda dari kalangan pesantren. Gerakan tersebut sama sebangun dengan cikal-bakal Nahdlatul Ulama yang dinyatakan berdiri di Surabaya pada 1926.
Sebagaimana ditulis Choirul Anam dalam bukunya Gerak Langkah Pemuda Ansor, Seputar Sejarah Kelahiran, ia menarik berdirinya Ansor dari jejak panjang organisasi-organisasi yang diinisiasi KH Abdul Wahab Hasbullah.
Pada tahun 1916, KH Wahab mendirikan Nahdlatul Wathan (Kebangkitan Tanah Air). Ia tidak sendirian, ada KH Mas Mansur dan H Abdul Kahar, seorang saudagar waktu itu, dan seorang arsitek terkemuka, Soejono. Tokoh pergerakan saat itu, HOS Cokaroaminoto juga turut membantu.
Organisasi yang dilahirkan di Surabaya ini menitikberatkan kegiatannya pada peningkatan mutu pendidikan Islam, pembentukan kader, dan pembinaan mubaligh atau juru dakwah.
Dua tahun kemudian KH Wahab menginisiasi mendirikan Tashwirul Afkar (Bertukar Pikiran kadang diterjemahkan kebangkitan pemikiran). Perbedaan dengan organisasi sebelumnya adalah organisasi ini melibatkan pengasuh pondok pesantren, KH Dahlan Achyad.
Sejak berdirinya, organisasi ini menginduk kepada organiasi lain. Nama yang ditulis di papan pengenal adalah Suryo Sumirat Afdeeling Tashwirul Afkar. Hal ini adalah cara memudahkan jalannya organisasi karena pada waktu itu mendapatkan legalitas tidak mudah. Hal itu berlangsung hingga 1929.
Setelah memiliki cukup anak muda yang mengikuti dua organisasi itu, tumbuh keinginan untuk menyatukan keduanya dalam satu wadah. Sebagaimana diketahui, pada waktu itu, secara nasional, di daerah-daerah tumbuh organisasi pemuda semisal Jong Ambon, Jong Celebes, Jong Java, dan lainnya. Pemuda di Nahdlatul Wathan dan Tashwirul Afkar pun memiliki inisiatif yang sama.
Namun, ternyata tidak mudah karena terjadi perbedaan pendapat antara Kiai Wahab dan Mas Mansur. Keduanya ternyata memiliki pendukung masing-masing. Kiai Wahab menginginkan nama organasasi yang akan dibentuk itu bernama da’watus Syubban, sementara Mas Mansur menginginkan Mardi Santoso. Keduanya tidak membuahkan sepakat sampai akhirnya Mas Mansur memisahkan diri dan bergabung dengan Muhammadiyah. Jabatan Kepala Guru Nahdlatul Wathan akhirnya diserahkan kepada kiai muda, KH Mas Alwi Abdul Aziz.
Pada tahun 1924, pemuda pendukung Kiai Wahab membentuk organisasi bernama Syubbanul Wathan (Pemuda Tanah Air). Organisasi itu dipimpin KH Abdullah Ubaid dari Kawatan, Surabaya. Organisasi ini pun disambut banyak pemuda Surabaya dengan mencatatkan diri mereka sebagai anggota.
Untuk mengembangkan sayapnya organisasi yang beru terbentuk ini mengupayakan sayap organisasi untuk para remaja melalui kepanduan. Hal ini pun tidak terlepas dari organisasi-organisasi lain yang juga membentuk kepanduan. Syubbanul Wathan pun mendirikan kepanduan bernama Ahlul Wathan. (Abdullah Alawi)