Tokoh-tokoh sufi dari zaman setelah wafatnya Nabi SAW cukup banyak. Pada masa sahabat, sederetan nama menjadi rujukan ahli tasawuf seperti Abu Bakar As-Shidiq, (573-634 M), Ali bin Abi Thalib (599-661 M), Salman Al Farisi (w. 656), Abu Dzar Al Ghifari (652 M), dan Miqdad bin Al Aswad, dengan Ali RA sebagai tokoh sentral dari ajaran ini.
Pada masa tabi’in, yang terkenal adalah Hasan Al-Basri (642-728 M) dan Sofyan Al-Thawri (716-778 M). Baru kemudian murid dari Hasan Al-Basri, yaitu Abdul Wahid bin Yazid (w. 794). Ciri menonjol pada pengikut Hasan Al-Basri adalah rasa takut yang berlebih kepada Allah SWT, zuhud, dan banyak ibadah. Sedang pada abad kedua Hijriah dikenal nama-nama Ibrahim bin Adham Al Balakhi (718-782 M) dan Rabiah Al Adawiyah (713-801). Ciri Rabiah Al Adawiyah adalah lebih menonjokanl rasa mahabbah (cinta) kepada Allah SWT.
Memasuki abad ketiga Hijriah, tasawuf semakin solid dan berkembang dengan tokoh sentral Abu Sulaiman Adarani (w. 819 M), Ahmad ibn Al Hawari (w. 844 M), Zunnun Al Misri (796-859 M), Bisyir Al Hafi (767-841 M), Abu Bakar Al-Syibli (861-946 M), Al Haris Al Muhasibi (781-857 M), Sirri al-Saqti (w. 867 M), Abdul Yazid Al Busthami (804-874 M), Al-Junaid (830-910 M) dan Al Hallaj (858-922 M). Pada masa ini dan sesudahnya, tasawuf berkembang menjadi kelompok-kelompok yang dipimpin oleh seorang syaikh.
Pada abad keempat Hijriah, tasawuf lebih berkembang lagi sehingga mereka menyebutkan dirinya sebagai ahli hakekat/batin sementara ulama lain terutama ulama fikih disebut sebagai ahli dhohir. Pada masa inilah trend sufi ditetapkan mempunyai empat tahapan atau empat ilmu, yaitu; Ilmu Syariah, Ilmu Tariqoh, Ilmu Hakekat, dan Ilmu Ma`rifat.
Abad kelima dan seterusnya, tasawuf sangat dipengaruhi oleh paham syiah dan filsafat. Dari beberapa tokoh sufi di atas ada beberapa tokoh dengan konsep tasawuf mereka yang monumental, antara lain:
- Abu Yazid Al Busthami dengan konsep fana, baqa dan ittihad; fana adalah penghancuran diri, baqa adalah tetap/terus hidup. Fana dan baqa ini merupakan kembar dua. Dalam tasawuf agar fana dan baqa tercapai harus melalui 3 aspek, yaitu takhllii yang artinya mengosongkan diri dari perangai yang tercela, tahallii berarti menghiasi diri dengan akhlak terpuji, dan tajallii berarti mengalami kenyataan atau penyatuan dengan tuhan. Penyatuan dengan Tuhan inilah yang disebut dengan Ketika berada di pintu gerbang ittihad ini seorang sufi mengeluarkan syatahat yaitu ucapan-ucapan yang aneh dan tidak biasa yang sulit dipahami oleh orang awam.
- Rabi’ah al-Adawiyah dengan konsep mahabbah; pengertian mahabbah Rabiah terungkap dari tiga hal: 1) Memeluk kepatuhan pada Allah SWT dan membenci sikap melawan kepada-Nya; 2) Menyerahkan seluruh diri kepada yang dikasihi; 3) mengosongkan diri dari segala sesuatu kecuali dari yang dikasihi. Cinta Rabi’ah kepada Allah SWT tidak menyisakan tempat sedikit pun di hatinya untuk mencintai makhluk bahkan untuk membenci iblis sekalipun.
- Al-Ghazali dengan konsep makrifat. Berkat figur Al-Ghazali lah praktik sufi dapat menyebar mengarah pada situasi di mana sufisme dapat dijabarkan dengan jelas dan selaras dengan aspek-aspek lain dalam tradisi agama dan intelektual Islam. Awalnya beliau sangat kuat pada teologi sunni, prinsip-prinsip yurisprudensi, bahkan filsafat, beliau melegitimisi sufisme dalam dimensi eksoteris penganut Islam sunni. Makrifat adalah pengetahuan hakiki tentang Tuhan di mana pengetahuan ini hanya bisa diperoleh oleh seorang sufi dengan perantara hati sanuabarinya hingga hati ini penuh dengan cahaya Tuhan. Makrifat ini adalah pemberian Tuhan, bukan hasil pemikiran manusia. Dengan makrifat inilah terkuak rahasia-rahasia Tuhan baginya dan ia semakin dekat kepada Tuhan.
- Ibn Arabi dengan faham wahdatul wujud; yang artinya kesatuan wujud. Faham ini mengatakan bahwa dalam tiap-tiap yang berwujud terdapat sifat ketuhanan (haq) dan sifat kemakhlukan (khalq). Makhluk dijadikan dan wujudnya bergantung pada wujud Tuhan, sebagai sebab dari segala yang berwujud. Jadi makhluk bersifat mumkinul wujud artinya bisa wujud bisa tidak, sedang Tuhan bersifat wajibun wujud artinya wajib wujud. Disini yang mempunyai wujud sebenarnya adalah Allah SWT, dengan demikian hanya ada satu wujud yaitu wujud Tuhan; wujud selain Tuhan adalah wujud bayangan.