Nama kota Tarim diambil dari nama seorang penguasa yang membangun kota tersebut, yaitu Tarim bin Hadramaut. menurut sumber lain dikatan bahwa yang membangun kota Tarim adalah Sa'ad Al-Kamil. Adapun sebutan lain dari kota Tarim adalah Al-Ghanna, yang artinya suatu tempat yang sangat subur. Disebut demikian karena di kota Tarim banyak terdapat tempat-tempat rimbun, banyak pohon-pohon besar yang tumbuh dan banyak pula sumber-sumber airnya. 

Kota Tarim disebut juga Madinah As-Shiddiq. Hal ini disebabkan pada saat khalifah Abubakar Ash-Shiddiq meminta sumpah setia penguasa kota Tarim pada saat itu yang bernama Ziyad bin Lubaid Al-Anshory, maka penguasa kota Tarim tersebut memberikan sumpah setianya dan kemudian diikuti oleh semua penduduk kota Tarim tanpa ada yang tertinggal. 

Ketika berita ini disampaikan kepada khalifah Abubakar Ash-Shiddiq lewat surat, maka beliau berdoa untuk penduduk kota Tarim dengan 3 macam permohonan : 
1. semoga kota Tarim diberi kemakmuran 
2. semoga kota Tarim diberikan berkah sumber airnya 
3. semoga kota Tarim dipenuhi oleh orang-orang sholeh sampai hari kiamat

As-Syeikh Muhammad bin Abubakar Ba'ibad berkata, "Sesungguhnya Abubakar Ash-Shiddiq r.a pernah memberi doa secara khusus bagi penduduk Tarim." Ketika kisah tadi disebutkan didepan beliau, beliau pernah berkata, "Sungguh amat beruntung penduduk kota Tarim." 

Kota Tarim selain amat subur, kota ini juga pusat berkumpulnya wali-wali Allah, ulama-ulama besar, para penulis terkemuka. Kota ini juga merupakan pusat segala ilmu agama, pusat kegiatan tauhid dan keimanan. Pernah dituturkan oleh As-Syeikh Al-'Arif Billah Ali bin Salim, "Sesungguhnya yang berdiri di shof pertama di Masjid Jami' kota Tarim pada saat ibadah sholat Jum'at, semuanya adalah para ulama yang sholeh." 

Salah satu keistimewaan kota Tarim adalah kota ini selalu dikunjungi orang dengan maksud yang amat penting, misalnya untuk mengambil barokah, menuntut ilmu, berziarah kepada wali-wali Allah dan bukan seperti kota-kota lain yang dikunjungi orang untuk mencari keuntungan yang bersifat duniawi. 

Keistimewaan kota Tarim yang lain adalah disinilah banyak tersebar anak cucu Ahlul Bait Rasullullah SAW. Mereka tumbuh pesat dengan di tanah yang penuh dengan kebaikan, mulia perilaku dan darah keturunan penduduknya. Pernah suatu kali Rasullullah SAW bersabda, "Sesungguhnya aku benar-benar mencium harumnya karunia Tuhan Yang Maha Pemurah dari Yaman. Berapa banyak mata air kemurahan dan hikmah yang terpencar dari sana." Salah seorang sufi mengatakan bahwa yang dimaksud hadits tersebut tidak lain adalah penduduk kota Tarim.

[Disarikan dari Al-Bidh'at Al-Muhammadiyyah Ath-Thoohiroh, dalam edisi terjemahannya Alawiyyin : Asal Usul & Peranannya, karangan As-Sayyid Alwi bin Muhammad bin Ahmad Bilfaqih, hal. 7-9]