The Travellers Club sídlí na své současné adrese (106 Pall Mall) od roku 1827. Předtím se klubovna nacházela také na ulici Pall Mall ale na čísle 49, a ještě před tím byla rovněž blízko Pall Mall na 12 Waterloo Place.

Architektem této překrásně a velmi účelně vybavené budovy byl Sir Charles Barry (člen klubu od roku 1834), který se později mimo jiné podílel i na přestavbě Westminsterského paláce. Budova The Travellers Clubu je však dodnes považována za jedno z jeho mistrovských děl. Má podobu renesančního paláce a inspirací Charlese Barryho byl údajně palác Pandolfini ve Florencii.

Součástí klubovny je kuřácký salon (velká společenská místnost), koktejl bar, tzv. vnější a vnitřní ranní pokoj a jídelna (známá také jako Cofee room). Dále také unikátní vinný sklep a samozřejmě velkolepá knihovna s mnoha svazky, zaměřená především na cestování.

Členy tohoto donedávna výhradně pánského klubu jsou například členové britské královské rodiny, příslušníci cizích královských rodin, diplomaté, politici (ministři zahraničních věcí a premiéři) a samozřejmě také cestovatelé. Návštěvy v klubu jsou možné pouze na základě pozvání. Patronem klubu je vévoda z Edinburghu (princ Philip).

Původní myšlenku na založení klubu nastínil ke konci napoleonských válek lord Castlereagh. Klub byl navržen jako příjemné místo, kde se mohou setkávat pánové cestující velmi často do zahraničí a kde rovněž mohou pohostit své zahraniční návštěvníky. Tato myšlenka byla také zahrnuta i do pravidel na ustanovujícím zasedání klubu, kdy se členem mohl stát pouze ten, kdo již někdy vycestoval do vzdálenosti nejméně 500 mil od Londýna (vzdušnou čarou).

Dnes jsou již pravidla pro přijetí mírnější, existuje sice seznam 4 zemí, které by měl potenciální člen klubu navštívit před tím, než se ve volbách hlasuje o jeho přijetí, prakticky však postačuje jakákoliv spojitost s cizinou či cestovním ruchem.

Členský poplatek je v současné době stanoven na £ 1.100.