У зовсім юному віці Гордільо разом з батьками переїхав з Альмендралехо до Севільї. Там він і почав грати в футбол - спочатку в дитячих командах, а з 15-річного віку в академії «Реал Бетіса». У сезоні 1975-76 Гордільо захищав кольори резервної команди севільців «Тріана Баломпьє».
Перед початком сезону 1976-77 Гордільо був включений до заявки «Бетіса» і зіграв в 13 матчах, а в наступному чемпіонаті був вже гравцем основи. Рафаель провів в севільському клубі 9 сезонів, вигравши один трофей - Кубок Іспанії. У 1980 році його було визнано футболістом року в Іспанії.
У 1985 році Гордільо перейшов в один з найсильніших клубів Іспанії - «Реал Мадрид». Тут він грав переважно в півзахисті, лівим захисником був Хосе Антоніо Камачо. Зв'язка Камачо-Гордільо відповідала за лівий фланг «Реала» аж до 1989 року, і за цей час Рафаель встиг виграти п'ять чемпіонських титулів, Кубок Іспанії і Кубок УЄФА. Сезон 1989-90 став останнім для Гордільо в якості гравця основи «Реала». Наступні два чемпіонати він з'являвся на полі рідше.
У 1992 році 35-річний Гордільо повернувся у «Бетіс», який виступав тоді в Сегунді, і провів там ще три сезони, допомігши клубу вийти до Прімери. Догравав Рафаель в клубі «Есіха». У 1996 році він закінчив кар'єру гравця.