皇家马德里原名为「马德里足球俱乐部」（Madrid Football Club），是一群球迷于1902年3月6日成立，球衣为全白色、配白色短裤及蓝袜。同年参加庆祝西班牙国王阿方索十三世登基而创办的国王杯，但不敌巴塞罗那。四十年代的皇马未赢过联赛冠军，直至1943年前球员伯纳乌成为新一任的主席后，展开了成为欧洲第一球会的第一步。
伯纳乌首先为球会买下一块土地兴建新球场——即今伯纳乌球场。在1956年，皇马参加首届欧洲冠军球会杯便杀入准决赛。皇马先在首回合4比2击溃对手，然而次回合1比2被击倒，皇马几经辛苦以5比4压倒红黑兵团，得以晋级首届欧冠杯决赛争夺冠军。最后于决赛上以4比3反胜兰斯，从而令皇家马德里成为第一个欧洲盟主，亦为球会展开精彩而传奇的辉煌时刻。紧接着的数年，皇马继续保持欧洲第一球会美誉。1961年至1968年8年间皇马七夺联赛冠军，1966年再晋身欧冠杯决赛，2比1击败柏迪逊第6度成为欧洲冠军，而真图6夺锦标成为至今为止夺得最多欧冠杯的球员。
1977年当球会正值庆祝75周年之时，却在联赛意外地以第9名完成赛事，导致球会首次无法参加欧洲赛事。翌年被誉为「皇马之父」，担任球会会长35年的伯纳乌于6月2日与世长辞，终年83岁。布特拉格诺的加盟为皇马重新建立欧洲强豪形象。正当以为皇马可以保持气势重新在欧冠杯大展拳脚，但多年缺乏参加欧冠杯的经验，使得皇马连续三年先后遭拜仁慕尼黑、埃因霍温及AC米兰于准决赛淘汰，其中1989年以0比5大败给当时拥有「荷兰三剑侠」的AC米兰，令雄心壮志的皇马一下子被打沉。
90年代末皇家马德里再一次成为欧洲第一球会，荷兰人希汀克协助他们夺得第二个丰田杯后，继承多位名将执教母会的比森特·德尔·博斯克继1994年再回皇马，他的加盟将处于黄金时期的皇马推至最高峰。弗洛伦蒂诺·佩雷斯上任后，惊人地从世仇巴塞罗那以3800万英镑打破当时转会费的世界纪录，邀请葡萄牙中场兼2001年世界足球先生得主刘易斯·菲戈加盟。此后皇马继续奉行其「一年一球星」的球员买入政策，2002年由国际米兰购入巴西前锋罗纳尔多，2003年由曼联购入英格兰国家队队长贝克汉姆，紧接的2004年另一英格兰球星欧文亦由利物浦来投。08/09赛季前会长卡达朗豪言能把克里斯蒂亚诺·罗纳尔多转会皇马，但最后不但不能成事，还招来队中罗比尼奥不满，出走曼城。
2009年6月1日前皇马主席佩雷斯在没有对手下成功第二次上任，他准备出资3亿欧元去重新打造一支全新的银河舰队，再次扬威欧洲赛场。首先他请了维拉利尔的教练佩莱格里尼任皇马新银河舰队的教练。在卡卡、克里斯蒂亚诺·罗纳尔多、本泽马、阿尔比奥尔和哈维·阿隆索先后来投，以及回收了加雷和购回自家青训营的格拉内罗和阿贝罗阿，新银河舰队逐渐成形，亦已成功令皇马再次星光熠熠，回复当年的霸气。
2010赛季穆里尼奥成为皇马主帅，并大肆引援，终于在2011赛季率领皇马取得联赛积分100分并成功登顶。
2013年7月，穆里尼奥在执教皇马三个赛季后重回英超切尔西，皇马从巴黎圣日耳曼请来了意大利人安切洛蒂。
2014年5月，安切洛蒂率领皇家马德里在里斯本光明球场，通过加时赛4-1战胜马德里竞技，队史第10次夺得欧洲冠军联赛冠军。