1894年6月23日在巴黎召开的国际体育代表大会上成立。发起人是法国的教育家皮埃尔·德·顾拜旦男爵。

1894年成立后，总部设在巴黎。

1914年第一次世界大战爆发，为了避免战火的洗劫，1915年4月10日总部迁入有“国际文化城”之称的瑞士洛桑。这里有奥林匹克博物馆，奥林匹克研究中心，还有以顾拜旦名字命名的大街，体育场等等。数十年来，洛桑为奥林匹克运动的发展，作出了重大贡献，称为"奥林匹克之都"。国际奥委会也是在这个美好的城市逐渐发展、壮大而闻名于世的。国际奥林匹克委员会，简称国际奥委会，是奥林匹克运动的领导机构，是一个不以营利为目的、具有法律地位和永久继承权的法人团体。国际奥委会根据现代奥林匹克运动创始人顾拜旦的理想，恢复奥林匹克运动的目的，在于增强各国运动员之间的友谊与团结，促进世界和平以及各国人民之间的相互了解，发展世界体育运动。