会徽的主体是一个橄榄枝缠绕而成的桂冠，形状为古雅典城形状。在古代奥运会中，桂冠代表冠军的荣耀。此外，橄榄树在雅典还被视为圣树。橄榄枝象征和平，组成的图案同时也象征生命圈、天空和大海。会徽下方是“雅典2004”字样和奥林匹克五环。