П'ять кілець Олімпійського прапор символізують п'ять континентів, пов'язаних дружбою. Подейкують, що кожен континент мав свій колір (Європа — блакитний, Азія — жовтий, Африка — чорний, Австралія — зелений і Америка — червоний), проте жодних доказів, що П'єр де Кубертен саме так розподілив кольори, немає.
До 1951 року було поширене переконання, що окремий колір відповідає окремому континенту. Зокрема, Європа – синій, Африка – чорний, Америка – червоний, Азія – жовтий, Австралія – зелений, проте з середини ХХ століття (щоб відійти від расової дискримінації) відмовилися від такого розподілу квітів.
Білий колір символізує світ під час гри. Прапор планувалося вперше використати на Іграх 1916 року, але вони не відбулися через війну, тому вперше прапор з'явився на Олімпійських іграх 1920 року у Антверпені (Бельгія). Олімпійський прапор використовується у церемоніях відкриття та закриття кожної Олімпіади.