En kjepphest er egentlig en konkret sak - et leketøy som består av en kjepp med et (leke)hestehode på. Så kunne man leke at man var cowboy eller indianer...
I overført betydning betyr ordet en mening eller en idé man brenner for, som man "rir". Idag brukes ordet i litt nedsettende betydning.