Существует предание, что во время боев за Крым, когда Будённый проверял трофейные патроны — бездымные они или нет, — он поднёс к ним папиросу. Порох вспыхнул и опалил один ус, который стал седым. С тех пор Семён Михайлович его подкрашивал. Будённый хотел совсем сбрить усы, но Сталин не дал: «Это, Семён, не твои усы, а народные…»
Любимый конь Будённого по кличке Софист увековечен в памятнике М. И. Кутузову работы скульптора Н. В. Томского, установленном в Москве перед музеем-панорамой «Бородинская битва».
Играл на гармони. Обладая хорошим слухом, часто играл «Барыню» самому Сталину. Остались раритетные записи, где можно услышать баян в руках Будённого, в частности, пластинка «Дуэт баянистов», где партию гармоники немецкого строя исполняет Будённый, а партию баяна — известный ростовский баянист Григорий Зайцев.
Летом 1929 года в Воронеже на улице Плехановской было построено новое кирпичное здание Воронежского цирка на 3000 мест. Цирк получил имя С. М. Будённого.
Георгиевские кресты, полученные во время Первой мировой войны, Будённый хранил и носил на отдельном кителе..
Владел иностранными языками: немецкий, французский, турецкий, английский.
Существовал народный анекдот. Когда Семён Михайлович прочитал "Конармию" И.Э. Бабеля, его спросили: "И как Вам Бабель?" - "Смотря какая бабель", - ответил Будённый и подкрутил свой знаменитый ус.