Чарлз Айвз — сын военного капельмейстера Джорджа Айвза, который стал его первым учителем музыки.
На творчество Айвза сильно повлияла народная музыка, которую он слушал в своем сельском провинциальном детстве — народные песни, духовные и религиозные гимны.
Работал в различных страховых компаниях, открыл собственный бизнес, ввёл ряд новшеств в страховании недвижимости.
Добился значительного успеха в страховом деле, что позволило ему содержать семью, занимаясь музыкой как хобби.
Айвза по-настоящему признали только после смерти, когда его объявили одним из наиболее значительных американских композиторов.