Призван в РККА в октябре 1940 года[3]. С началом Великой Отечественной войны в действующей армии. Служил химинструктором, а затем командиром огневого взвода 3-й артиллерийской батареи 169-го Краснознамённого миномётного полка 3-й артиллерийской Житомирской Краснознамённой ордена Ленина дивизии прорыва РГК. В составе своего подразделения Алексей Смирнов принимал участие в боях на Западном, Брянском, 1-м Украинском и 2-м Белорусском фронтах[3][4]; ходил в разведку и неоднократно отправлялся в тыл врага. В наградном листе от 22 июля 1943 года на медаль «За отвагу» указано, что он лично уничтожил трёх гитлеровцев автоматным огнём, будучи в разведке; заменив выбывшего из строя командира миномёта, вёл интенсивный огонь, благодаря чему рассеял до двух взводов пехоты противника[5].

Во время прорыва немецкой обороны в районе деревни Онацковцы 4 марта 1944 года Смирнов со своим взводом уничтожил миномётную батарею, станковый пулемёт и до 30 солдат противника. Отбив Онацковцы, взвод продвинулся вперёд и 9 марта овладел городом Староконстантинов. В том бою старший сержант Смирнов со взводом уничтожили 2 станковых пулемёта, 75-мм орудие и 35 пехотинцев противника. За мужество, проявленное в этих боях, Смирнов был представлен к ордену Отечественной войны I степени[3], но был награждён менее значимым орденом Красной Звезды[3].

20 июля 1944 года в районе высоты 283.0 противник бросил в атаку до 40 бойцов. Смирнов бросился в бой с личным оружием, воодушевляя товарищей, тем самым отбив атаку. В том бою немцы потеряли 17 солдат, а Смирнов лично взял в плен семь человек. Через неделю, в районе деревни Журавка, выбирая новые огневые позиции, Смирнов и трое его однополчан столкнулись с группой противника из 16 человек. Немцы попытались взять советских солдат в плен, но те дали отпор, уничтожив 9 и взяв в плен пятерых. За личное мужество в этих боях Смирнов был удостоен ордена Славы III степени[6].

В ходе Висло-Одерской операции 17 января 1945 года батарея Смирнова попала в засаду в районе деревни Посташевице. Смирнов с тремя красноармейцами атаковал немцев. Алексей Макарович лично уничтожил троих и взял в плен двоих солдат противника, открыв путь к дальнейшему продвижению. 22 января 1945 года, во время форсирования реки Одер, Смирнов с расчётом переправили на себе миномёт. Закрепившись на левом берегу, уничтожили две пулемётные точки и до 20 солдат противника. В результате 36-й гвардейский стрелковый полк сумел удержать и расширить плацдарм в районе деревни Эйхенрид, а Смирнов был награждён орденом Славы II степени[4].

Примечательно, что при своих заслугах Смирнов также руководил в полку художественной самодеятельностью: только в мае—июле 1944 года Смирнов организовал 10 концертов перед аудиторией общей численностью в 6500 красноармейцев. Участвуя в смотрах красноармейской художественной самодеятельности, как в 1943-м, так и в 1944-м годах, самодеятельность полка, где служил Смирнов, заняла первое место среди частей дивизии. Алексей Макарович в этот же период представлялся к ордену Красной Звезды, но вместо этого был награждён менее значимой медалью «За боевые заслуги»[7].

Завершить войну в Берлине гвардии старшине Смирнову не удалось: во время одного из боёв он был сильно контужен и после лечения в госпитале был комиссован.