Призван в РККА в октябре 1940 года[3]. С началом Великой Отечественной войны  в действующей армии. Служил химинструктором, а затем командиром  огневого взвода 3-й артиллерийской батареи 169-го Краснознамённого  миномётного полка 3-й артиллерийской Житомирской Краснознамённой ордена  Ленина дивизии прорыва РГК. В составе своего подразделения Алексей Смирнов принимал участие в боях на Западном, Брянском, 1-м Украинском и 2-м Белорусском фронтах[3][4]; ходил в разведку и неоднократно отправлялся в тыл врага. В наградном листе от 22 июля 1943 года на медаль «За отвагу»  указано, что он лично уничтожил трёх гитлеровцев автоматным огнём,  будучи в разведке; заменив выбывшего из строя командира миномёта, вёл  интенсивный огонь, благодаря чему рассеял до двух взводов пехоты  противника[5].

Во время прорыва немецкой обороны в районе деревни Онацковцы  4 марта 1944 года Смирнов со своим взводом уничтожил миномётную  батарею, станковый пулемёт и до 30 солдат противника. Отбив Онацковцы,  взвод продвинулся вперёд и 9 марта овладел городом Староконстантинов.  В том бою старший сержант Смирнов со взводом уничтожили 2 станковых  пулемёта, 75-мм орудие и 35 пехотинцев противника. За мужество,  проявленное в этих боях, Смирнов был представлен к ордену Отечественной войны I степени[3], но был награждён менее значимым орденом Красной Звезды[3].

20 июля 1944 года в районе высоты 283.0 противник бросил в атаку  до 40 бойцов. Смирнов бросился в бой с личным оружием, воодушевляя  товарищей, тем самым отбив атаку. В том бою немцы потеряли 17 солдат, а  Смирнов лично взял в плен семь человек. Через неделю, в районе деревни Журавка,  выбирая новые огневые позиции, Смирнов и трое его однополчан  столкнулись с группой противника из 16 человек. Немцы попытались взять  советских солдат в плен, но те дали отпор, уничтожив 9 и взяв в плен  пятерых. За личное мужество в этих боях Смирнов был удостоен ордена Славы III степени[6].

В ходе Висло-Одерской операции  17 января 1945 года батарея Смирнова попала в засаду в районе деревни  Посташевице. Смирнов с тремя красноармейцами атаковал немцев. Алексей  Макарович лично уничтожил троих и взял в плен двоих солдат противника,  открыв путь к дальнейшему продвижению. 22 января 1945 года, во время  форсирования реки Одер,  Смирнов с расчётом переправили на себе миномёт. Закрепившись на левом  берегу, уничтожили две пулемётные точки и до 20 солдат противника. В  результате 36-й гвардейский стрелковый полк сумел удержать и расширить плацдарм в районе деревни Эйхенрид, а Смирнов был награждён орденом Славы II степени[4].

Примечательно, что при своих заслугах Смирнов также руководил в  полку художественной самодеятельностью: только в мае—июле 1944 года  Смирнов организовал 10 концертов перед аудиторией общей численностью в  6500 красноармейцев. Участвуя в смотрах красноармейской художественной  самодеятельности, как в 1943-м, так и в 1944-м годах, самодеятельность  полка, где служил Смирнов, заняла первое место среди частей дивизии.  Алексей Макарович в этот же период представлялся к ордену Красной Звезды, но вместо этого был награждён менее значимой медалью «За боевые заслуги»[7].

Завершить войну в Берлине гвардии старшине Смирнову не удалось: во время одного из боёв он был сильно контужен и после лечения в госпитале был комиссован.