22 Сентября 1935 г. Штаб ркка был переименован в Генеральный штаб Красной Армии. В его руках сосредоточилась непосредственная разработка всех вопросов строительства советских вооруженных сил.

Перестройке подвергся и местный аппарат: при исполкомах Советов были созданы военкоматы. Они подчинялись командующему округом или армией и в то же время выполняли функции военных отделов исполкомов Советов.

Единый Наркомат обороны СССР существовал до 1937 г. В 1937 г. в связи с ростом военно-морского флота и необходимостью усилить его боевую мощь был образован Наркомат военно-морского флота СССР. 27 апреля 1937 г. в целях координации всех мероприятий по вопросам обороны страны по постановлению ЦК ВКП(б) при СНК СССР был создан Комитет обороны СССР, одновременно упразднялся СТО СССР.

В годы Великой Отечественной войны оборонная отрасль претерпевает ряд изменений, создаются новые специальные ведомства.

23 июня ЦК КПСС и СНК СССР принимают решение о создании Ставки верховного главнокомандования Вооруженных сил СССР. В нее вошли нарком обороны С.К.Тимошенко, начальник Генштаба Г.К. Жуков, нарком военно-морского флота Н.Кузнецов, И.Сталин, В.Молотов, К.Ворошилов, С.Буденный. Но управлять фронтами из Ставки было трудно. Учитывая это, ГКО 10 июля 1941 г. постановил образовать три Главных командования во главе с главнокомандующими по направлениям: северо-западное (К.Ворошилов), западное (С.Тимошенко), юго-западное (С.Буденный). Ставка главного командования была преобразована в Ставку Верховного Командования, а 8 августа — в Ставку Верховного Главнокомандования. Но опыт создания главных командований себя не оправдал, они оказались промежуточным звеном между Ставкой и фронтами и в августе-сентябре 1941 г. были упразднены.

Ставка являлась высшим органом стратегического руководства, ее рабочим органом был Генеральный штаб. Органом высшего оперативного управления во время войны являлся фронт. Во главе фронта стоял Военный Совет, которому были подчинены Штаб, отделы и управления, военный трибунал и военная прокуратура. Военные Советы создавались во всех видах вооруженных сил, в военных округах, группах войск, армиях, флотах, флотилиях. Они рассматривали и решали все вопросы деятельности вида войск, армии и др.

1 августа 1941 г. были образованы Главные управления тыла Красной Армии. На них возлагались обязанности по организации тыла, подвозу материальных средств, руководство транспортной, санитарной, ветеринарной службами.

Для объединения руководства партизанской борьбой и координации ее с действиями Красной Армии в мае 1942 г. по постановлению ГКО СССР при Ставке Верховного Главнокомандования был создан Центральный штаб партизанского движения. Его начальником был назначен Первый секретарь ЦК КПБ П.К.Понамаренко. В сентябре 1942 г. в пяти республиках были созданы республиканские штабы партизанского движения — Украинский, Белорусский, Эстонский, Латвийский, Литовский. Они координировали деятельность партизанских бригад и соединений, помогали партизанам в обеспечении их оружием, боеприпасами, медикаментами, средствами связи.

В 1944 г. произошло некоторое расширение прав республик в области управления вооруженными силами, и Наркомат обороны СССР был преобразован из общесоюзного в союзно-республиканский. Республики получили право иметь свои войсковые формирования и создавать республиканские наркоматы обороны, но ни одна республика этим правом не воспользовалась.

С окончанием войны войсковые формирования фронтов, Ставка и все полевые органы были упразднены. В июле 1945 г. был принят закон о демобилизации личного состава Советской Армии.

25 февраля 1946 г. Наркомат обороны СССР был преобразован в Наркомат вооруженных сил, а Наркомат военно-морского флота упразднен. Теперь руководство всеми вооруженными силами сосредоточилось в одном ведомстве. Однако в феврале 1950 г. из Министерства вооруженных сил были вновь выделены военно-морские силы и образовано общесоюзное Военно-морское министерство СССР, а Министерство вооруженных сил переименовано в Военное министерство СССР. Общее руководство ими осуществлял Высший военный совет при СМ СССР.

В 1953 г. общая реорганизация министерств затронула и эту область: два самостоятельных ведомства объединились в Министерство обороны СССР (союзно-республиканское, с 1977 г. — общесоюзное). Организация управления всеми вооруженными силами страны была строго централизована. Центральным органом управления являлось Министерство обороны СССР. МО СССР осуществляло свою компетенцию на всей территории СССР, а также в отношении советских войск, находившихся за рубежом, согласно международным договорам и соглашениям. Генеральный штаб Вооруженных Сил СССР — высший орган военного управления, осуществлявший руководство работой всех центральных и местных военных органов, координацию деятельности главных штабов видов вооруженных сил.

Большое значение для укрепления вооруженных сил имел принятый в 1967 г. Закон СССР о всеобщей воинской обязанности, который определил порядок прохождения воинской службы, закрепил общую организацию и состав вооруженных сил. Советская Армия делилась на виды вооруженных сил: Ракетные войска стратегического назначения, Сухопутные войска в составе мотострелковых и танковых войск, артиллерии, ракетных войск оперативно-тактического назначения; Войска противовоздушной обороны в составе зенитных ракетных войск, истребительной авиации и др.; Военно-Воздушные Силы, состоявшие из авиации истребительной, истребительно-бомбардировочной, разведывательной, санитарной, связи; Военно-Морской флот включал подводные лодки, надводные корабли различных классов, авиацию ВМФ, морскую пехоту и т.п.; Специальные войска (инженерные, химические, связи, автомобильные, дорожные, трубопроводные).

Указом Президиума Верховного Совета СССР 21 марта 1989 г. пограничные, внутренние и железнодорожные войска были выведены из состава Вооруженных сил СССР. Пограничные войска подчинялись КГБ СССР. Управление внутренними войсками осуществляло МВД СССР.