Родился в д. Филатовка Козельского уезда Калужской губернии. В 1914 г. вступил в члены РСДРП(б). За революционную пропаганду в 1914 г. выслан из Мариуполя, но под давлением рабочих ссылка была отменена. В 1917 г. избран первым председателем Мариупольского городского комитета РСДРП (б), председателем военно-революционного исполкома и организатором Красной Гвардии. В конце 1917 г. с наказом Мариупольских рабочих приезжал к В.И. Ленину. В феврале 1918 г. Варганова назначали комиссаром по военным и морским делам в Донбассе. После ранения он приехал в свою родную деревню Филатовку Козельского уезда и его назначили уездным военкомом, а затем вызвали в Калугу, где он, уже как губернский комиссар, возглавил чрезвычайный штаб по борьбе с контрреволюцией.  В 1918–1920 гг. принимал участие в Гражданской войне на различных должностях. В мирное время занимал должность заместителя особо уполномоченного Совета Труда и Обороны по восстановлению Донбасса, работал инженером и строил метро в Москве, Киеве и Ленинграде. В.А. Варганов – один из авторов знаменитых эскалаторов, которые установлены на станциях метро. При строительстве метрополитена было применено более 50-ти технических изобретений В.А. Варганова. В 1966 г. ему было присвоено звание «Почетный гражданин города Козельска». В 1969–1973 гг. вёл изобретательский лекторий со старшеклассниками Подборской средней школы интерната. Похоронен на Новодевичьем кладбище.