Действията на Грубер стават все по-недостатъчни за запазването на поста му. Фон Ширах заговорничи срещу него вече и с Ернст Рьом. Рьом иска полунезависимостта на HJ да бъде орязана и тя да мине под по-директен контрол на SA. През април 1931 г. Хитлер се съгласява с вижданията на Рьом. HJ започва да докладва директно на шефа на щаба на SA.

Грубер попада под огромно напрежение. Той трябва да се отчете за нарастването на броя на членовете и за финансовото състояние на HJ. Виждайки добра възможност за домогванията си, фон Ширах започва остро да критикува административните умения на Грубер. Въпреки че последният е компетентен в областта, в която работи, тойне е в състояние да да води политическа борба едновременно с Рьом и фон Ширах, а и те разполагат в по-голяма степен с подкрепата на Хитлер от самия Грубер.

Броят на членовете в HJ е все още сравнително малък. Налице са 900 "Ortsgruppen" или над 18000 (12000 момчета) младежи. В същото време в Австрия има други 150 HJ "Ortsgruppen" с малко над 2000 членове.

В Германия тежките икономически изпитания на Голямата депресия дестабилизират демократическото правителство, подбуждайки към активни антидемократични действия, в които се включват нацистите и комунистите. На 20 март 1930 г. HJ се събират в Берлин на първата си голяма самостоятелна демонстрация. Темата на сбирката е "От отбрана към атака" ("Vom Wiederstand zum Angriff") и на нея вдъхновяващи речи правят гаулайтерът на Берлин Йозеф Гьобелс и водачът на младежкото движение Грубер.

Радикалният тон на речите привлича вниманието на полицията и градските власти, които предприемат енргични мерки срещу младежкото движение. Забраняват пропагандните маршове и попречват на немските ученици да се присъединят към HJ. Наказанията срещу това включват възможност за изгонване от училище и различни глоби. За да заобиколят това, местните Хитлерови групи променят имената си на по-безобидно звучащи като "Приятели на природата" например. Официалните мерки обаче имат слаб ефект и по-скоро правят забранената организация още по-привлекателна за авантюристичните тийнейджъри.

Родителите без успех се опитват да отвлекат вниманието на децата си от HJ. Римо-католическата църква, която също има своя младежка организация, забранява на енориашите си да се включват в нацистките редици. За да задържат при себе си младите католическите групи възприемат някои от методите на HJ като стрелбата с малокалибрена пушка по мишена.

Въпреки оказанта съпротива момчетата на Хитлер продължават маршовете, събиранията и демонстрациите си. Сред политическата им активност се включват мероприятия като провалянето на премиерата на антивоенния филм "Нищо ново на Западния фронт". Във филма може да се види, как учениците ентусиазирано се включват в армията през Първат световна война, само за да се сблъскат скоро с ужасяващата действителност на съвременните оръжя. В някои градове на Германия и във Виена експлозивните HJ с действията си вътре в театрите налагат отлагането на прожекциите. Така филмът е спрян от разпространение.