Begin 1950 ging het na enkele vette jaren duidelijk minder met de vereniging. Bestuur en spelers begrepen elkaar niet altijd, de trainingen werden slechter bezocht, de financiële toestand werd er niet beter op en de resultaten waren navenant. De pas benoemde nieuwe voorzitter,de heer Abel Slippens, trachtte op allerlei manieren de saamhorigheid weer op te voeren. Een van zijn middelen was het beleggen van contactavonden, waarbij hijzelf praktisch altijd aanwezig was. Het mocht niet baten.
Na afloop van het seizoen 1949/1950 vond er een trainerswisseling plaats. Driekske Klaassen, die voor de trainingen met een zware motor uit Eindhoven moest komen en dikwijls zijn vrouw meebracht, had er de voorkeur aan gegeven jeugdtrainer te worden. Frans Tausch werd zijn opvolger.
Op de ledenvergadering van 28 mei 1951 werd kapelaan J. Bluijssen ( later Bisschop van Den Bosch ) geestelijk adviseur van r.k.s.v. Blauw- Geel ‘38.
In het seizoen 1951/1952 werd trainer Frans Tausch vervangen door de heer A. Sleegers afkomstig van de vereniging Helmondia uit Helmond.
Op het einde van het seizoen 1952/1953 degradeerde het eerste elftal weer naar de vierde klasse. Maar de tegenslagen werden nóg groter. In het voorjaar van 1954 kwam een van de beste spelers van het elftal, Tiny van Beekveld, door een verkeersongeval om het leven. Andere spelers van dat “beroemde “ elftal hingen hun voetbalschoenen aan de wilgen en de resultaten werden steeds slechter. Toen volgde het sluitstuk van deze depressie nl. dat tijdens de algemene ledenvergadering op 1 augustus 1955 het bestuur en bloc aftrad. Tijdens deze vergadering werd overigens weer een nieuw bestuur gekozen en dat bestond uit de heren: Jac. van Oers, voorzitter; Th. Willems, secretaris; C. Verbaant, penningmeester; M. Gorris; H. van Weert; C. Cuyten en A. van Schijndel. Deze formatie viel na amper twee jaar zo goed als weer uiteen. Alleen de heren Van Oers en Willems bleven over.
In het seizoen 1953/1954 werd in Veghel een grote aktie gevoerd onder het motto “wie steekt r.k.s.v. Blauw- Geel ‘38 in de kleren “. In drie weken tijds werden door de Veghelse inwoners in totaal 75 shirts geschonken. Daar bovenop besloot de gemeenteraad het presentiegeld van één vergadering, zijnde 75 gulden, aan Blauw Geel over te maken om aan te tonen dat de raadsleden r.k.s.v. Blauw- Geel ‘38 een warm hart toedroegen. In dit seizoen zat de vereniging erg slecht bij kas en daarom werden de trainingen verzorgd door de eigen leden Bart van de Boogaard en Jan van de Vorstenbosch.
In overleg met r.k.s.v. Blauw- Geel ’38 richtte “Veghel Vooruit “ in het voorjaar van 1954 een request aan de gemeenteraad betreffende het onrustbarende tekort aan velden en vroeg ter zake de nodige maatregelen te treffen.
In november 1955 was er een zeer merkwaardig voorval. De trainer van het eerste elftal, de heer Verkouw, stopte er mee omdat hij met een aanvallende spil wilde spelen en de spelers echter met een stopperspil.
De vereniging kreeg op 1 september 1956 van het gemeentebestuur een hulpterrein op het industrieterrein van Veghel. Voor de jeugd werd een juniorencommissie in het leven geroepen. Hiervoor is veel overleg gepleegd met de Eerw. Broeders en zo werd in 1957 Broeder Reinhard hoofd van onze junioren-afdeling.
In de jaren vijftig was er praktisch geen gelegenheid om optimaal te kunnen trainen. Dit ging ten koste van de prestaties. Het tweede elftal degradeerde dan ook in 1957 naar de tweede klasse van de onderafdeling.
In het seizoen 1956/1957 kreeg Blauw Geel een nieuwe trainer in de persoon van Ad van den Berg.
Op 30 april 1957 werd na een onderbreking van enkele jaren weer de wedstrijd “Haven “ tegen “De Straat “ gespeeld. Enkele dagen eerder, nl. op 24 april, werd de Veghelse industriëel, de heer E. van der Lande, de nieuwe beschermheer van r.k.s.v. Blauw- Geel ’38. Hij heeft nadien de vereniging met woord en daad bijgestaan en vooral de jeugdafdeling trok zijn warme belangstelling.
In het seizoen 1956/1957 draaide ook voor de eerste maal de KNVB-toto. De vereniging was er als de kippen bij om ook hier een graantje mee te pikken. De netto-opbrengst was 100 gulden.
Het jaar 1957 is ook op ander gebied belangrijk geweest voor de vereniging. Het gemeentebestuur had nl. de gronden aangekocht voor de aanleg van een sportpark. Het wachten was nu op de goedkeuring van gedeputeerde staten en het was te bezien dat de vereniging binnen niet al te lange tijd van de terrein-misère verlost zou zijn. Helaas is een en ander wel tegengevallen.
Het 20-jarig bestaan werd door r.k.s.v. Blauw- Geel ’38 in de maand juni 1958 op grootse wijze gevierd, vertrouwende dat er in de komende jaren successen zouden komen. En dat gebeurde ook. De huldigingswedstrijd van het eerste elftal werd op zondag 15 juni gespeeld tegen , hoe kan het anders, UDI uit Uden. Het aantal leden bij dit 20-jarig bestaan: 201 senioren en 81 junioren.
In het seizoen 1957/1958 verschenen de eerste reclameborden langs het veld.
Het seizoen 1958/1959 werd voor het eerste elftal een bijzonder seizoen. In een nek aan nek race tussen v.v.Margriet uit Oss, v.v.DSV uit St. Anthonis en r.k.s.v. Blauw- Geel ’38 werd door laatstgenoemde vereniging het kampioenschap in de vierde klasse behaald. In de kampioenswedstrijd werd Juliana uit Mill met maar liefst 9-2 verslagen. De promotiewedstrijden, welke daarna gespeeld moesten worden, hadden een bijzonder teleurstellend resultaat. Geen enkele wedstrijd werd er gewonnen. De tegenstanders waren v.v.Avanti uit Schijndel; v.v.Budel-Schoot uit Budel en v.v.Bladella uit Bladel. v.v.Bladella en v.v.Avanti promoveerden.
Op 15 augustus 1959 wilde de voetbalvereniging SCMH uit Mariaheide ter gelegenheid van de opening van haar terrein een wedstrijd organiseren tussen Blauw Geel 1 en UDI 1. De heer Jan van Lee stelde een wisselbeker beschikbaar en dit gebeuren zou uitgroeien tot een jaarlijkse traditie.
In het seizoen 1959/1960 bleek dat trainer Wilbers niet voldeed en daarover ontstonden zelfs problemen in de spelersbus op weg naar de wedstrijd tegen Ravenstein. Daarop werd door het bestuur besloten in te grijpen en Ad van den Berg werd opnieuw gevraagd het trainerschap op zich te nemen.
Omdat Broeder Reinhard was overgeplaatst, zijn in 1959 de Broeders Clementio en Marcoen met een geheel nieuwe opbouw van de jeugd begonnen. Als bijzonder resultaat van deze werkwijze kan genoemd worden het behalen van het kampioenschap van het district Den Bosch door het A1-elftal in het seizoen 1959 – 1960. Medio 1959 heeft de vereniging de huur opgezegd van het terrein bij Jas van Zutphen. Op dit terrein had Blauw Geel ’38 bijna 22 jaar gespeeld en daarvoor is er ook RKVWV 10 jaar gehuisvest geweest. Elk Blauw Geel- lid voelde zich daar thuis. Het gevolg van deze opzegging was, dat de vereniging naar een ander speelgelegenheid moest uit zien.