Volgens de legende voeren de Noormannen, na de dood van Karel de Grote in 814, op tal van plaatsen Vlaanderen binnen op hun ‘snekken’ om er te roven en te plunderen. Een van de hoofdmannen was Gelmel, vandaar dat het kasteel van Hoogstraten het Gelmelslot genoemd wordt.

Er wordt beweerd dat Gelmel een van de oudst bekende heersers over Wortel en omgeving was. In opdracht van de Deense koning moest hij de koningsdochter met haar gevolg per schip naar Engeland overbrengen om er te trouwen met de Engelse koning. Tijdens een storm op de Noordzee werd zij echter over boord geslagen en verdronk. Gelmel durfde niet meer terug naar Denemarken en besloot met de hele bemanning op het vasteland te blijven. Langs het Hollands Diep voer hij langs de Mark tot in Wortel. Daar bouwde hij op een hoger gelegen eilandje naast de rivier, een houten burchttoren: het Gelmelslot.

Opvallend is ook dat deze verdwenen middeleeuwse burcht, die stond op het binnenplein van het kasteel van Hoogstraten zoals we het nu kennen, georiënteerd stond naar Wortel.

De eerste eigenaars van het kasteel waren de kasteelheren van Gelmel. De oudste bekende bezitter van het Land van Hoogstraten was Johanna, vrouwe van Hoogstraten – Wortel, (+na 1295) echtgenote van ridder Wenemaar van Gemnich (+1301). Zij droeg nog tijdens haar leven de heerlijkheid over aan Sofia van Gemnich, die waarschijnlijk Johanna’s oudste dochter was. Door haar huwelijk met ridder Willem van Kuyc kwam het Land van Hoogstraten in het bezit van de heren van Kuyc. Omstreeks 1303 werd Jan III van Kuyc heer van Hoogstraten en Wortel.