Flere sagn er knyttet til Vigersted Kirke, bl.a. sagnet om den lille brune mand, der dukker op, når der er nød på færde. Kun få har set ham, men en gang bragte han kirkens sølvtøj tilbage til kirken efter et tyveri. Nogle mener han lever i Tvillingehøj og er beslægtet med de underjordiske.

Andre mener, han er den smede lærling, der kom for meget sølv i malmen til den ene klokke og blev stukket ned af sin hidsige mester. Mere nøgternt forklarer samme historie om en helligkilde ved kirken:

“Der boede ved Ringsted en nævenyttig mand, som hed Willum. Han støbte en klokke til Vigersted kirke, som havde sådan klang, at den lød fra Vigersted til Valby bakke. Men da han havde smeltet så meget sølv deri, at han derved blev forarmet og kom i stor skyld, forfulgtes han af dem, hvis skyldner han var, flygtede ud på Vigersted Mark og blev der dræbt ved siden af en høj. Da udsprang på samme sted en kilde, hvilken endnu kaldes efter ham St. Willums kilde.”

Kilde: JM. Thiele (udg) Danmarks Folkesagn fra 1843.

Måske er Vigersted Kirke så relativt stor, fordi kirken har været en valfartskirke, netop pga Sankt Vilhelms Kilde, som skal have haft særlig kraft og undergørende virkning. Midt på sommeren, ved Sankt Hans, valfartede man til kilden og til kildemarked, og måske er indtægterne herfra den økonomiske basis for de store ombygninger i senmiddelalderen?

Den ældste del af kirken fra omkring 1150 har kun omfattet en del af det romanske skib. Tilbage af murene står skibets to langmure og lidt af vestgavlen, som nu er væg mellem skib og tårnrum.

I første halvdel af 1400-tallet blev kirken udvidet med kor, sakristi og kirketårn og omkring 1500 blev våbenhuset opført.

Kirken blev oprindeligt indviet til Sankt Nicolaus, den rundhåndede og glade giver, børnenes og de søfarendes beskytter (også kendt som Santa Claus er han forbillede for julemanden).