宝暦五年（1755）に薩摩藩のお手伝普請による「薩摩堰」が完成したが、その後の出水で用をなさなくなった。そこで、洗堰組合が宝暦8（1758）年、その上流に「大榑川洗堰」を構築した。江戸末期に画かれた大槫川洗堰の鳥瞰図には、二番猿尾の頂上部に祠が画かれている。この祠が水神神社である。

度重なる水禍を鎮めようと祭神に水 波 能 売 命を祀り、86ヵ村の受益村が祭祀を斉行してきた。その後、明治32年12月に木曽川改修工事が終結し、大榑川の閉鎖によって祠を大藪渡船に通ずる坂路上に遷した。その後、堤防のかさ上げ工事があり、祠を治水功労者片野万右衛門の顕彰碑の脇に遷座し、洗堰組合が祭祀を厳修した。そして、昭和初期に現在地に社殿を新築し遷宮祭を斉行した。ついで昭和54年に神域を玉垣で囲み整備した。