하서 선생은 1543년(중종 38년) 연로하신 부모 봉양을 위해 고향 가까운 곳에 내려가 근무하고 싶다고 자청했다. 중종에게 직접 건의한 조광조 선생 사면 복권이 받아들여지지 않자 크게 실망한 채 조정과 멀리 떨어져 후일을 도모하자는 뜻에서 내린 결정이다. 그 결과 겨울 장성과 가까운 지역인 옥과현감玉果縣監(지금의 곡성군 관내)이라는 외직으로 발령이 났다. 선생은 비록 1년 8개월밖에 머물지 않았지만, 이 짧은 기간에 많은 제자를 양성하였고, 곡성 지역 선비들이 더욱 분발하여 학문을 연마하도록 동기를 부여했다. 특히 하서를 만나기 위해 전국에서 찾아오는 선비들과 활발한 교류를 하기도 했다. 곡성 선비들은 150년이 지난 1694년에 하서 선생의 업적을 후대에게 기리기 위해 옥과면 죽림리에 영귀서원 詠歸書院을 세웠다. 이 서원은 1729년에 의병장 유팽로 장군과 신이강 선생을 배향하였고, 1797년과 1848년에 허계 선생과 허소 선생을 추가로 배향하였다. 1868년 대원군의 서원철폐령으로 말미암아 훼철되었다가, 1960년 현재의 위치에 복원되었다. 1965년에는 존재 위백규(魏伯珪) 선생을 봉안하여, 6위를 모시게 되었다.
2025년 영귀서원 춘향제를 참례한 울산김씨 38대손 깁재훈 박사는 제향 봉행 과정을 다음과 같이 전하고 있다. “4월 15일(화) 오전 10시 30분부터 을사년 영귀서원 춘계향사가 곡성 지역 유림들과 존재기념사업회 경산(慶山) 김두석(金斗錫) 회장을 비롯하여 장흥 유림 대표와 존재기념사업회 회원 등 36명이 참석한 가운데 약 1시간 동안에 걸쳐 엄숙하게 봉행되었다.
초헌관 경산 김두석, 아헌관 우송 이영록, 종헌관 아양 이병혁 등으로 제관을 분정한 후, 초헌례, 아헌례, 종헌례, 음복수조, 철변두, 망예 등의 제례순으로 행사를 무사히 마쳤다. 이후, 참례객들은 원효대사를 비롯하여 4명의 고승이 수도하였다는 인근의 구례 사성암을 귀가길에 단체로 둘러보고 해산하였다.
전남 곡성군 겸면 현정리 391에 위치한 영귀서원(詠歸書院)은 조선중기 문신이자 성리학자인 문정공(文正公) 하서(河西) 김인후(金麟厚, 1510~1560) 선생의 학덕을 추모하기 위해 창건된 서원이다. 주벽인 김인후(金麟厚) 선생을 비롯하여, 월파 유팽로(柳彭老), 청파 신이강(辛二剛), 도봉 허계(許繼), 설암 허소(許紹), 존재 위백규(魏伯珪) 6위를 모시며, 매년 음력 3월 18일 향사를 올린다.
존재공의 위패가 영귀서원에 배향된 사연을 알고 보면 실로 놀라움을 금치 못한다. 공께서 옥과현감으로 계실때 백성에게 학문을 권장하고 적조법을 공평하게 시행하였으며 선정을 베푼 것을 기리기 위해 지금까지 향사를 모시고 있다하니, 대학자를 낳은 문중 후손의 한사람으로서 감개가 무량하다 아니할 수 없다. 참고로 존재공의 위패는 영귀서원 외에도, 장흥 다산사와 죽천사, 합천 옥계서원에 배향하고 있다.”
