柑仔園位於本社區東北側的安農溪畔，水源充足、產業豐富，是早期人口聚集地之一，原本此地並無任何廟宇，而是一位農夫林阿樹先生在耕作農田時，發現一顆神似土地公的石頭，把石頭帶回家並興起奉供的念頭，與附近的居民研商之後，展開建廟供奉的事宜，合力完成之後，把石頭請入拈香祭拜，從此柑仔園有了自己的土地廟。
因誠心敬奉而神蹟不斷，真的是「有拜有保庇」，信徒也多了起來，歷經多次擴建，已有不小的規模，或許外觀跟一般的土地公廟沒什麼兩樣，但是多了一份石頭傳奇。但這傳奇中的缺憾是原本被供奉的石頭神像，在數年前被不肖之人盜走，已不知流落何方。
