Trước đây vào giữa thế kì 16, các ngư dân địa phương thờ đạo Shintai để mong chuyện đánh bắt cá tốt đẹp. Người ta nói rằng ngôi đền hiện tại được xây dựng lại bởi Miura Yoshiatsu, chủ nhân của dòng họ Sagami Miura. Thần trong đền là một vị thần tốt, có hình dạng của một nam nhân và có bộ râu trắng. Vịnh Koajiro đã từng là vùng cảng đón tàu và còn là cảng lánh nạn của Misaki, vì thế vị thần bảo vệ an toàn biển cả đã được thờ phụng ở đây. Hòn đá ở phía trước chính điện là một neo đá cũ, và là đầu tàu được dâng tặng riêng cho đền. Nếu vỗ nhẹ nó, nó sẽ phát ra tiếng giống như kim loại, vì vậy nó được gọi là đá âm thanh, hay đá kankan. Rừng lan rộng xung quanh ngôi đền là "rừng Koajiro", là một khu rừng có giá trị, nơi có môi trường tự nhiên phong phú, và rừng còn được gọi là rừng kỳ diệu.