紋次郎さん、こんにちは。ご挨拶が遅れましてすみません。

柏紋の島津氏は私も存じません。
ただ、淡路ではないですが播磨（どちらも今は兵庫県）には島津氏が鎌倉時代よりいました（薩摩の島津氏の分家筋にあたります）。今の姫路近辺の福井庄の地頭だったようで、戦国時代まで豪族として活躍していましたので、その子孫は現在も広く姫路市、竜野市などに分布していると聞いています。したがってその一族が淡路に移り住んでいた可能性は充分にあります。

淡路の廻船問屋といえば高田屋嘉兵衛が有名ですね。その高田屋嘉兵衛記念館というところが五色町にあるそうなんで、もしかしたらそちらに参考になる資料などがあるかも知れません。