烏江湊は、古くは天正17年（1589）に豊臣秀吉が方広寺の大仏殿建立に際して木曽の木材を陸揚げした場所としてその名が挙げられています。また、『濃州徇行記』には「小商いをするもの」もいれば「小百姓は駄賃かせぎをし、渡世の助とせり」などと、街並みのにぎわいが伝えられています。大正時代の初め頃までは花町や旅館があり、湊の船頭や商人、旅人が盛んに往来していました。