清康熙二十三年，臺灣設一府三縣，雲林地方屬諸羅縣，乾隆二十六年在斗六置斗六門巡檢，光緒十三年臺灣設省並設雲林縣，明治三十五年日本人由於當地抗日事件之激烈乃廢之設斗六廳及至二戰後，民國三十九年調整行政區域恢復雲林縣，據史書記載於一六二二年，即有閩人顏思齊、鄭芝龍等登陸其地，是為中國集體移民登陸臺灣本島墾殖之始。荷蘭時期，笨港為荷蘭海防要塞之一。
臺灣納入清帝國版圖後，漳泉和客家之移民大舉進入雲林地方墾殖，可由現存的廟宇來分類證實之，客家移民信奉三山國王，故在雲林、嘉義一帶有許多三山國王廟，為古時客家移民所創建，至客家人遷移後成為漳泉移民信仰之對象，而漳人則為開漳聖王廟代表。古時泉人分佈在安林西邊沿海，漳人則在東邊平原定居，而客家人則也集聚一方，這些不同的文化團體，時常發生分類械鬥。北港鎮最初為漳人所定居，泉人移入後，漳人便南遷至今日嘉義縣新港鄉。昔日有此一說，北港泉人稱新港漳人為「新港舅」，有女不嫁新港漳人，這種習俗便是彰泉分類械鬥之產物。
清領初期，由於漳泉移民大量由笨港進入，使得當時笨港渡口一帶成為一大聚落，居民大集，通漁鹽、興販外國，熙來攘往，立廟(媽祖廟)於鎮渡，及至乾隆十五年，笨溪(今北港溪)氾濫，河道南移，笨港街市為之劃分為二，於是又有北港、南港之分。
光緒二十年倪贊元所著「雲林縣採訪冊」則說：「北港街，即笨港，因在港之北，故名北港，東西南北共分人街，煙戶七千餘家郊行林立，塵市昆連，金、廈、南澳、安邊、澎湖商船，經常由內地載運布批、洋酒、雜貨、花金等項，來港銷售。轉販石、芝麻、奇糖、白豆出口。又有竹筏為洋商載運樟腦前赴安平，轉載輪船運往香港等處。百貨集，六時成市，貿易之盛，為雲邑冠，俗人呼為小臺灣焉。」
由此可知，當時的笨港為雲嘉等地物，為安平之貨品轉運站。南街在今嘉義縣新港鄉，此兩地為昔日的產品出口港；與臺南的安平已有所經貿往來。