虽然舟山群岛的居民(除舟山岛外)在洪武二十年被明朝军队强行迁走了,但仍有部分居民不顾禁令,偷偷潜回老家他们没有户籍,对明政府来说,属于非法居民,也不能从事正常的生产。他们先是偷偷地与“贡使”的队伍接触，在日本人的教唆下,把 “贡物”偷运到浙东大陆,甚至更远,并把日本人需要的货物采办回来,贩卖给日本“贡使”。这种买卖“获利颇丰”。以后他们就不满足于从日本贡船中获取“二手货”。巨额的利润,与日本便利的交通条件,吸引着他们直接前往日本采购明朝所需的日本货物,同时把中国货偷运至日本。他们发挥擅长的航海技术,参与16世纪初期的海上贸易活动。况且,这些岛屿(除舟山岛外)已基本荒芜,但遗留下来的房屋、道路和水利工程稍加修復,即可利用。
这里离省会杭州的距离比较远，明政府势力鞭长莫及；与大陆距离适中,既可以方便地把货物偷运进(出)大陆,又可以在大陆的官兵如采取军事行动时,有准备应付的时间。当然,到了后来,这些沿海的官兵大都被海商收买了,以致朱纨最后要捣平双屿港时,调动的部队大多是福建的兵马。
据明范表的《玩鹿亭稿》中记载:“浙东自来海上无寇,渔民也遵纪守法,不敢越雷池半步。渔船出洋打鱼樵柴,而不是交易通外。后来,则气势鼎盛,情形有变,冒出一二家胆大的海商,从事海上渔盐的贸易,其经营范围只限福建、广东等近海。他们“潜迫关外,贿求地方官以小船早夜进货,或托乡官说关,祖宗之法尚未破也”。时至嘉靖时期“前项贪利之徒,勾引番船,纷然往来,而海上寇盗遂亦纷然也”,他们“往则载货扬航以市海为名,归则熔金随身贸原舟而返,甚至远赘异类,持献图略,效中行翕侯之为者。”他们大批出海经商,下海通番的规模越扩越大,发展极为迅速。
起初,大多数海商都是独家经营的小商人,“各船各认所主,承揽货物,装载而还,自自买卖,未尝为群”(范表:《玩鹿亭稿》卷5,《海寇议》),后来由于海上竞争,“强弱相凌,自相劫夺”，他们就“因各结，依附一雄强者,以为船头”，形成了“或五隻、或十隻，或十数隻，成群分党,纷泊各港”(同上)的海上贸易集团。这些海上贸易集团,不但雇用本地的舵工、水手。“又哄带日本各岛贫穷倭奴,借其强悍以为护翼”，有的还“纠合富实倭奴,出本附搭买卖”他们既到日本、暹罗、南洋等地做买卖，又“于沿海兼行劫掠”（同上）。
二、舟山海商集团
在明政府厉行海禁，残酷打击海上贸易的情况下，一些海商为了生存和发展，不得不武装起来，组成武装海商集团，以对抗官军的追捕和残杀，这些人，就是所谓的海寇。其实，这些海寇并不同于当时到东方来从事侵略、掠夺的西方海盗，他们大多是从事海外贸易的商人，只因衝破海禁樊笼，触犯了海禁律法，而被视为海盗，其情况恰如嘉靖的主事唐枢所说：“寇与商同是人也，市通则寇转而为商，市禁则商转而为寇；始之禁禁商，后之禁禁寇”（胡宗宪：《筹海图编》卷十一，《经略·叙寇原》）。当然，亦商亦盗是这些海商的本色，他们在纠番诱倭的商贸活动中往往是华夷相纠，彼此间称贷互市，其中货价莫偿或诓骗财物者比比皆是，而民间海商为争夺行商地盘，也往往各结伙党，彼此间兵戎相见，互相残杀者也不乏其人。
这些海商的组成成份比较复杂，他们中有的原是从事对内贸易转为从事对外贸易；有的是受官府欺压，冤抑难伸而下海经商；有的是豪门世家为牟利而参与活动；有的原是功名未就而下海从商；以及“迫于贪酷，苦于役赋，困于饥寒”的小民，“凶彼、逸赋、罢吏、黠僧及衣冠失职、书生不得志、群不逞者”等等（郑晓：与彭草亭都宪，载《明经世文编》卷218）这些海商在以舟山群岛为中心的商贸活动中，逐渐形成了以李光头、许氏兄弟、王直、徐海、毛海峰等为首的海商集团和以双屿、大茅（猫）、沥港、横港、长涂等为中心的海上贸易基地。
1.许氏海商集团
许氏海商集团包括许一(松)、许二(栋)、许三(楠)、许四(梓)四个兄弟,他们是徽州府歙县人。明代徽州府是一个商业资本汇聚之地,与晋商构成重要的商业势力。他们不仅活跃在国内市场,而且还经营海外贸易。俞大猷曾说:“数年之前,有徽州、浙江等处番徒,前至浙江之双屿港等处买卖,逃广东市舶之税,及货尽将去之时,每每肆行劫掠”(俞大猷:《正气堂集》卷7)。对许氏兄弟下海通商的过程,历史上有不同的说法。胡宗宪认为许二是从福建破狱入海,勾引倭奴的。他说:“嘉靖十九年(1540),贼首李光头、许栋引倭聚双屿港为巢。光头者，福人李七；许栋，歙人许二也,皆认罪系福建狱,逸入海,勾引倭奴,结巢于郭巨之双屿”(胡宗宪:《筹海图编》卷5)。而郑舜功《日本一鉴》则说许二、许三先年下海通番是入赘于大宜满刺加,自后许四与兄许一“尝往通之”，嘉靖十九年,许氏四兄弟“潜入大宜满剌加等国诱引佛郎机国夷人,络绎浙海,亦泊双屿、大茅等港,以要大利”(郑舜功:《日本一鉴》卷6)。虽然他们对许氏兄弟来舟山前的活动有不同的说法,但对许氏兄