威海卫沦陷后，汪伪政权于1938年12月在刘公岛设立海军华北要港司令部，下辖伪海军威海卫基地队司令部、5个派遣队、1个练兵营和舰艇部队，另有30余人的日军辅导部。练兵营于1941年开始招募新兵，至1944年6月，共训练了七期，计1200余人。汪伪海军招兵时，采取种种欺骗手段，谎称新兵入营后能学到航海、枪炮、轮机等技术，食宿免费、发给津贴费及服装和学习用品等等，致使许多青年不了解真相，应招入伍。当新兵进驻刘公岛后，吃不饱、穿不暖，除了紧张的训练外还要做苦役，遭受日军教官的随意鞭笞和凌辱。结业后，绝大部分被分配在舰艇和派遣队，仍然在日军和伪军官的凌辱下生活,练兵不堪凌辱，反抗情绪愈来愈大。逐渐由背后诅咒、怠工等消极反抗形式变为政治、思想上的觉悟。一些下级军官开始在练兵中灌输“中国人要有民族气节”、“要有汉家风气”、“国家兴旺匹夫有责”的爱国思想和民族自尊心。练兵们还经常传唱岳飞的《满江红》及《松花江上》等歌曲，来激发抗战觉悟，为日后的暴动杀敌打下坚实的思想基础。1944年7月3日，伪华北要港司令鲍一民（中将）在刘公岛龙王庙搞唱戏求雨活动时，军官家属漫骂“臭当兵的”，练兵们受到辱骂，激起共愤，都想早日冲出岛去。6日晚，练兵队区队长郑道济、班长连城和毕昆山开始密议杀敌起义大事，并模仿三国刘、关、张桃园三结义，结成了“三义团”作为起义的核心组织，推举郑道济为主要领导人。之后，三人分头联络，扩大起义组织，形成了一支骨干力量。10月初，威海卫日本海军陆战队一个小队突然进驻刘公岛，对练兵营实施巡查，日军虽没有采取特别行动而撤走，这一事件却引起郑道济等人的警惕。10月8日，毕昆山在龙须岛派遣队发展的几个成员因密谋携枪投奔八路军而被捕，押回刘公岛审讯。郑道济等人一面设法让被捕人员串供对付敌人的刑讯，一方面加紧了起义准备。其间正值胶东人民抗日武装不断取得重大胜利，日本侵略军惊惶失措之际，更加坚定了练兵们武装起义的决心。郑道济等人认为起义时机已经成熟，决定11月5日（星期天）发动起义。

11月5日下午1时，郑道济等人在练兵营兵舍集合，砸开武器库，宣布举行起义。随后起义的练兵编成三个突击队，分头行动。以毕昆山为首的第一突击队攻占日军辅导部，当场击毙1名值班的日军，起义队员缴获了十几支手枪和2挺机枪。随后起义队员切断电话线和海底电缆，断绝了刘公岛与威海卫的联系。以连城为首的第二突击队负责攻占基地队司令部，击毙值班伪军官。基地队其他伪军群起响应，参加了起义队伍。郑道济率领的第三突击队负责攻占西炮台派遣队。得手后，迅速回到练兵营，组织实施第二步计划。毕昆山等负责控制停靠在码头的“同春号”运输舰，其他人负责攻占东疃、东泓、旗顶山、西疃4个派遣队。由于各处均有事先联络好的起义骨干，反动军官又出岛休假，因此，起义队伍所到之处，士兵纷纷响应，“同春号”运输舰、各派遣队和海员养成所都很顺利地被起义队员掌握。从宣布起义到占领全岛，前后不到2个小时。起义成功后，郑道济、连城等又在铁码头设下埋伏，下午5时半，聚歼返岛的日军辅导员和伪反动军官。刘公岛起义共击毙日军官兵17人，伪军官上校1人，中校2人，少校2人，尉官及反动伪军10多人，缴获大批武器弹药及四艘舰艇。11月6日凌晨，起义人员和家属600多人编成8个队，乘坐4艘舰艇驶离威海港，因遇风浪，被迫在双岛港西海岸登陆。日军得知消息便从青岛派来飞机轰炸，起义部队隐蔽于树林。为摆脱敌机的再次轰炸，部队连夜向牟平方向行进，到达牟平双林前村时与文西独立营相遇，经过谈判，郑道济等同意参加八路军。随后由文西独立营护送开赴文登铺集，受到东海军分区领导和群众热情欢迎。

龙须岛驻有伪海军一个派遣队，荣成县党的地下工作者张杰、程建贵等通过各种渠道对伪军做了大量的工作，发展了一些内线关系。1944年10月，有9人携枪投奔八路军。丛树生调任派遣队队长后，张杰等人通过关系多次与其接触，最终使他下定了起义的决心。11月10日，丛树生在张杰的帮助和抗日武装的接应下，逮捕了监视他们的3名日军，率领67人反正，开进抗日根据地。刘公岛伪海军起义影响巨大，给汪伪政权和侵华日军以沉重打击。当时新华社胶东支社、胶东《大众报》、延安《解放日报》都发表了消息和社论，指出“大股伪海军反正在华北此尚属第一次”，这是“一大壮举“。美国等同盟国也向全世界广播了这一壮举。

对于刘公岛伪海军起义，八路军各级领导非常重视。中共山东分局书记、山东军区司令员兼政委罗荣恒，副政委黎玉，政治部主任肖华联名发电报告中央军委和八路军总部。根据中央指示，罗荣恒等对胶东军区作出了欢迎该部杀敌起义、保留海军人才、 建立海军支队等六条具体指示。11月22日，胶东军区将刘公岛、龙须岛这两支起义队伍编为“山东胶东军区海军支队”。这是八路军第一次以“海军”命名的部队。支队下辖四个中队，郑道济为上校支队长，胶东军区政治部副主任欧阳文兼任政治委员，王子衡任副支队长，李伟任政治处主任。为加强这支队伍，胶东军区派政工干部和战斗骨干100多人，从胶东抗日根据地各中学选调了150多名中学生，编入了这支部队。同时在各中队增设政委，建立了党、团支部，加强了政治工作。经过冬季大练兵和系统的政治教育，提高了海军支队的政治素质和军事素质，半年后参加了讨伐赵保原的战役和即墨战斗，圆满完成了战斗任务力。

1945年9月中旬，海军支队在莱西补充兵员，扩编为两个大队七个中队，共一千多人。郑道济任支队长，田松任副支队长，李伟任副政委。同年10月21日，海军支队奉命开赴东北战场，27日到达庄河，根据辽东军区司令员兼政委肖华的指示，胶东海军支队改番号为“东北人民自卫军辽东军区第三纵队第二支队”（简称二支队）。原支队长郑道济调任三纵队副司令员，政治委员欧阳文另有任用，田松任副支队长，李伟任副政委。11月7日，二支队向北满开进。一路上解放城镇，歼灭土匪，历经大小战斗百余次，歼匪三千余人，击溃土匪五千余人，打出了军威，受到东北各级领导和群众的称赞和敬仰。评价二支队“胶东开花，在东北结果”，“能打仗，听指挥，讲团结，守纪律，是名副其实的老八路”。二支队指战员英勇顽强，不怕牺牲，涌现出了许多英雄模范人物，《林海雪原》中的杨子荣（原名杨宗贵）就是其中的一员。二支队在战斗中不断发展壮大，由渡海时的1个团1千余人发展到5个团5千余人。1947年2月以后，这支部队分别编入东北野战军三十八军、四十二军、独立新八师、炮兵纵队、铁道纵队，先后参加了辽沈、平津、渡江，解放大西南等重大战役，为解放战争的胜利做出了重大贡献。

随着解放战争的节节胜利，中共中央1949年1日8日作出组建一支人民海军作战部队的决定。4月23日华东军区海军成立，张爱萍任司令员。原留在胶东的海军教导队（后发展到500余人），调入华东军区海军。1950年4月14日，中国人民海军成立，肖劲光任司令员。原刘公岛、龙须岛起义人员170余人参加人民海军建设，成为人民海军初建时期的一支骨干力量。不少人成为人民海军第一批舰长、艇长，还有许多人在机关院校担任领导工作，为新中国人民海军的建设做出了重要贡献。