1867年日本展開「明治維新」力行西法以富國。在軍事上日本政府以海軍師法英國,陸軍師法國。日本海軍仿效英國海軍之制度後,於艦船人員中創設「海兵隊」。此時之海兵以英語稱為Marine,艦船之駕駛及艦砲之操作由「水夫」(水兵之前身)擔任,但儀式所需之衛兵及野砲隊等,即由海兵擔任。此一「海兵隊」即為爾後日本海軍陸戰隊之濫觴。由於日本在明治初年國內動亂頻繁,時局造就日軍海兵隊之積極活躍,亦為其日後發展奠定其基礎。故自1875至1876年僅僅兩年內,日本海軍在各方面均有進一步之充實發展;日本海軍將海兵隊廢止,原屬於艦船上海兵部之任務,完全改由艦船人員執行,水夫改稱水兵,海兵隊改稱「海軍陸戰隊」,自此日本正式之海軍陸戰隊遂告編成。
陸戰隊主要以任務分組為主,依含艦艇陸戰隊(掛艦名)、特別陸戰隊(特別設置,因應第一次上海事變特別需求)、警備隊(一戰結束之後,國聯託管之德意志帝國南洋諸島殖民地,掛各島名)、根據地隊(亦有特別根據地隊,類似艦艇陸戰隊形式,但含有非戰鬥員)、鎮守府防備隊、要塞港口防備隊、陸上警備隊、海軍防衛隊(冠地名)。
艦艇陸戰隊乃海兵隊概念之延續,為乘組員組成,以便臨時有陸上戰鬥需求時使用,昭和十年(1935年)的聯合艦隊為例,驅逐艦為各艦十員(一個分隊)、巡洋艦各艦四十至八十員(四到八個分隊)、戰艦各艦一百六十員(十六個分隊);以作戰艦隊編成連隊(團)級的連合陸戰隊。
特別陸戰隊是除了艦艇乘員以外,由鎮守府陸上單位人員組成。為了保障艦艇陸戰隊即使有損失,也還能有人員補充,針對長期陸上作戰做設置。在昭和十一年(1936年)發布「特設船艦部隊令」,由這些鎮守府陸戰隊為基礎編成特設鎮守府特別陸戰隊。之所以從臨時編成改為常規編制的原因,是因為第一次上海事變中急迫的陸戰需求而更改。開戰時特別陸戰隊共11個,終戰時含連合特別陸戰隊11個以及54個特別陸戰隊共65個。
警備隊則是用來防禦佔領地、執行治安任務的專科陸上部隊,通常還會有沿岸小型艦艇的水上警備科(水警科)附屬。太平洋戰爭以後多數由特別陸戰隊改編,規模有營級和連級等多樣化。大多由根據地隊之各艦隊下轄。某些場合還會附屬一些艦艇部隊,負責港務管理以及小規模的根據地隊的功能。