“玄洋社”大约是最早在中国进行秘密间谍活动的组织，其“实绩”之一，是1884年在上海昆山路建起的东洋学馆。1886年，甲午战争前日本在华最庞大的间谍机构乐善堂在汉口成立。乐善堂以经营眼药水、书籍、杂货作为掩护，逐步将触角伸向中国各地，相继在北京、长沙、重庆、天津、福州等地建立了众多分支机构，组成了一个遍布中国主要城市的间谍网，并把触角伸展到中国的广大农村。这个间谍网对中国风土气候、人情风俗、农工商业、金融、运输、交通等内容进行精心调查并作好详细记录。日本在华另一个重要间谍机构是日清贸易研究所，设在上海英租界内，名为促进清朝和日本的贸易往来，实则是一个以培养“中日贸易人才”为名的间谍训练机构。
这些间谍机构组织严密，都有着合法的外衣，名义上打着经商或贸易的幌子，实则培养日本间谍。他们有的以外交官、商人、医生、学生等合法身份作掩护，有的剃发改装冒充中国人，四处搜集情报，为发动战争作了充分的准备。
