1830年前后，黑奴贸易近乎绝迹，代之而起的是华工和印度劳工的崛起。华工和印度劳工一般是单身前往，在其落脚的地方，青壮年男性高度聚集，男女比例严重失调。艰辛枯燥的打工生活，需要找到解决生理欲望的“宣泄口”，大量华工和印度劳工的移住，形成都市社会，这就为娼妓的存在和发展提供了广阔的市场。正因为如此，“南洋姐”向世界各地的扩张，基本上与华工和印度劳工活跃的地区相重叠。另一方面，在作为管理者的欧洲殖民者看来，日本娼妓的存在，是一种“软性”的润滑剂，可以调剂劳工枯燥、单调的生活，让他们安心劳作。为此，在相当长的时期内，他们对日本娼妓的进驻，采取的是默许甚至是欢迎、支持的态度。当时日本的媒体也曾将“世界劳动国”的中国和“世界卖淫国”的日本“有机”地摆放在一起，阐述中日两国不浅的“因缘”关系。
“南洋姐”与长崎的特殊背景有关。17世纪中叶，幕府确立了严格的闭关锁国政策，但仍然保留了一个对外的窗口——长崎港。从江户时代中期起，许多天草、岛原地区的女性外出打工，目的地便是长崎。在那里，中国船和荷兰船进行着贸易活动。由此，在长崎出现了面向外国男性卖淫的“游女”群落。1642年，长崎将分散各处的倾城屋集中于一地，形成规模庞大的丸山游廓。1692年丸山游廓容纳了1443名“游女”，成为江户时代颇具代表性的花街。并且，长崎专门为中国人、荷兰人设置了外国人居留地，允许“丸山游女”有条件地出入。服务中国人的“游女”被称为“唐人行”、“唐馆行”、“馆内行”等，而出入荷兰馆的“游女”则被称为“出岛行”、“兰馆行”等。这表明，长崎一带面向外国人的卖淫活动是有历史渊源的，以外国人为最优先服务对象的性雇佣关系，在“丸山游女”那里就已确立基本形态。
