1938年记者采访王灿芝时，问道:“令堂就义的时候，黄太太年纪还很小吧?脑筋里还能有一点印象不?”“一点儿影子都没有。”(引自逸霄:《秋瑾女儿王灿芝女士访问记》，载1938年6月5日《上海妇女》1卷4期)
虽然王灿芝对母亲没留下什么印象，可是任侠尚义，救人之急仍千金不吝，一如其母鉴湖女侠——秋瑾之风。
王灿芝在京时，由于谢家有许多子女，没有什么功夫来照顾王灿芝。据王灿芝写的一篇《我的家庭和生活史略》(载1938年6月5日《上海妇女》 1卷4期)里说:“我就衣裳褴褛，头发生虱，吃饭也有一顿无一顿的，以致饿得骨瘦神疲，满身疾病。她家中也就很讨厌我。”王灿芝的父亲是湘潭的大户人家，祖父是曾国藩的表兄弟，可是祖母重男轻女，对孙子沅德十分宠爱，对孙女则非打即骂，将对叛逆媳妇秋瑾之怨迁怒于不满7岁的小灿芝身上，开口闭口就骂道:“ 那样的娘，生得出好东西，一点儿大就不听话，将来长大了，还不是跟她娘一样，胆敢做出那些无法无天的事来!”特别是在祖父和父亲去世后，祖母对她的虐待更甚。
王灿芝的童年是在没有母爱的苦难中度过的，这成就了她倔强的个性，并效其母，拜师学习武艺。每天上午要练两个小时。15岁背着祖母，拜“王大老倌”为师学习武艺，立志要找谋害母亲的刽子手报仇。这位“王大老倌”是家中的仆役，曾当过兵。后来王灿芝听说有一位姓曾的，精于武术，就托人捎口信，准备跟他学习。不料，学校得知后，说曾某是个淫棍，并将此事告诉王家，结果王灿芝没能学成。
王灿芝曾对记者说:“我学拳，倒也并不是为身体。我从小就羡慕侠客那一流人物。我觉得学精了武艺，专为人间抱不平，把那般贪污横暴的人杀一个干净，这是一件多么痛快的事!因此，有一个时期，我曾自题一个号叫‘小侠’。”
曾国藩的重孙女曾宝荪从英国留学回国后，在湘潭办了一所艺芳女中学，那是为了纪念她的曾祖母，曾祖母号艺芳老人。因王灿芝从小与曾家订有“娃娃亲”，所以她能到那所学校去读书。曾宝荪是个留学生，对王灿芝常常进行管束，这让王灿芝非常不舒服，憋了一肚子气，心想到时候，倒要叫你们看看，我是否会嫁给你们曾家?转眼到了王灿芝中学毕业那一年，乘着曾家忙着办喜事的时候，她偷偷地离开湘潭，辗转到了上海。
