丈夫与奴隶的私情羞辱并时常伤害到他的妻子，减弱了她对家内奴隶本应具有的管理权威。有时候，忽视这种私情是最容易的解决方式，莫莉·科普显然就是这样做的。其他女性则会抗议、缄默不语，乃至绝望。一些女性的解决之道是和其他家内奴隶结成联盟，或者完全专注于抚养子女，有了奴隶保姆的帮忙，这项工作轻松了不少。许多被背叛的妻子只能将愤怒和沮丧发泄到她们厌恶的黑奴情妇身上。巴西人耳熟能详的一类故事是曾有愤怒的妇人挖出了漂亮的混血奴隶的眼睛，然后将它们做成果冻，鲜血淋漓地端给她的丈夫。没这么有创意的夫人们会令情妇毁容或者残废。巴西历史学家吉尔贝托·弗雷雷如此写道，这些暴行的动机“几乎总是对丈夫移情别恋的嫉妒，即性敌意，女性与女性之间的竞争”。
即使没有因爱生妒，蔗糖世界中的精英阶层女性也可能和精英阶层的男性一样残酷成性。在她们的权威之下，家内奴隶的日常生活变成了彻头彻尾的折磨。西斯尔伍德记录道：“奥尔伍德夫人或称奥尔伍德医生的妻子，又将一个女仆鞭打致死，然后将她埋在了黄油储藏室，据说，这是她杀死的第三个女孩了。”爱德华·朗曾记述有白人女性用滚烫的蜡油浇淋刚遭受鞭打的奴隶，还有女人迫使左手拇指上紧紧夹着拇指夹、手上已血迹斑斑的奴隶做刺绣。在白人糖料种植园主的世界里，很少有证据能证明，姐妹情谊能够克服种族主义，后者在这个社会居于核心地位。
性侵害的影响扩大到了黑人男子，他们因为自己的女同胞被侵犯而感到愤怒。有时，尽管他们在法律和社会层面上无能为力，但他们还是采取了激烈的行动。由于西斯尔伍德的白人酿酒师哈里·麦考密克不停地侵占女奴，男奴愤怒了。为了报复，他们砍倒了一棵树，树倒下来，压死了麦考密克。马修·刘易斯非常清楚性虐待可能会引发暴力，因此他扬言，如果他的白人雇员向任何“一个女奴求爱，而后者众所周知是我的某个黑奴的妻子”，那么他会解雇这名白人雇员。
但是，如果白人一方是有权势的种植园主，或者女奴欢迎他的求爱，那么她的黑人伴侣几乎没有反击的办法。由于这种关系会带来好处，许多女性会选择和白人主子保持亲密关系。为了证明她们的爱和忠诚，也为能留住主人的爱，她们“在主人外出时表现得非常忠诚和有用，对其他人则视而不见”。她们收获了很多好处，包括宽松的工作条件，以及收到的服装、珠宝、香水、朗姆酒或金钱等礼品。如果这种结合生出了孩子，白人父亲可能会给他们提供职业培训，甚至是解除其奴隶身份。情妇也有可能被释放。