根据我国《劳动合同法》

第二十二条：劳动者违反服务期约定的，应当按照约定向用人单位支付违约金;

二十三条：对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金;

二十五条：除本法第22条和23条规定的情形外，用人单位不得与劳动者约定由劳动者支付违约金。因此可以说明用人单位向劳动者主张违约金的情形只有《劳动合同法》第22条、23条规定的情形，这两类情形约定的违约金条款是有效的，违反这两条规定，用人单位可以向劳动者主张违约金。

除此之外用人单位要求劳动者支付违约金的情形都是违反劳动合同法的，有些用人单位为了本公司利益会违反《劳动合同法》及相关法律约定或者强迫劳动者签订违约金条款，这样的违约金条款是无效的。