Откуда взялось слово «рогоносец»?

Почему мужчину, которому жена изменяет, называют рогоносцем? Откуда взялось такое «прозвище»? И почему в обратной ситуации не называют женщину рогоноской?