Agresividad

Hola,
Tengo dos niños uno de 3 años y otro de 7 meses.
El problema que tengo es que el de 3 años, desde que nació su hermanito, esta muy agresivo conmigo, soy la madre, en cuanto le digo que no puede hacer algo, me pega patadas, puñetazos, en fin mucha agresividad.
Antes de nacer el pequeño también teníamos este problema, pero en menor proporción. Esta agresividad solo la manifiesta conmigo, con su padre, en el colegio, se muestra tranquilo.
Yo intento que cuando baño o cuido al pequeñito, el participe conmigo, pero no hace mucho caso a su hermano menor.
Algunas veces le tengo que pegar algunos azotes en el culete, por que no deja de pegarme patadas o puñetazos, y luego me siento fatal.
¿Qué puedo hacer? Es normal esta agresividad que tenie conmigo, ¿por qué si con 3 años hace esto cuando tenga 7 no se?
Un saludo