¿Las facturas de un autónomo tienen que llevar todas la retención del IRPF?

Soy autónomo y presto un servicio de limpieza como conserje a una Comunidad de Propietarios desde hace dos meses. Fui a AEAT y me di de alta como autónomo, declaración censal mod. 036 (con la obligación de presentar trimestralmente mod. 303 IVA y mod. 130 pago fraccionado), además de el alta en la seguridad social. Pues bien, me pregunta es si en las facturas que le hago a la Comunidad de Propietarios (con CIF) todos los meses, ¿debo de practicar la correspondiente retención IRPF o no?, ya que el Administrador de Fincas de dicha Comunidad me ha comentado que no debo de poner IRPF en mis facturas, y quería una segunda opinión de algún experto en la materia.