Trabajos por cuenta propia y ajena (Fiscalidad)

Si además de mi trabajo por cuenta ajena realizo una segunda actividad por cuenta propia, ¿podría deducir los gastos de esta segunda actividad (que presumiblemente los habrá inicialmente) de los ingresos de mi trabajo por cuenta ajena?
¿O sólo los podría deducir de los ingresos de la propia actividad?