Atendiendo a lo estrictamente técnico, la respuesta a tu pregunta es que sí, si que se puede hacer.
El órgano de administración de la sociedad puede estar formado por personas que no sean socios, o por un gerente contratado para tal fin. Efectivamente, pasarías a tener el control efectivo de la empresa y por ello el régimen de SS que te correspondería sería el RETA.
Una vez dicho esto, es verdad que tienes que prestar mucha atención al tema de la responsabilidad: desde el momento en que seas tu la administradora, tendrás que fimar todos los documentos en representación de la sociedad, y cualquier responsabilidad que correspondiese al administrador sería tuya. Se podría dar el caso de ser responsable de actos que desconoces simplemente por ser la firmante.
Con ello, creo que lo IMPRESCINDIBLE es que conozcas los motivos por los cuales tu jefe quiere hacer esto. Pueden ser motivos simples y "blancos", como por ejemplo un ahorro de costes en SS. Ahora bien, si la confianza no es total o los motivos no están claros, yo no aceptaría ese cargo.
Si te quedan dudas y te apetece seguir comentándolo te invito a participar en mi página web, me ayudarías a darle un poco de contenido.