Multa puesta por un guardia civil de un pueblo.

Le comento lo sucedido:
Yo iba conduciendo por el centro de un pueblo, por su vía principal, que está regulada por semáforos, y me eché a un lado de la calzada, para hablar por teléfono, justo a la altura de un semáforo, y paralelo a los coches que fueron parando en dicho semáforo según iban llegando. Donde yo paré no existe prohibición de aparcar, y había más coches aparcados.
Cuando terminé de hablar con el móvil, y el semáforo se abrió, inicié mi marcha, y a unos 500 o 600 metros, tuve que parar en otro semáforo cerrado. Es entonces cuando se para a mi altura un agente de la guardia civil de dicho pueblo, que venía en una moto Vespa, y me hace parar unos metros más adelante para denunciarme, porque dice que me vio hablando con el móvil mientras conducía. Entonces la duda que yo tengo es la siguiente:
Puede ser que yo me llevara el móvil a la oreja un instante antes de parar, cosa que no recuerdo, sinceramente, y que el agente viniera en sentido contrario y me viera en ese instante, porque yo a él no lo vi en ningún momento, o puede ser que el agente me viera parado junto a los demás coches del semáforo, y como iba en moto no apreciara que yo me encontraba fuera del carril de circulación.
El caso es que, ante mis dudas sobre mis acciones, porque fue unos metros atrás, el agente me puso la denuncia. Por todo ésto, que espero haber explicado lo mejor posible, mi pregunta es que si realizo un pliego de descargos con este testimonio tendré éxito o no (la denuncia con el descuento son 100 euros). Algunos amigos me han dicho que como me ha multado un guardia civil de pueblo, que la notificación ni llega por culpa de la administración. ¿Qué hago?