¿Cómo puedo tratar con un sobrino muy apegado?

Visito a mi sobrino cada 1 o 2 meses. Cuando era pequeño le hacía morisquetas o cosas chistosas pero nada más. Luego el resto de la familia le encontró gracia y ahora el niño tiene un vínculo muy fuerte conmigo. El tema es que yo no tengo tanta paciencia y siento que es invasivo con mi espacio personal y mi tiempo, si pudiera estar conmigo todo el día lo haría. Yo juego con él pero a veces quiero descansar y se pone triste o muy ansioso de cuando seguiré jugando con él. No digo nada por el resto de mi familia, no quiero que me vean mal. Por otra parte, entiendo que es un niño y temo ser demasiado directo o demasiado suave y que no me haga caso. De alguna forma me gustaría ponerle límites pero tengo lastimarlo. Además otros familiares le alientan mucho el vínculo conmigo y le celebran o le avisan que llegaré, lo que lo exalta.