No tenemos datos suficientes como para afirmar, o suponer, todo esto en este caso concreto.
Los abuelos no son siempre seres de luz, son personas con sus particularidades como los padres pero con más años, que por supuesto pueden ser también dañinas para sus nietos. La diferencia es que la patria potestad la tienen (normalmente) los padres. A veces no está justificado evitar el contacto, pero a veces sí. El juez decide.
Desde ya qué hay gente de todo tipo y eso alcanza a los abuelos. Y para eso, cómo bien dices, habrá un juez que determine si le da lugar a su pedido. Aquí no tenemos elementos para afirmar nada, pero como esto es un foro de opinión, yo me atrevo a opinar lo que expresé a la luz de la demanda por vejaciones contra Nadal y por aquello que dicen que puso a elegir a su mujer entre él y su familia.