Un employeur peut vous reprocher de travailler sur d'autres sujets qui n'ont rien à voir avec vos propres activités pendant les heures ouvrées, et le cas échéant il peut vous demander des comptes.
Il est en droit de vous dire que vous avez le droit de travailler à côté, mais pas pendant les heures où vous êtes censés être disponible pour lui.
Si votre client est sur le même secteur d'activité, alors il y aussi un problème de loyauté vis-à-vis de l'employeur qui peut-être problématique.

A l'inverse un client ne peut en aucun cas reprocher à un freelance d'avoir plusieurs clients en même temps, car demander l'exclusivité revient à du salariat déguisé, et c'est interdit par la loi (aucune entreprise ne peut demander à une autre entreprise d'être son client unique...)
Si vous avez un client casse-pieds, il vous dira que les temps morts de votre activité pour lui sont des temps où vous devez rester disponible pour lui.
Il peut stopper votre mission s'il le souhaite par contre s'il écrit à un seul endroit que c'est parce que vous n'êtes pas disponible à 100% pour lui (dans l'hypothèse où vous faites bien votre travail et que vous apportez entière satisfaction) c'est lui qui court un risque.