Passage de SSII --> Freelance en restant chez le client

Bonjour à tous,
après avoir lu beaucoup de sujets ici, j'ai décidé de m'inscrire pour présenter mon propre cas et solliciter vos remarques ou vos avis.

Je suis employé dans en SSII (Y) en tant qu'ingénieur d'études depuis plusieurs années. Je vous passe les détails sur le nombre de crasses que cette SSII a voulu ou pu me faire et sur sa loyauté envers ses salariés.
Bien que facturé très cher chez un client pendant plusieurs années, mes commerciaux successifs ont systématiquement refusé de m'augmenter. Après avoir passé un moment en intercontrat, j'ai démarré une nouvelle mission depuis maintenant plus d'1 an. Client X très satisfait. Mais toujours un refus d'augmentation (rien depuis 4 ans).
J'ai signifié à mon client (X) ma volonté de quitter ma société (Y). Nous avons indiqué qu'il était possible que je reste sur un poste chez lui via une autre société ou en indép.

Après réflexion et vérifications, j'ai posé ma démission.
Ma clause de non concurrence est nulle dans mon contrat actuel car il n'y a aucune contrepartie financière proposée dans le contrat.
Je prépare les démarches pour être indépendant en ce moment.

Je viens de recevoir un recommandé de mon employeur(Y) (qui sait que je reste chez le client (X) ) me signifiant la date de fin de mon préavis et me rappelant que :

"certaines obligations inhérentes à tout contrat de travail restent applicables postérieurement à sa rupture et notamment celles relatives à l'obligation de loyauté, de confidentialité et de non concurrence déloyale.
Or, lors d'un échange avec Mr --------- le --/-- dernier, vous lui avez clairement laissé entendre vouloir intégrer la société X en tant qu'indépendant, et ce grâce aux contacts noués dans le cadre de votre mission actuelle que vous avez effectué pour le compte de la société X (ma SSII actuelle).

De tels agissements constituent manifestement une concurrence déloyale à l'encontre de notre société.

Ainsi, si, postérieurement à votre départ de la société vous veniez à persister dans ce comportement déloyal, ----------- (ma SSII) prendrait toutes les mesures, y compris judiciaires nécessaires à la protection de ses intérêts."

Je m'attendais à des pressions de ma boite, mais pas sur ce terrain là (loyauté).
Pour ma part, mes quelques recherches sur ce site m'indiquent apparemment que :
--> ma clause de non concurrence est nulle,
--> la concurrence que je compte faire est loyale (et non déloyale) car je ne dénigre pas ma société, je n'utilise pas l'intégralité de son fichier client à ses dépends, je n'utilise pas ses méthodes ou produits, je n'utilise pas son image etc...

Je reste néanmoins dubitatif sur ce qu'essaie d'induire l'avocat de ma société Y en précisant que je compte travailler avec le client X grâce aux contacts noués lors de ma mission effectuée pour le compte de ma société Y.

Dois-je répondre à ce recommandé ??? car si je ne dis rien c'est que je cautionne ce qui est dit dans leur recommandé ?

Pensez-vous qu'il y ait un risque réel de poursuite (et victoire pour ma boite) pour concurrence déloyale ?

Merci d'avance.