Le propriétaire (résidant à l'étranger) peut-il récupérer son logement ?

La situation :
Un appartement loué depuis une quinzaine d'années au même locataire.
Le propriétaire (nue-propriété) vit à l'étranger, il vient en France
régulièrement.
L'usufruitier (parent du propriétaire), est le bailleur du logement.

Le propriétaire souhaite pouvoir occuper ce logement (avec l'accord de
l'usufruitier) lors de ses séjours en France (plusieurs fois par an).
Il souhaite donc en faire sa résidence en France lorsqu'il s'y trouve.
Il faut donc donner congé au locataire, ce qu'accepte l'usufruitier.
Cette situation peut-elle entrer dans le cadre juridique du
propriétaire donnant congé pour occuper lui-même (ou par un de ses
enfants) le logement ? Autrement dit, ceci constitue-t-il un motif
légal de congé ?

Merci.

Le propriétaire souhaite pouvoir occuper ce logement (avec l'accord de
l'usufruitier) lors de ses séjours en France (plusieurs fois par an).
Il souhaite donc en faire sa résidence en France lorsqu'il s'y trouve.
Il faut donc donner congé au locataire, ce qu'accepte l'usufruitier.
Cette situation peut-elle entrer dans le cadre juridique du
propriétaire donnant congé pour occuper lui-même (ou par un de ses
enfants) le logement ? Autrement dit, ceci constitue-t-il un motif
légal de congé ?

Uniquement si cela devient sa résidence principale.

Ce qui ne semble pas etre le cas