Achat immobilier avec mon frère

[kaps]

Bonjour,
Pour des raisons que je n'exposerais pas aujourd'hui (trop long à expliquer) je souhaite acquérir un bien immobilier sans passer par la banque.
Je souhaite acheter ce bien avec mon frère (à part égale) et y habiter. Je paierai toutes les charges de copro et les taxes. En compensation, mon frère (qui n'occuperait pas le logement) toucherait tous les mois un "demi-loyer".....
Le but étant qu'à terme, je devienne propriétaire à 100%....
Donc (pour faire simple on va partir sur une base de 100 000€)...
Je disais donc, la première année il reçoit 50% de loyer
La deuxième année, après lui avoir rendu 10 000€, je ne lui verserai plus que 40% de loyer
La troisième année, après lui avoir versé encore 10 000€, je ne lui verserai plus que 30% de loyer etc....jusqu'à avoir remboursé la totalité de son apport initial.
Ce système pose-t-il des problèmes juridiques et fiscaux?
Y-a-til des démarches particulières à entreprendre?
merci pour vos réponses.
Cordialement.