Densité de probabilité.

Il faut faire un dessin pour savoir où intégrer !
Par ex, pour avoir P(X<t), on dessine l'ensemble {(x,y) | x<t} et l'on voit que x peut aller de 0 à t, et y de x à 1. Ca donne une intégrale double que l'on calcule.
Ensuite on a la densité de X en dérivant le résultat obtenu par rapport à t.
Idem pour Y.

ps : on peut ruser pour avoir la densité de Y car (X,Y) a la même loi que (1-Y,1-X). Donc si je ne dis pas de bêtise, si f(t) est la densité de X, celle de Y est f(1-t). [Je ne réfléchis pas trop à ce que j'écris. Peut-être que c'est n'importe quoi.]

> pourquoi pédante ?

Bon, c'est vrai que "densité" aurait suffit, c'est peut-être pas la peine de toujours écrire "par rapport à la mesure de Lebesgue". A moins d'avoir un prof un peu pointilleux. Je pense que c'était surtout une boutade de RAJ.

Pour revenir à la question principale, je comprends pas très bien quand héhé dit "Peut-être faut-il discuter selon $x$ ?? ". C'est exactement la même chose que ce que tu as fait pour la première question: soit $g$ une fonction continue,
\begin{align*}
\mathbb{E}[g(X)]&=\int_D \frac{g(x)}{2\sqrt{xy}}dxdy\\
&=\int_0^1 \frac{g(x)}{2\sqrt{x}}\left(\int_x^1 \frac{dy}{2\sqrt{y}}\right)dx\\
&=\int_0^1 g(x)P(x)dx.
\end{align*}
Je te laisse calculer $P(x)$...

Lucas.