Après quelques tests et lecture de Knuth, les deux exemples que j'ai donnés avec \reallywidetilde peuvent étirer le symbole à volonté, mais pas les autres. Sauf erreur, il n'y a qu'un nombre fini de tailles possibles pour le \widetilde tout court (ou pour n'importe quel accent implémenté directement avec la primitive \mathaccent de TeX), même lorsqu'on utilise le package unicode-math et des polices OpenType. Ce nombre de tailles disponibles peut dépendre de l'accent et il est à la discrétion de l'auteur de la police mathématique qui le contient[1].
À noter aussi : l'exemple avec \usepackage{fourier} doit impérativement être écrit avec un 'f' minuscule, mais le logiciel du forum met tout seul une majuscule (si je fais « modifier le message », il y a bien un 'f' minuscule, donc je ne peux même pas corriger le problème !). Cela doit compiler sous Windows car les systèmes de fichiers de cet OS ignorent la casse en lecture, mais c'est une erreur et ne compilera pas sous Linux.
[1] TeXbook p. 443 au sujet de \mathaccent : “If the accent character has a successor in its font whose width is $\leqslant u$, change it to the successor and repeat this sentence.” Pour ce qu'est un successor, voir 'charlist' dans le Metafont book p. 317. En gros, lorsqu'on prépare une police mathématique pour TeX, on doit produire un fichier .tfm. Dans celui-ci, il est possible d'associer une liste $L$ de glyphes à tel ou tel caractère. Lorsque le caractère en question est utilisé comme accent via la primitive \mathaccent, le glyphe choisi est celui de plus grand indice dans $L$ dont la largeur n'excède pas la largeur de ce qui est accentué.
Note : c'est par un mécanisme très similaire que sont définies les différentes portions d'un délimiteur extensible comme \left( ou \left\{ (il y a un glyphe pour la partie haute, un pour la partie basse, un pour celle du milieu et un pour la partie répétable entre $0$ et $n\in \N$ fois — le seul qui n'est pas optionnel).
Réponses
Je crois que dans certaines polices, le \widetilde s'étire, dans d'autres on peut bidouiller. Voir ici.
Ça ne répond pas à la question, mais tu peux aussi contourner le problème en faisant $$\overbrace{[X-p(x)] \cup p(y)]}^\circ.$$
\overbrace{[X-p(x)] \cup p(y)]}^\circÀ noter aussi : l'exemple avec \usepackage{fourier} doit impérativement être écrit avec un 'f' minuscule, mais le logiciel du forum met tout seul une majuscule (si je fais « modifier le message », il y a bien un 'f' minuscule, donc je ne peux même pas corriger le problème !). Cela doit compiler sous Windows car les systèmes de fichiers de cet OS ignorent la casse en lecture, mais c'est une erreur et ne compilera pas sous Linux.
[1] TeXbook p. 443 au sujet de \mathaccent : “If the accent character has a successor in its font whose width is $\leqslant u$, change it to the successor and repeat this sentence.” Pour ce qu'est un successor, voir 'charlist' dans le Metafont book p. 317. En gros, lorsqu'on prépare une police mathématique pour TeX, on doit produire un fichier .tfm. Dans celui-ci, il est possible d'associer une liste $L$ de glyphes à tel ou tel caractère. Lorsque le caractère en question est utilisé comme accent via la primitive \mathaccent, le glyphe choisi est celui de plus grand indice dans $L$ dont la largeur n'excède pas la largeur de ce qui est accentué.
Note : c'est par un mécanisme très similaire que sont définies les différentes portions d'un délimiteur extensible comme \left( ou \left\{ (il y a un glyphe pour la partie haute, un pour la partie basse, un pour celle du milieu et un pour la partie répétable entre $0$ et $n\in \N$ fois — le seul qui n'est pas optionnel).
@brian : merci pour toutes ces infos.