Pensée sur le polynôme caractéristique

Soient $\K$ un corps, $E$ un $\K$-espace vectoriel de dimension finie $n$ et $u$ un endomorphisme de $E$.

Le polynôme caractéristique de $u$, que je note $C_u$, est égal au polynôme caractéristique de $A$ (qui est égal à $C_A:=\mathrm{det}(XI_n-A)$) où $A$ désigne la matrice de $u$ dans n'importe quelle base $\mathcal B$ de $E$. Cela est légitimé par le fait que deux matrices semblables ont le même polynôme caractéristique.

Jusqu'ici je suis 100% d'accord.

Il y a un truc toutefois qui me chagrine : est-ce qu'écrire $C_u=\mathrm{det}(X\mathrm{Id}_E-u)$ est correct ?

Déjà, le premier problème qui me vient est que contrairement à $XI_n-A$ à qui je sais donner un sens (c'est un élément de $\mathcal M_n(\K[X])$ ou de $\mathcal M_n(\K)[X]$ selon la vision), qu'est-ce que $X\mathrm{Id}_E -u$ ? J'ai envie de dire que c'est un élément de $\mathcal L(E)[X]$ mais contrairement au cas matriciel, si je ne dis pas de connerie, on ne peut pas dire qu'il s'agisse d'un élément de $\mathcal L(E[X])$, $E[X]$ étant une horreur qui n'existe pas :-)

Mais du coup, vu que $X\mathrm{Id}_E-u$ n'est pas un endomorphisme, écrire $\mathrm{det}(X\mathrm{Id}_E-u)$ n'aurait aucun sens ?