Dimension réseau de neurones

Bonjour
J'ai vu le QCM suivant.

Suppose we want to train an MLP to perform a multi-class classification ("cat", "dog", "horse") of $10 x 10$ input images.
The MLP has two hidden layers of 20 units each.
What are the parameters to be trained?
(only one possibility)
Select one:
a. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (100), b_2 of dimension (20), b_3 of dimension (20)
b. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20)$, W_3 of dimension (20,1) and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (1)
c. The matrices W_1 of dimension (100,20), W_2 of dimension (20,20), and the bias b_1 of dimension (20), b_2 of dimension (20)
d. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (3) $\mathfrak{V}$


Et pour moi aucun n'est juste, pour moi c'est la d. mais avec $(20,100)$ et non $(100,20)$ je ne comprends pas mon erreur.

Réponses

  • Bonjour,

    c'est bien la d, et c'est simplement lié à la définition d'une matrice de poids ($W_{i, j}$ relie le neurone $i$ au neurone $j$, donc c'est "inversé" par rapport à l'algèbre linéaire classique dans laquelle le nombre de lignes est la dimension de l'espace d'arrivée et le nombre de colonnes celle de l'espace de départ).
  • Ca m'embête ce genre de notation.
    Je ne sais pas si c'est lié mais je lis aussi
    $$
    g(x W^{[1]} + b),

    $$ avec $g$ une fonction d'activation. Et $W^{[1]}$ la matrice de poids. Mais $xW^{[1]}$ ce n'est pas possible ça oblige $W^{[1]}$ a n'avoir qu'une ligne.
Connectez-vous ou Inscrivez-vous pour répondre.