Dimension réseau de neurones

mcd

Bonjour
J'ai vu le QCM suivant.

Suppose we want to train an MLP to perform a multi-class classification ("cat", "dog", "horse") of $10 x 10$ input images.
The MLP has two hidden layers of 20 units each.
What are the parameters to be trained?
(only one possibility)
Select one:
a. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (100), b_2 of dimension (20), b_3 of dimension (20)
b. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20)$, W_3 of dimension (20,1) and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (1)
c. The matrices W_1 of dimension (100,20), W_2 of dimension (20,20), and the bias b_1 of dimension (20), b_2 of dimension (20)
d. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (3) $\mathfrak{V}$


Et pour moi aucun n'est juste, pour moi c'est la d. mais avec $(20,100)$ et non $(100,20)$ je ne comprends pas mon erreur.

Ramufasa

Bonjour,

c'est bien la d, et c'est simplement lié à la définition d'une matrice de poids ($W_{i, j}$ relie le neurone $i$ au neurone $j$, donc c'est "inversé" par rapport à l'algèbre linéaire classique dans laquelle le nombre de lignes est la dimension de l'espace d'arrivée et le nombre de colonnes celle de l'espace de départ).

mcd

Ca m'embête ce genre de notation.
Je ne sais pas si c'est lié mais je lis aussi
$$
g(x W^{[1]} + b),

$$ avec $g$ une fonction d'activation. Et $W^{[1]}$ la matrice de poids. Mais $xW^{[1]}$ ce n'est pas possible ça oblige $W^{[1]}$ a n'avoir qu'une ligne.