Dimension réseau de neurones
dans Statistiques
Bonjour
J'ai vu le QCM suivant.
Suppose we want to train an MLP to perform a multi-class classification ("cat", "dog", "horse") of $10 x 10$ input images.
The MLP has two hidden layers of 20 units each.
What are the parameters to be trained?
(only one possibility)
Select one:
a. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (100), b_2 of dimension (20), b_3 of dimension (20)
b. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20)$, W_3 of dimension (20,1) and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (1)
c. The matrices W_1 of dimension (100,20), W_2 of dimension (20,20), and the bias b_1 of dimension (20), b_2 of dimension (20)
d. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (3) $\mathfrak{V}$
Et pour moi aucun n'est juste, pour moi c'est la d. mais avec $(20,100)$ et non $(100,20)$ je ne comprends pas mon erreur.
J'ai vu le QCM suivant.
Suppose we want to train an MLP to perform a multi-class classification ("cat", "dog", "horse") of $10 x 10$ input images.
The MLP has two hidden layers of 20 units each.
What are the parameters to be trained?
(only one possibility)
Select one:
a. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (100), b_2 of dimension (20), b_3 of dimension (20)
b. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20)$, W_3 of dimension (20,1) and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (1)
c. The matrices W_1 of dimension (100,20), W_2 of dimension (20,20), and the bias b_1 of dimension (20), b_2 of dimension (20)
d. The matrices $\mathrm{W}_{-} 1$ of dimension $(100,20)$, W_2 of dimension $(20,20), \mathrm{W}_{-} 3$ of dimension $(20,3)$ and the bias b_1 of dimension (20), b_2 of dimension (20), b_3 of dimension (3) $\mathfrak{V}$
Et pour moi aucun n'est juste, pour moi c'est la d. mais avec $(20,100)$ et non $(100,20)$ je ne comprends pas mon erreur.
Connectez-vous ou Inscrivez-vous pour répondre.
Réponses
c'est bien la d, et c'est simplement lié à la définition d'une matrice de poids ($W_{i, j}$ relie le neurone $i$ au neurone $j$, donc c'est "inversé" par rapport à l'algèbre linéaire classique dans laquelle le nombre de lignes est la dimension de l'espace d'arrivée et le nombre de colonnes celle de l'espace de départ).
Je ne sais pas si c'est lié mais je lis aussi
$$
g(x W^{[1]} + b),
$$ avec $g$ une fonction d'activation. Et $W^{[1]}$ la matrice de poids. Mais $xW^{[1]}$ ce n'est pas possible ça oblige $W^{[1]}$ a n'avoir qu'une ligne.