Catégories pour l'apprentissage

Je réponds à tes questions dans l'ordre. 

1- En principe, oui, mais pas forcément en pratique. Je m'explique : la théorie des catégories "basique" est complètement auto-duale, comme tu l'as repéré, à cause de l'opération $C \leftrightarrow C^{op}$. Mais les maths ne sont pas auto-duales: la catégorie des groupes abéliens nous intéresse beaucoup plus que sa catégorie opposée par exemple. Donc même si les définitions de limite projective et limite inductive sont complètement duales, leurs incarnations en pratiques sont très différentes : dans la catégorie des groupes abéliens (ou des espaces vectoriels) par exemple, elles se comportent relativement différemment.

 Donc oui, avec le caveat qu'il est bon de regarder beaucoup d'exemples pour se faire une bonne intuition. (concrètement, la non-auto-dualité des maths se traduit par le fait qu'énormément de catégories qui nous intéressent sont "présentables", mais quasiment aucune n'est "co-présentable" - ça arrive, mais c'est très rare). 

2- Oui, tout à fait. Le langage diagrammatique a été créé précisément pour ça :-) raisonner en termes d'équations $f\circ g = h\circ k$ devient très compliqué quand on a des chaînes de 3-4 compositions, alors que les voir écrites sur un diagramme rend les choses très simples. 

3- Disons que c'est le cas pour un certain type de maths. Par exemple, elle n'a pas encore pénétré les probas très loin, et son attaque de l'analyse fonctionnelle n'en est qu'à ses débuts :-D Mais pour des maths plus géométriques, algébriques ou topologiques, oui, c'est un très bon outil organisateur pour se faire une idée d'ensemble. Une stratégie générale pour attaquer un problème d'algèbre (en tout cas pour les parties les plus catégoriques du sujet/les personnes avec une pensée plus catégorique) par exemple est : faire plein de machins catégoriques abstraits jusqu'à extraire le point essentiel, spécifique qui dépend véritablement de la situation donnée, et pour ce point spécifique, faire de la "vraie algèbre". 
Mais d'ailleurs, à l'origine, les catégories n'étaient qu'un outil d'organisation, un langage. Aujourd'hui (enfin depuis un moment, mais bon...) on leur trouve de vraies applications non langagières, mais à la base c'était précisément pour ça. 

C'est aussi un bon outil pour discuter entre champs adjacents qui ne se comprennent pas forcément. Si je te décris une construction ultra précise ça risque d'être compliqué de me comprendre. Si je la découpe en disant "alors là c'est un adjoint à gauche et puis on prend une limite et patati", tu ne comprendras pas forcément tous les détails, mais au moins tu auras une idée de ce qu'on essaie de faire. 

Le bon moment c'est, selon moi, au cours de ton éducation. Il est préférable de saupoudrer quelques notions ici et là plutôt que de faire un cous "introduction aux catégories" qui sera ou bien trop tôt (pas assez d'exemples, de motivations) ou bien trop tard. 
Les domaines pour lesquels ça vaut le coup c'est plutôt l'algèbre (en général), la topologie (plutôt topologie algébrique, mais quelques notions sont aussi intéressantes pour la topologie différentielle, et c'est de plus en plus le cas), la géométrie (je pense à différentielle ou algébrique). Dans les autres domaines ça pourra être pratique, mais uniquement pour organiser des trucs et pas encore pour vraiment prouver des trucs. 

Si ça peut t'aider ne serait-ce qu'un peu, j'avais écrit ce post  il y a un moment pour essayer de donner une idée de ce qu'on peut faire/ne peut pas faire avec les catégories.