Il n'y a pas de mystère, si ton armée est trop petite c'est que tu ne te développes pas assez vite.
N'hésites pas à mettre des tours de guet à tes frontières, ca t'évitera d'être surpris par les arrivées des magiciens et petite astuce si tu subit une attaque sans pouvoir la repousser : désactive tes batiments, ainsi tes settlers resteront chez eux et ne pourront pas être transformés. Mais tes porteurs eux resteront toujours dehors. Après ce n'est jamais dramatique si tu perds des settelrs, le tout est de pouvoir construire suffisamment de maisons pour les renouveler. C'est plus génant si tu perds des settlers spécifiques.
Si tu as besoin d'aides plus spécifiques, dis le moi, je referai la mission pour donner une trame de développement ;)