Sans surprise, ce quatrième opus est la suite directe du précédent et commence quand les pages du Volus Ratonus se mettent inexplicablement à s’effacer. Le gang de Cooper doit alors embarquer dans la machine à voyager dans le temps construite par Bentley et Pénélope (qui a elle aussi mystérieusement disparue) afin de rencontrer les ancêtres de Sly et de découvrir ce qui altère le temps.
Rioichi Cooper est le premier ancêtre que rencontre Sly dans son périple. Ninja de l’époque féodale, il tient au moment du jeu un restaurant de sushis, lequel lui sert bien sûr de couverture pour ses activités de voleur. Cependant, quand le gang arrive pour le rencontrer, il est en prison pour avoir soi-disant tenté d’empoisonner le Shogun (chef militaire du Japon féodal). C’était en réalité un coup monté d’El Jefe, un tigre maléfique et arrogant se vantant de ses exploits militaires en tant que mercenaire. Après avoir été libéré par le gang, Riochi parvient avec eux à vaincre El Jefe et à récupérer le restaurant, mais le tigre vole tout de même la serpe de l’ancêtre japonais de Sly pour la remettre à un mystérieux personnage se faisant appeler « Le Paradoxe ».
Tenessee « Kid » Cooper est l’ancêtre du Far West de Sly. Habitué des attaques de train, ce gangster se sert d’une canne-revolver comme arme et dispose de plusieurs capacités comme celle de glisser sur les rails ou de faire du bullet time pour tirer sur plusieurs cibles à la fois. En arrivant à son époque, le gang découvre néanmoins qu’il a été jeté en prison par le shérif de la ville, le tatou Toothpick. Bien sûr, l’équipe se met vite à la tâche et le libère sans soucis mais se retrouve confronté à une surprise de taille : sans savoir pourquoi ni comment, Toothpick a également enlevé Carmelita ! Après avoir été libérée, elle explique au gang qu’elle enquêtait sur une collection de trésors volés quand Cyrille Le Paradoxe, un collectionneur d’art, l’a envoyée dans le passé. A ce moment de l’aventure, le van a été volé par Toothpick et il est indispensable de le récupérer pour au moins revenir dans le temps. Après quelques péripéties, Sly, Bentley et Murray parviennent à vaincre Toothpick et voyagent encore dans le temps mais cette fois-ci accompagnés par Carmelita.
Bob Cooper est certainement le plus surprenant membre de la famille Cooper que rencontre Sly dans son périple. Homme préhistorique de son état, il est le plus grand voleur de l’âge de glace (pas le film, l’ère glaciaire à la fin du paléolithique). Leader de sa tribu, il vole des œufs de ptérodactyles afin de nourrir ses congénères et se sert d’un outil de bois et d’os qui fait office d’ancêtre de la serpe Cooper. A l’arrivée du gang dans cette époque, Bob a été comme les autres ancêtres capturé par un des sbires du Paradoxe intitulé le Grizz, un ours qui profite de sa situation temporelle pour créer de fausses peintures rupestres afin de faire fortune une fois revenu dans le présent. Grâce à la gentillesse et surtout la force de Bob Cooper, le gang est capable de vaincre le Grizz et de repartir dans le temps, direction l’Angleterre médiévale cette fois-ci.
Sir Richard Cooper est l’ancêtre chevalier de Sly vivant aux alentours des années 1300 en Angleterre. Assez orgueilleux, Richard se décrit dans le Volus Ratonus comme un vaillant et preux chevalier, bien que ce ne soit pas tout à fait exact. Quand le gang arrive pour le retrouver, il est retenu dans un cirque pour jouer les bouffons après avoir été capturé par un mystérieux Chevalier Noir. L'identité du vilain sera cependant vite découverte et ce n'est autre que Pénélope, une ancienne membre du gang, qui se cache sous l'imposante armure. Cette révélation affecte beaucoup Bentley qui a le cœur brisé par cette trahison. La tortue se retire du gang, ce qui oblige Sly, Murray, Richard et Carmelita à se débrouiller seuls pour vaincre le Chevalier Noir. Le groupe sera finalement aidé par Bentley qui au dernier moment se vengera de son ex-amour. Après le départ du gang, Richard fondera l’Ordre des Chevalier de Cooper qui se concentrera principalement sur le vol de nobles corrompus.
Salim Al-Kupar est le cinquième et dernier ancêtre croisé dans Sly 4. Assez âgé, il est sur le point de se retirer après avoir été laissé par son gang de 40 voleurs. Sly l’aide à délivrer trois des membres de son gang des griffes de Miss Decibel afin qu’il accepte de réaliser un dernier casse. Après enquête, il s’avère que Miss Decibel est aussi une alliée du Paradoxe et qu’elle crée de faux documents afin que son patron puisse se proclamer de lignée royale. La méchante du moment sera bien sûr vaincue par Sly mais Le Paradoxe s’enfuira tout de même avec la serpe de Salim, l’obligeant, ainsi que les autres ancêtres, à revenir dans le présent pour unir leurs forces et le vaincre. Après le combat final contre Le Paradoxe, tous les membres de la famille Cooper retournent dans leurs époques respectives, et tout rentre dans l’ordre dans les pages du Volus Ratonus. Cependant, Sly est introuvable malgré les recherches de Bentley, Murray et Carmelita. Après les crédits, une très courte scène montre le raton laveur se réveillant devant des constructions de l’Egypte antique, serait-il… perdu dans le temps ?