Dans le film Dunkerque, on voit seulement l'aviation allemande bombarder les navires anglais, mais pourquoi ils n'ont pas employé les terribles U-boot pour couler la flotte qui rapatriait les soldats anglais?

Les sous-marins dans la Manche n'ont pas grand intérêt. Ils ne peuvent guère s'y cacher. La Manche n'est pas assez profonde. Ils sont donc vulnérables aux avions. Ils sont vite repérés.

Parce que la Royal Navy a protégé l'opération avec de nombreux bâtiments capables de chasser les U-Boot:
39 destroyers
9 sloops/corvettes/canonnières
36 chasseurs de mines
113 chalutiers armés
13 torpilleurs/chasseurs de sous-marins
+ les autres bâtiments alliés du même type.
https://en.wikipedia.org/wiki/Dunkirk_evacuation

En face les Allemands avaient environ 46 U-Boot opérationnels (dont une partie loin dans l'Atlantique et d'autres au port pour maintenance). Dans des eaux aussi resserrées que la Manche attaquer directement la flotte déployée par les alliés aurait été du suicide. La Kriegsmarine s'est limitée a quelques attaques de harcèlement avec des petits U-Boot côtiers et des vedettes rapides (S-Boot).

A handful of small U-boats did attack the evacuation shipping, and the Allies had their first encounter with S-boats operating from Borkum and later Den Helder in the Netherlands. On the night of 23/24 May, S 21 and S 23 crippled the big French destroyer Jaguar off Boulogne, and over the next few nights S-boats sank or damaged a few British and French warships and transports involved in Operation dynamo.
(Ewan Mawdsley, The war for the seas p. 52).