Le mkv est un conteneur, contenant une vidéo encodée dans un codec précis (ex, H264), et de l'audio (avec sa propre profondeur de bits également, sa propre fréquence d'échantillonnage, etc) encapsulés en lui. L'emploi du terme format (couramment utilisé pour référencer les rapports de format d'image) pour désigner l'extension d'un fichier vidéo est un abus de langage.
Autrement dit, ton fichier .mkv peut parfois contenir les mêmes éléments (et mêmes codecs) que ton fichier .mp4, ou .m4v.
Convertir par VLC est probablement une erreur, le problème rencontré ne vient pas du m4v (qui est lui-aussi un conteneur, basé sur le MPEG-4 et utilisé pour les DRM), mais du processus de conversion en lui-même qui a pu mal se passer, de l'éventuelle manque de tolérance de Premiere envers le .m4v (bugs ou décisions politiques), ou d'une mauvaise interprétation liée à ce qui se trouve à l'intérieur même du conteneur (frame rate inconstant, par exemple).
Si l'intérieur du conteneur est correct, un remux simple peut-être fait (changement de conteneur). S'il ne l'est pas, un transcodage est nécessaire, par exemple en APR encapsulé dans un .mov, en H264 encapsulé dans un .mp4, etc.
Tu peux télécharger shutter encoder (gratuit) pour convertir ta vidéo en bon conteneur / format désiré.