Le temps n'est pas plus un concept que tous les autres objets décrits en science. Ses lois sont aussi déterministes que n'importe quelles autres lois  de la physique. 
De meme, le temps est une notion erronée, dans le sens ou nous memes le percevons differemment, selon que l'on s'occupe ou que l'on s'ennuie...
Et c'est pourquoi on s'appuit sur des phénomènes périodiques afin de le mesurer. Bref. 
Et puis si les scientifiques s'accordent a dire qu'il "ralentit" aux abords d'un trou noir, c'est bel et bien qu'il est une notion erronée... 
Si le temps ralentit, ça ne veut pas dire qu'il n'existe pas, justement. 
Pour le voyage dans le temps proprement dit : 
Le coup d'aller plus vite que la lumière est impossible. Pour diverses raisons, dont celle comme déjà dit de l'impossibilité d'aller vers la vitesse de la lumière, pour commencer. Comme le monde bien la formule de l'énérgie cinétique de la relativité générale : 
E = [ ( 1 / sqrt( 1 - v² / c² ) ) - 1 ] m c²
Où on peut bien voir que lorsque v (la vitesse) va vers c (la vitesse de la lumière), on tombe au final sur une division par 0. Ce qui donne donc effectivement une énergie infinie à donner à l'objet. La lumière s'en sort en n'ayant aucune masse. Le coup de la masse infinie marche aussi, avec la "masse relativiste".
m = m° / sqrt( 1 - v² / c² )
Ce qui donne avec le même raisonnement une masse infinie. Essayez pour voir à aller plus vite que la lumière : dans les deux cas, vous essayez de trouver la racine d'un nombre négatif. D'où la masse imaginaire de l'hypothétique tachyon. 
Alors que reste-t-il quand il n'y a pas moyen de faire vroum vroum rapidement? Il n'y a que deux hypothèses n'ayant pas encore été contredites :
- Le pont Einstein-Rosen ("trou de ver" dans le langage populaire. Je n'aime guère ce terme, mais bon), dans la configuration de l'anneau romain, c'est à dire un système de deux trous de ver ou plus. L'anneau sert à se débarasser des particules virtuelles qui s'accumulent jusqu'à effondrement du tunnel lorsqu'on essaye de faire des entrées et sorties à dates différentes. 
Problèmes : un trou de ver doit déjà, pour se stabiliser, bénéficier d'une densité énergétique inférieure à celle du vide, sous peine de s'effondrer bêtement (il faut déjà l'énergie en question pour l'agrandir, si je me rappelle bien). Ce qui demande donc une énergie négative. Ce qui est, selon tous les calculs et expériences faits jusque là, un putain de bordel et pas des masses faciles, surtout avec les grandes quantités nécessaires. 
-Le cylindre de Tipler (qui lui n'a pas de nom en langage populaire. Il faut dire, la seule fois où j'en ai entendu parlé dans la littérature populaire, c'était dans le roman Ring, qui s'adresse à un publique pas banal). Il consiste en un cylindre extrêmement fin, extrêmement dense et si possible extrêmement long autour duquel on tournerait autour à des vitesses proches de celles de la lumière. A coup de "frame-dragging", la chose permettrait théoriquement de remontrer le temps.
Egalement des problèmes : un tel cylindre n'existe pour ce qu'on en sait que sous une seule forme : la corde cosmique. Il n'est pas dit que la chose existe, déjà. L'autre problème (en plus de celui bêtement technique d'aller à des vitesses relativistes), vient du fait qu'on ne peut pas remonter plus loin que la date de création du cylindre (autour de quoi voulez-vous tourner, sinon!).
On n'a pas des vies faciles.