El problema de resolver procesos de decision de Markov de considerables dimensiones con precision y rapidez ha conducido a un reto computacional. La investigacion actual se centra en la busqueda de tecnicas superiores de aceleracion. Por ejemplo, las propiedades de convergencia de los metodos de solucion actuales dependen, en gran medida, del orden de las operaciones de actualizacion. Por un lado, algoritmos tales como el de ordenamiento topologico han sido capaces de encontrar buenos ordenamientos, pero sus costes de inicio han sido usualmente altos. Por otro lado, los metodos de ruta mas corta tales como el clasico algoritmo de Dijkstra, que esta basado en colas de prioridad, han sido aplicados exitosamente a la solucion de procesos de decision de Markov de ruta determinista mas corta. En este trabajo se propone un nuevo algoritmo de iteracion de valor basado en el algoritmo de Dijkstra para obtener la ruta estocastica mas corta en menor tiempo que otros metodos del estado del arte. Los resultados experimentales obtenidos en un problema de estrategias de navegacion maritima muestran la factibilidad del enfoque propuesto.