[R-es] ARIMA automatizados (Gregorio R. Serrano)

Mar Mayo 10 09:30:55 CEST 2011

;-)

From:   grserrano en ccee.ucm.es
To:     Jluis GILSANZ/ES/EUROPE/GROUP en BNPPARIBAS
Date:   09/05/2011 16:06
Subject:        Re: [R-es] ARIMA automatizados (Gregorio R. Serrano)
Sent by:        grserrano en gmail.com

Con el regulador hemos topado ... Para un proyecto de esa magnitud yo 
habría probado algunas cosas más como VAR, descomponer la variabilidad de 
los precios, relacionar precios provinciales con agregados ... Pero todo 
eso requiere bastante más trabajo de recogida de datos, análisis, etc.

Espero que te salga bien.

Un saludo
Gregorio R. Serrano

El 9 de mayo de 2011 12:23, <jluis.gilsanz en tasacionesh.com> escribió:
Hola de nuevo:

Te comento entre líneas.

grserrano---09/05/2011 10:48:21---Buenas. De nada, para eso está la lista. 
Sobre tu nuevo algoritmo, me parece muy

Buenas.

De nada, para eso está la lista. Sobre tu nuevo algoritmo, me parece muy 
sensato, pero:

1) ¿Existe alguna serie económica mensual o trimestral no estacional? Yo 
creo que auto.arima decide las diferencias con algún contraste de raíces 
unitarias (no he "mirado dentro"), pero en series económicas tendría que 
buscar mucho para encontrar una serie que no requiere diferencia 
estacional y cuando ocurre se debe a que la fuente ha planchado 
(suavizado, desestacionalizado) los datos.
Efectivamente auto.arima usa, a grosso modo, KPSS para encontrar las 
diferencias regulares y una versión modificada del test Canova-Hanses para 
las estacionales. Los datos provienen del Ministerio de Fomento al cual le 
son proporcionados a través de ATASA (la patronal de las sociedades de 
tasación española), es posible que dichas fuentes hagan el suavizado que 
planteas.

2) Los precios no sólo crecieron, sino que aceleraron, es decir, desde 
2000 el crecimiento fue cada vez mayor (segunda derivada positiva). Para 
hacer eso estacionario necesitas dos diferencias, o al menos probarlas (yo 
tengo dos diferencias regulares en mi modelo de precios de vivienda, pero 
son precios agregados, no provinciales). Yo probaría d=2 y D=1, después 
puedes comprobar la no estacionariedad en la estimación.
Completamente de acuerdo, de hecho en la primera tanda de modelos que me 
genero auto.arima hay varias provincias (unas 20 o 22 aprox.), con 
mercados muy dinámicos, que llegaron a un d=2. El iniciar con d=1 y no con 
un d=2 estaba fundamentado en que algunas otras provincias, con mercados 
mas estáticos, con una sola diferenciación regular bastaba y me parecía 
mas prudente no tender a modelos sobrediferenciados. En términos 
coloquiales era decirle a auto.arima "como poco me pones un d=1 y tu 
decides si llegamos a d=2 o nos quedamos en d=1".

3) El horizonte de previsión me parece excesivo, ya sé que eso suele ser 
culpa de nuestros jefes/clientes que creen que se puede prever todo, pero 
tal y como están las cosas es disparatado. ¿Te imaginas las previsiones 
horizonte 12 trimestres que habrías hecho a finales de 2006?
Es muy excesivo de hecho, y mas teniendo en cuenta la poca amplitud 
histórica de la serie (apenas 64 trimestres). El horizonte a 3 años esta 
fijado por el propio Banco de España que nos exige realizar esas 
previsiones en su normativa ECO 805/2003 que dice mas o menos asi:
...la entidad tasadora estime que existe una probabilidad elevada de que 
el valor de tasación experimente una reducción significativa en términos 
nominales antes de transcurrido un año desde la fecha de la tasación que 
dure al menos 3 años. La estimación deberá apoyarse en datos sólidos 
disponibles sobre la situación coyuntural del mercado local....
Otra cosa es que, en la situación actual, esas estimaciones sean muy poco 
fiables. Según mi opinión personal, ningún modelo que se base en la propia 
historia de la serie, hubiese anticipado el cambio de ciclo de 2006, 
fundamentalmente porque no ha habido un cambio de ciclo como el que hemos 
vivido estos últimos años. Todo estos modelos (alisados, arimas etc) se 
basan en algo que ya ha pasado para estimar el futuro. Resumiendo tenemos 
que hacer esas estimaciones aunque somos consciente de que su validez es 
mas que cuestionable.

4) Los alisados tienen mejor pinta, también puedes usar algún filtro tipo 
Hodrick-Presscott, pero cualquiera de esas opciones tardará mucho más en 
reaccionar ante un cambio de tendencia que el ARIMA. Yo hago previsiones 
con ARIMA y después presento gráficos suavizados, pero no calculo 
previsiones de datos suavizados.
Finalmente creo me voy a decantar por la opción de los alisados, lo cierto 
es que me produce bastante inquietud el obtener modelos arima que cumplen 
una diagnosis correcta de residuos pero que presentan coeficientes no 
significativos.
A vista de pájaro los alisados arrojan predicciones "mejores" y sobre 
todo, no me causan tanta intranquilidad en cuanto al cumplimiento de 
hipótesis y requerimientos de los arima.

¡Jó! qué pesado soy, pero es que en esto tengo la experiencia de muchos 
informes periódicos de coyuntura a mis espaldas.
Y no sabes cuanto me alegro de que seas tan pesado como instructivo

Muchas gracias

Salu2

El 9 de mayo de 2011 09:44, <jluis.gilsanz en tasacionesh.com> escribió: 
Hola 

Gregorio muchas gracias por tu respuesta, veo que con tu experiencia no 
puedo confiar demasiado en la automatización de arimas de forecast. 

Sabiendo esta renuencia a hacer diferenciaciones del algoritmo, se me 
plantea una estrategia que quizás ayude al auto.arima de  forecast a 
funcionar mejor. 
Hacer un barrido previo a los 200 y picos modelos que tengo que generar y 
detectar aquellos en los que sea necesarios al menos una diferenciación 
estacional. 
Puesto que los datos se refieren a evolución de precios inmobiliarios en 
los que siempre existe una marcada tendencia (creciente desde 1995 -2007 y 
decreciente los tres últimos años), podría modificar el código que he 
escrito de forma que: 
-Para los casos en los que en el barrido previo detecte estacionalidad, 
inicializar el auto.arima con d=D=1 
-Para aquellos casos en los que el barrido no detecte estacionalidad 
inicializarlo con d=1 y D=0. 

De cualquier forma estoy contemplando la posibilidad de cambiar los 
modelos Arima por unos alisados exponenciales, ya que las estimaciones a 
realizar  son de un horizonte de 12 trimestres y las estimaciones a futuro 
que realizan los alisados tienen mejor "pinta" que los modelos arima que 
he construido hasta ahora. 

Si no fuera por limitado nivel de ingles le enviaría un mensaje al creador 
del paquete a ver si el puede explicarme el motivo de que el algoritmo 
encuentre modelos con coeficientes no significativos pero en los que la 
diagnosis del modelo es correcta. 

Un saludo 

José Luis Gilsanz Gómez 
Estadística 

Tasaciones Hipotecarias 
María de Molina, 54 - 28006 - Madrid
Tel. : 34-914549694
Fax : 34-917822164
Email : jluis.gilsanz en tasacionesh.com 
Site web: www.tasacionesh.es 

-- AVISO LEGAL --

Los datos personales que en esta comunicación aparecen, así como los que 
nuestra empresa mantiene de Vd. y de su empresa, son tratados con la 
finalidad de mantener el contacto así como realizar las gestiones que en 
esta aparecen (Ley Orgánica 15/1999, de 13 de diciembre, de Protección de 
Datos de Carácter Personal). 
Puede ejercer sus derechos de acceso, rectificación, cancelación y 
oposición dirigiéndose a atencion.clientesth en tasacionesh.com.
La utilización de su dirección de correo electrónico por parte de nuestra 
empresa queda sujeta a las disposiciones de la Ley 34/2002, de Servicios 
de la Sociedad de la Información y el Comercio Electrónico. Si Vd. recibe 
comunicación comercial por nuestra parte y desea dejar de recibirla, 
rogamos nos lo comunique por vía electrónica a través de la dirección 
atencion.clientesth en tasacionesh.com . 

From:        r-help-es-request en r-project.org 
To:        r-help-es en r-project.org 
Date:        07/05/2011 12:03 
Subject:        Resumen de R-help-es, Vol 27, Envío 7 
Sent by:        r-help-es-bounces en r-project.org 

Asuntos del día:

  1. Re: ARIMA automatizados (Gregorio R. Serrano)

----------------------------------------------------------------------

Message: 1
Date: Fri, 6 May 2011 15:41:29 +0200
From: "Gregorio R. Serrano" <grserrano en ccee.ucm.es>
To: jluis.gilsanz en tasacionesh.com
Cc: r-help-es en r-project.org
Subject: Re: [R-es] ARIMA automatizados
Message-ID: <BANLkTik9X=rEdzDhbjrC9Tr2aj-oJXuR_A en mail.gmail.com>
Content-Type: text/plain

Hola.

Yo trabajo bastante con modelos ARIMA para previsiones mensuales y
auto.arima (de forecast) y yo no solemos coincidir en la especificación.
auto.arima se resiste a diferenciar y eso da lugar a un p muy alto y
también, a veces, a unos q inaceptables (y como consecuencia correlación
excesiva entre los parámetros estimados). A veces lo utilizo como punto de
partida o como complemento a la identificación y diagnosis, pero no uso
automáticamente los modelos que devuelve.

Por otra parte, no estoy dispuesto a que me cambie la especificación de un
ARIMA sin "mi permiso", así que yo guardo los órdenes p,d,q, P,D,Q de mis
modelos en un archivo y reestimo la misma especificación cada mes (cuando
actualizo datos). Sólo si los residuos indican otra cosa me planteo 
cambiar
el modelo, cosa que no debería ocurrir con frecuencia.

Un saludo
Gregorio R. Serrano

El 6 de mayo de 2011 10:58, <jluis.gilsanz en tasacionesh.com> escribió:

> Hola:
>
> Si no recuerdo mal creo que este es mi primer post, así que espero no
> cometer ninguna "barbaridad"  y  que sean comprensivos conmigo.
> Retomo mi contacto con R después de una pequeña introducción que hice 
hace
> un par de años gracias a un curso de la UNED.
>
> El proyecto trata, a grandes rasgos de:
> 1.- Conectarse a un servidor Microsoft SQL y bajarse a R  unos datos de
> evolución de precios unitarios de vivienda (publicados por el Mto. de
> Fomento de España) por cuatrimestres (desde 1995 a 2010 hacen un total 
de
> 64 trimestres) y por provincias.
> 2.- Generar un bucle en el que para cada una de las 52 provincias se
> obtenga un modelo ARIMA automático, así como sus estimaciones a 3 años
> vista.
> 3.- Al final del bucle se guardara  en el SQL una tabla que contiene, 
para
> cada provincia, entre otras cosas, el modelo ajustado , los 
AIC,AICC,BIC,
> log-likehood, sigma2, así como una variable booleana que especifica si 
el
> modelo tiene TODOS sus coeficientes significativos. También guardare una
> tabla con las estimaciones efectuadas por cada modelo ajustada a cada
> provincia.
>
> Si alguien tiene interés en el código que he desarrollado se lo puedo
> proporcionar, o si se considera de interés publicarlo en la lista. No lo
> envío ahora por ser demasiado extenso.
>
> Para ello utilizo los paquetes RODBC para conectarme al SQL Server donde
> están los datos y forecast para calcular los modelos automatizados 
ARIMA,
> y aquí es donde radica el problema.
>
> A pesar de que según el autor del paquete se especifica en este articulo
> http://www.jstatsoft.org/v27/i03/paper que el algoritmo garantiza la
> obtención de un modelo valido, me he encontrado que alguno de los 52
> modelos ajustados tiene alguno de sus coeficientes no significativos
> (usando un nivel de significación de 0,05), a pesar de que usando tsdiag
> los gráficos muestran una buena diagnosis del modelo.
>
> Extrañado por ello me he decido aplicar, a modo de prueba,  el
> procedimiento de obtención de ARIMA automatizados del paquete forecast a
> la secuencia de datos AirPassengers con la que muchos aprendimos a
> trabajar con modelos ARIMA. Para dicha secuencia de datos el mejor 
modelo
> obtenido segun se especifico en su día por Box & Jenkins es un
> ARIMA(0,1,1)(0,1,1)[12] , mientras que el procedimiento automatizado del
> paquete forecast propone un modelo ARIMA(0,1,0)(0,0,2)[12]   usando la
> opción por pasos o bien un modelo ARIMA(2,1,1)(0,0,2)[12] with drift
> usando la opción que prueba con todos los modelos posibles.
> En ambos casos me sorprende que no haga ninguna diferenciación 
estacional
> a pesar de que se trata de una serie claramente estacional.
>
> Se me plantean muchas dudas que espero que me puedan resolver.
> ¿Estoy equivocando la forma de enfocar el proyecto?
> ¿Puedo confiar en el paquete forecast a pesar de estos resultados tan
> desconcertantes?
> ¿Existe algún otro paquete alternativo que me permita realizar algo
> similar?.
>
> Desde ya, muchísimas gracias por haber leído esta extensa exposición
>
> Muchas gracias
>
> Un saludo
>
> José Luis Gilsanz Gómez
>
>
>
> -- AVISO LEGAL --
>
> Los datos personales que en esta comunicación aparecen, así como los que
> nuestra
> empresa mantiene de Vd. y de su empresa, son tratados con la finalidad 
de
> mantener
> el contacto así como realizar las gestiones que en esta aparecen (Ley
> Orgánica
> 15/1999, de 13 de diciembre, de Protección de Datos de Carácter 
Personal).
> Puede ejercer sus derechos de acceso, rectificación, cancelación y
> oposición
> dirigiéndose a atencion.clientes en tasacionesh.com
> La utilización de su dirección de correo electrónico por parte de 
nuestra
> empresa
> queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la
> Sociedad de
> la Información y el Comercio Electrónico. Si Vd. recibe comunicación
> comercial por
> nuestra parte y desea dejar de recibirla, rogamos nos lo comunique por 
vía
> electrónica
> a través de la dirección atencion.clientes en tasacionesh.com
>
>        [[alternative HTML version deleted]]
>
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>
>

-- AVISO LEGAL -- 

Los datos personales que en esta comunicación aparecen, así como los que 
nuestra 
empresa mantiene de Vd. y de su empresa, son tratados con la finalidad de 
mantener 
el contacto así como realizar las gestiones que en esta aparecen (Ley 
Orgánica 
15/1999, de 13 de diciembre, de Protección de Datos de Carácter 
Personal).  
Puede ejercer sus derechos de acceso, rectificación, cancelación y 
oposición 
dirigiéndose a atencion.clientes en tasacionesh.com 
La utilización de su dirección de correo electrónico por parte de nuestra 
empresa 
queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la 
Sociedad de 
la Información y el Comercio Electrónico. Si Vd. recibe comunicación 
comercial por 
nuestra parte y desea dejar de recibirla, rogamos nos lo comunique por vía 
electrónica 
a través de la dirección atencion.clientes en tasacionesh.com 

_______________________________________________
R-help-es mailing list
R-help-es en r-project.org
https://stat.ethz.ch/mailman/listinfo/r-help-es

-- 
Dr. Gregorio R. Serrano
Dpto. Economía Cuantitativa (UCM)
Voz:+34 91394 2361
Fax:+34 91394 2591
http://www.grserrano.es

-- AVISO LEGAL -- 

Los datos personales que en esta comunicación aparecen, así como los que 
nuestra 
empresa mantiene de Vd. y de su empresa, son tratados con la finalidad de 
mantener 
el contacto así como realizar las gestiones que en esta aparecen (Ley 
Orgánica 
15/1999, de 13 de diciembre, de Protección de Datos de Carácter 
Personal).  
Puede ejercer sus derechos de acceso, rectificación, cancelación y 
oposición 
dirigiéndose a atencion.clientes en tasacionesh.com 
La utilización de su dirección de correo electrónico por parte de nuestra 
empresa 
queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la 
Sociedad de 
la Información y el Comercio Electrónico. Si Vd. recibe comunicación 
comercial por 
nuestra parte y desea dejar de recibirla, rogamos nos lo comunique por vía 
electrónica 
a través de la dirección atencion.clientes en tasacionesh.com

-- 
Dr. Gregorio R. Serrano
Dpto. Economía Cuantitativa (UCM)
Voz:+34 91394 2361
Fax:+34 91394 2591
http://www.grserrano.es

-- AVISO LEGAL -- 

Los datos personales que en esta comunicación aparecen, así como los que nuestra 
empresa mantiene de Vd. y de su empresa, son tratados con la finalidad de mantener 
el contacto así como realizar las gestiones que en esta aparecen (Ley Orgánica 
15/1999, de 13 de diciembre, de Protección de Datos de Carácter Personal).   
Puede ejercer sus derechos de acceso, rectificación, cancelación y oposición 
dirigiéndose a atencion.clientes en tasacionesh.com 
La utilización de su dirección de correo electrónico por parte de nuestra empresa 
queda sujeta a las disposiciones de la Ley 34/2002, de Servicios de la Sociedad de 
la Información y el Comercio Electrónico. Si Vd. recibe comunicación comercial por 
nuestra parte y desea dejar de recibirla, rogamos nos lo comunique por vía electrónica 
a través de la dirección atencion.clientes en tasacionesh.com
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20110510/889089ae/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: no disponible
Type: image/gif
Size: 105 bytes
Desc: no disponible
URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20110510/889089ae/attachment-0001.gif>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: no disponible
Type: image/jpeg
Size: 24195 bytes
Desc: no disponible
URL: <https://stat.ethz.ch/pipermail/r-help-es/attachments/20110510/889089ae/attachment-0001.jpe>