[R-es] Nested cross validation

[Jesús Para Fernández]

Buenas,


Os escribo porque no termino muy bien de entender el nested cross validation.


Por lo que he leido se hacen dos bucles. El bucle interno es de afinamiento de modelo y el externo es donde se ve como funciona ese modelo.


Pero lo que no entiendo es que para el interno, pruebo con el ajuste de modelos y me quedo con el mejor de ellos para luego pasarlo por el fold externo. Lo que pasa es que de un fold externo a otro el ajuste que puede haber dentro del fold interno es diferente.

Supongamos que quiero probar un knn, variando unicamente el valor de k.


En el externo creo 10 folds y en el interno creo 5 folds en los que voy ajustando el valor de la k. Para el primer fold, en el interno puedo ver que la mejor k es 7. Entonces con el modelo ajustado con k=7 valido el test del primer fold.

Voy a por el segundo fold externo. Entonces en el fold interno me sale que el modelo que mejor ajusta es con k=5 y vuelvo a validar con test externo de ese segundo fold....


Y así sucesivamente, pero entonces, cuando me tenga que quedar con un modelo, ¿con cual lo hago?


Gracias

Jesús


	[[alternative HTML version deleted]]