[R-es] Trabajar con un dataset muy grande

[Carlos Ortega]

Hola,

El que "R" no lo soporta quiere decir que "tu máquina no lo soporta".
Y no lo soporta porque tiene una cantidad de RAM insuficiente.

En este caso puedes hacer diferentes cosas:

   - Sin tener que cambiar tu hardware:
      - Hacer un sampling y quedarte con un número de observaciones con los
      que sí puedas trabajar en tu máquina. Este sampling, lo tendrás que hacer
      por fuera utilizando algún tipo de script en tu Sistema Operativo.
      - Hay un conjunto de librerías que permiten trabajar con conjuntos
      "BigData", mira toda la familia de paquetes: "bigxxxxx": bigmemory,
      biganalytics, bigFastlm, biglasso, biglars, etc...
      - Dependiendo del problema que quieras tratar, muy probablemente
      puedas cargar tus datos en una base de datos y desde "R" acceder a
      diferentes subconjuntos. Esto en el caso de que tu análisis necesite de
      esta partición.



   - Cambiando tu hardware:
      - Si vas a trabajar de forma habitual con este tipo de conjuntos,
      quizás te merezca la pena el ampliar la RAM de tu máquina o empezar a
      utilizar otra máquina (tipo servidor) con más capacidad de
cómputo CPU/RAM.
      - Aquí otra opción es incluso procesar tu conjunto en la nube de
      Amazon. Te configuras una máquina con suficiente RAM (no hace falta un
      clúster) que tenga "R". En Amazon, puedes llegar a utilizar ya
máquinas con
      2Tb de RAM. En esto de Amazon, la principal pega por ponerle
alguna es que
      subir los datos te llevará un tiempo y claro, este servicio no
es gratuito.
      - Otra opción más costosa es crear un clúster...y utilizar "R" de
      forma distribuida...


Saludos,
Carlos Ortega
www.qualityexcellence.es

El 30 de diciembre de 2016, 11:02, VICTORIA LOPEZ <vlopez en fdi.ucm.es>
escribió:

> hola a todos,
> Me gustaria saber qué haceis cuando el dataset para trabsjar es tan grande
> que R no lo soporta.
> Lo troceo con alguna otra herramienta?
> Cual?
>
> Gracias y feliz año!
>
> Victoria
>
> > _______________________________________________
> > R-help-es mailing list
> > R-help-es en r-project.org <javascript:;>
> > https://stat.ethz.ch/mailman/listinfo/r-help-es
> >
>
>
> --
> Enviado con Gmail Mobile
>
>         [[alternative HTML version deleted]]
>
> _______________________________________________
> R-help-es mailing list
> R-help-es en r-project.org
> https://stat.ethz.ch/mailman/listinfo/r-help-es
>



-- 
Saludos,
Carlos Ortega
www.qualityexcellence.es

	[[alternative HTML version deleted]]