Este es un rapidito de como liberar espacio en Hadoop, ya que se llena por los app-logs de yarn.

Si os encontrais vuestro HDFS lleno tal que asi

1
2
3
4
<<< CORP >>> hdfs@hdp-dw-1-nn-1:/home/nicolast$ hadoop fs -du -h /app-logs/hive/*
195.7 G /app-logs/hive/logs-ifile/application_1528466953433_0304
84.1 G /app-logs/hive/logs-ifile/application_1528466953433_4879
0 /app-logs/hive/logs-ifile/application_1528466953433_6909

Es que teneis un monton de logs de los contenedores de Yarn ocupado espacio.
Normalmente, el JobHistory Server hace de esta funcion, pero a veces no lo hace o lo necesitais para ya.

Tenemos dos opciones:

A. Lo eliminados y lo dejamos para que el fs.trash.interval se haga cargo de el (normalmente puesto a 360 minutos)
B. Nos lo cargamos directamente sin pasar por la casilla de salida.

Opcion A

Ejecutamos esto, que elimina todo y lo manda a la carpeta trash del usuario

1
2
3
4
5
6
7
hadoop fs -rm -r /app-logs/[folder]/\*
18/07/20 08:09:03 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hdp-dw-1-nn-1.domain.local:8020/app-logs/hive/logs-ifile/application_1523519779208_0292' to trash at: hdfs://hdp-dw-1-nn-1.domain.tld:8020/user/hdfs/.Trash/Current/app-logs/hive/logs-ifile/application_1523519779208_0292
18/07/20 08:09:03 INFO fs.TrashPolicyDefault: Moved: 'hdfs://hdp-dw-1-nn-1.domain.tld:8020/app-logs/hive/logs-ifile/application_1523519779208_0296' to trash at: hdfs://hdp-dw-1-nn-1.domain.tld:8020/user/hdfs/.Trash/Current/app-logs/hive/logs-ifile/application_1523519779208_0296

```

Ahora tenemos esto en el trash del usuario `hdfs`

trash at: hdfs://hdp-dw-1-nn-1.domain.tld:8020/user/hdfs/.Trash/Current/app-logs/hive/logs-ifile/application_1523519779208_0292

1
2
3
4
5
6

Ejecutamos `hadoop fs -expunge` y eso elimina los CheckPoints de los Trash, crea otro general y entra en juego el `fs.trash.interval`

##### Opcion B

Ejecutamos el comando con `-skipTrash`

hadoop fs -rm -r -skipTrash /app-logs/[folder]/*
Deleted /apps-logs/*
```

Si quereis mas info de HDFS:

Apache HDFS space reclamation

Comentarios

⬆︎TOP