CentOS - Docker 디스크 사용량 증가

CentOS - Docker 구성한 테스트 장비에서 갑자기 디스크 사용량이 60% -> 100% 증가하였다. (클라우드 20G 사용)

Docker에서 사용하지 않는 이미지 및 컨테이너 정리까지 하여
최소한으로 구성되어 있는 상태라서 그런지 실제 용량이 줄지가 않았다.

# 사용하지 않는 이미지 및 컨테이너 정리 
$ docker system prune -a -f

또 다른 방법은 Docker 경로를 변경하라는 이야기는 있었지만
이미지나 컨테이너 용량이 많아서 발생한 문제가 아닌것 같았다.

디스크 사용량을 확인하다보니 overlay2에 사용량이 거의 대부분을 차지고 하고 있었다.

/var/lib/docker/overlay2

# 용량 확인
$ du -sh * | sort -nr

998M    265e62e120d4ea985214b1eeeb44502dd649d5ef0267e3bd8e724e5554bd0044
681M    bf5b19af6ccff0653cce3af8f8611b4a3a8be01d1db9511288edba0adf6f7a82
...

/overlay2//diff/tmp

/diff/tmp 폴더에 용량이 큰 파일들이 많이 기록되어 있었다.

//TODO
diff/tmp는 폴더구조의 변경에 대한 차이점을 기록한다는 것 같은데 자세한 부분은 좀 찾아봐야 할 것 같다.

해당 내용이라면 Docker로 운영하던 MariaDB의 폴더에서 백업을 프로그램을 돌리고 있는데 해당 과정에서 발생한 것인지 의심해봐야겠다.

백업 차원에서 tmp 폴더의 데이터를 다른 곳으로 이동시키고 삭제를 하니 정상적으로 동작되었다.

아래 블로그에서는 tmp 디렉토리를 주기적으로 삭제하는 cron을 돌리기도 하는 것 같다.
자주 발생한다면 해당 부분도 고려해봐야겠다.

용량이 full로 차는 부분은 작성된 계층 SQL이 무한루프에 빠지면서 디스크 용량을 잡아 먹었던 것 같다.

# tmp 용량 확인 - 문제 있는 tmp 를 삭제하여 큰 사이즈가 없음
$ du -sh */diff/tmp |sort -nr

169M    bf5b19af6ccff0653cce3af8f8611b4a3a8be01d1db9511288edba0adf6f7a82/diff/tmp
72K     96a36867d5b07b0507a05e5bced4faf713fa2d41c691d317f712b40476031e32/diff/tmp
0       fd77535869e865e71be25fe9ba1ee4785d64b569a8a6e13466afd37ad2318e1a/diff/tmp
0       de98e3203db8a109c15f032ae768b459c4f3eabca7f2b2f5bc62406e81dd1e31/diff/tmp

• 로그파일이 커져서 발생하는 디스크를 많이 사용하는 경우도 있다고 한다.

 /var/lib/docker/containers//-json.log

 docker-compose.yml 파일 로그 옵션 추가

my_container:
  logging:
    options:
      max-size: 10m

• https://www.it-swarm-ko.tech/ko/docker/docker-overlay2-%eb%a5%bc-%ec%b2%ad%ec%86%8c%ed%95%98%eb%8a%94-%ea%b2%83%ec%9d%b4-%ec%95%88%ec%a0%84%ed%95%a9%eb%8b%88%ea%b9%8c/833935789/amp/

• https://docs.docker.com/compose/compose-file/#/logging : docker-compose 설정 정보
• https://stackoverflow.com/questions/39078715/specify-max-log-json-file-size-in-docker-compose

#docker #diskfull #overlay #docker-compose #centos