Lustre 이용해보기(5)_분산처리 확인해보기

 

https://jaehhhk.tistory.com/31

Lustre 이용해보기(4)_디스크 마운트 후 클러스터링

 

 

Lustre 클러스터링을 완료해줬으면 이제는 실제로 파일이 분산처리되는지 확인해보겠다.

아마 이 글이 Lustre 이용해보기 시리즈의 마지막 포스팅이 될 것 같다.

 

설치과정이 궁금한 분들은 내 블로그의 Lustre 이용해보기 시리즈 1편부터 따라와주면 좋을 것 같다.

---

 

실습 목표

파일을 직접 생성하여 분산처리가 실제로 원하는대로 잘 되고 있는지 확인해본다.

 

진행하기 앞서 Lustre 클러스터링이 제대로 되어 있어야 한다.

 

파일 생성

Client에 10G파일을 생성하여 OSS에 분산되어 저장되는지 확인해보겠다.

이때 fallocate 명령어를 이용하여 10G 크기의 test.txt라는 임의의 파일을 생성해주겠다.

# Client에서 실행
fallocate -l 10G /mnt/lustre/test.txt

 

Client 노드에서 Lustre가 마운트된 lusre 디렉터리에 test.txt파일이 생성되어 있을 것이다.

 

스트라이프 수 설정

파일이 생성되었으면 lfs 명령어 옵션 중 getstripe와 setstripe를 이용하여 스트라이프 수를 확인 및 변경할 수 있다.

 

우선 현재 스트라이프 수가 어떻게 되어 있는지 getstripe를 이영하여 확인해보겠다.

 

lfs getstripe /mnt/lustre

 

 

stripe_count를 확인해보면 1이라고 나와있다.

이러한 경우 10G 파일이 한 OST에 몰아서 저장되어 있을 것이다.

 

실제로 OSS에 들어가 아래 명령어를 입력하여 확인해보면

df -hT

 

 

아래와 같이 OST1인 /dsv/sdc에 10G 파일이 한번에 저장되어 있음을 알 수 있다.

 

 

이제 setstripe와 -c 옵션을 활용해 스트라이프 수를 변경해보겠다.

# 스트라이프 수 2로 변경
lfs setstrpe -c 2 /mnt/lustre

# 스트라이프 수 확인
lfs getstripe /mnt/lustre

 

 

이제는 stripe_count가 2로 변경된 것을 볼 수 있다.

 

이후 OSS에서 다시 아래 명령어를 통해 각 OST에 어떻게 저장되었는지 확인해보면

df -hT

 

 

위 사진과 같이 5G씩 2개로 분산되어 저장된 것을 볼 수 있다.

 

 

---

마무리

이렇게 해서 5편으로 나누어 Lustre 파일시스템 설치 및 매우매우 간단한 실습까지 정리해보았다.

 

혼자 수많은 에러와 좌절을 맛보면서 많이 성장했고, 설치에 성공하는 순간 많이 뿌듯했다.

 

혹시 예전의 나와 같이 아무것도 모르는 상태에서 레퍼런스라곤 영어로 된 다큐먼트가 다인 상황에 방황하고 있는 사람이 있다면 이 글을 통해 도움이 되었으면 한다.

 

구글 크롤링 봇이 노출을 많이 시켜주면 좋을텐데ㅎ

한명이라도 누군가는 보고 아주 약간의 도움이 될 수만 있다면 내 글의 목적은 성공한 것이라 생각한다.

 

다음으로는 Lustre를 이용해 파일시스템 벤치마킹 툴인 IOR, FIO, Filebench와

메타데이터 서버 벤치마킹 툴인 MDtest를 사용해보도록 하겠다.

 

추후에 기회가 된다면 Lustre 튜닝 가이드를 조금더 공부해 본 후 관련 포스팅을 올려보도록 하겠다.