zfs userspace와 zfs create 사이의 EBUSY 레이스 수정
회사에서 OpenZFS 기반 스토리지를 개발하던 중, zfs create로 볼륨을 생성하는 중 dataset 생성 직후의 자동 마운트에서 간헐적으로 mountpoint or dataset is busy 오류로 실패하…
전체 글
20261
20253
Lustre Changelog DR
2022년 10월 15일 발생한 SK C&C 데이터센터 화재와 2025년 9월 26일 국가정보자원관리원 데이터센터 화재 사례에서 보듯이, 예기치 못한 재난 상황에서도 시스템이 정상적으로 운영되기 위해서는 데이터 손실…
Lustre의 파일 create & open 과정 분석 - 2
이번 블로그에서 설명할 내용은 지난 Lustre의 파일 create & open 과정 분석 -1의 후속 내용으로, 클라이언트에서 보낸 요청이 MDS에서 처리되는 과정과 이후 클라이언트의 후속 처리 과정을 담고 있습니…
Lustre의 파일 create & open 과정 분석 - 1
이번 블로그에서 설명할 내용은 러스터를 활용하고 있는 환경에서 사용자가 새로운 파일을 생성하면, 내부적으로 이루어지는 과정을 분석한 내용을 담고 있습니다. 본 내용은 러스터의 전반적인 구조에 대해 기본적으로 알고 있…
20244
디자인 도구 Penpot(펜팟) 설치부터 활용까지
안녕하세요? 글루시스 웹 개발팀에서 근무하고 있는 이현태입니다. 프로젝트 개발 과정 중 애플리케이션 또는 웹페이지의 레이아웃과 요소를 보여주기 위해 사용되는 디자인의 시각적 표현 또는 프로토타입을 목업이라 합니다.…
병렬 네트워크 파일 시스템 pNFS의 재조명
AI 서비스의 정확도는 AI 모델의 정교함에 달려 있고, AI 모델의 정교함은 데이터셋을 얼마나 많이 학습했는지에 따라 고도화됩니다. 그리고 학습 시간과 비용을 줄이기 위해서는 데이터셋을 보다 빠르게 처리할 수 있는…
LVM 스냅샷 관리 기능 개발 후기 (1)
장애 복구나 유실된 데이터 복원을 위해서 AnyStor는 이전부터 스냅샷 기능을 지원하였습니다. 그러나 스냅샷 생성과 확인은 가능할 뿐, 실제로 복원 등에 사용하기 위해서는 관리자가 CLI 명령어를 사용하여 데이터를…
CXL 3.1 소개와 스토리지
지난 번 <PCIe를 대체할 인터커넥트 표준 기술, CXL> 포스트에서 CXL(Compute Express Link)에 대해 2.0 버전을 기준으로 내용을 다룬 바 있었습니다. 그로부터 약 2년이 지난 현재(2024…
20234
ZFS 파일 시스템
이번 기술 블로그 포스트에서는 ZFS에 대해 소개하고자 합니다. ZFS는 잘 알려진 파일 시스템 중에서도 비교적 최근에 등장한 파일 시스템입니다. 2001년 썬 마이크로시스템즈에서 자사 운영체제인 솔라리스의 일부로…
올플래시 스토리지 선정 시 체크포인트
기업들이 올플래시 스토리지를 도입하고자 하는 주된 목적은 기본적으로 하드디스크 기반의 스토리지보다 높은 성능을 제공할 수 있다는 것에 있습니다. 플래시 기반의 스토리지는 전통적으로 미션 크리티컬하거나 지연시간에 민감…
NVMe 시대의 RAID 2편: xiRAID
지난 포스트에서는 RAID(Redundant Array of Independent Disks)를 구성할 때 기존에 주로 사용하던 하드 디스크(HDD)가 아닌 고성능 NVMe SSD를 사용하였을 때 발생하는 문제점들에…
AI 워크로드에 적합한 스토리지
블로그 포스트 작성을 시작하려고 텅 빈 문서 화면을 볼 때마다 누군가가 대신 작성해 주었으면 좋겠다는 생각을 가끔 하게 됩니다. 그러다 우연히 블로그 포스트를 자동으로 작성해 주는 Copy.ai라는 웹 애플리케이션을…
20229
스토리지 기초지식 11편: 재해복구
최근 발생한 대형 데이터센터 장애를 계기로, 국회에서 IDC 법(데이터센터 재난관리계획포함법)을 2년 만에 재추진하고, 정보통신망법을 개정한다고 합니다. IDC 법은, 재난 발생 시 대규모 서비스를 제공하는 방송통신…
NVMe 시대의 RAID: GRAID와 PoseidonOS
다른 컴퓨터 부품과 마찬가지로 스토리지 장치 역시 영원히 문제없이 작동할 수는 없습니다. 잠시 사용자의 요청에 반응하지 못한다거나, 모르는 사이 저장된 자료의 내용이 바뀌어 있기도 하고, 최종적으로는 수명을 다하면…
TrueNAS SCALE의 설치부터 활용까지
안녕하세요? 저는 6월에 글루시스의 기술팀에 입사한 김진서입니다. IT 업계에 뛰어들며 다양한 분야와 장비를 접해보았지만, NAS는 알고 있으면서 익숙하지 않았던 기술이기도 했습니다. Synology NAS를 사용하…
NVMe 오버 패브릭(NVMe-oF)이란?
현재 스토리지 인터페이스의 주류인 SATA/SAS 인터페이스는 플래터가 회전하면서 물리적인 디스크 판으로부터 데이터를 읽고 쓰는 하드디스크에 최적화되었기 때문에, 전기 신호로 데이터를 읽고 쓰는 플래시 타입의 SSD…
Lustre 파일시스템과 GPUDirect Storage 소개
이번 장에서는 고성능 컴퓨팅(High Performance Computing, 이하 HPC) 클러스터에서 사용될 러스터 파일시스템(Lustre File System)과 GDS(GPUDirect Storage)에대해…
Kubernetes CSI 개념 정리 및 실습
컨테이너1 기술의 등장으로 기존 가상 머신보다 적은 용량을 가지는 가상 환경을 만들 수 있게 됐고, 가상 환경을 배포하는 시간도 단축되었습니다. 이와 같은 편의성 때문에 최근 클라우드 시스템에서 컨테이너를 많이 사용…
SPDK 시리즈 1 : SPDK 환경 구축 실습
최근 스토리지 연구를 수행하면서 SPDK를 다룰 일이 많아졌는데, 관련 자료를 찾다 보니 최신 기술이어서 그런지 실습 정보가 많이 부족하다는 것을 느꼈습니다. 그래서 그동안 경험했던 내용을 잘 정리해서 전달해 보고자…
SPDK에 대해: 개요 및 특징
최신 NVMe 기술을 적용한 고성능 저 지연 스토리지 미디어의 사용이 보편화되면서, 스토리지 소프트웨어 계층에서의 오버헤드가 주목 받고 있습니다. 지금까지 CPU, 메모리, 그리고 스토리지를 잇는 구조에서 입출력 성…
메타 객체 프로토콜(Meta Object Protocol)에 대하여
오늘은 메타 객체 프로토콜(Meta Object Protocol, 이하 MOP)에 대해서 공유해보려고 합니다. 객체에서 객체 자체를 참조해야 할 필요성 때문에 나타난 개념입니다. 우리는 일반적으로 클래스에 의해 생성…
202114
메모리 중심 컴퓨팅을 위한 인터커넥트 표준, Gen-Z
최근 AI 및 머신러닝이나 빅데이터 분석 등 한 번에 많은 양의 데이터를 빠르게 처리해야 하는 애플리케이션의 수요가 늘면서 CPU 중심적인 아키텍처의 한계가 드러나고 있습니다. 기존의 CPU 중심적인 아키텍처는 CP…
PCIe를 대체할 인터커넥트 표준 기술, CXL
지난 번 포스트 컴포저블 인프라란?: 개념과 구성 에서는 컴포저블 인프라에 대해 소개하면서 인터커넥트 기술인 CXL(Compute Express Link)과 Gen-Z에 대해 간단히 다루어 보았습니다. 이번 포스트에…
컴포저블 인프라란?: 개념과 구성
인공지능과 빅데이터 분석 등 고성능 워크로드를 요구하는 애플리케이션의 비중이 날이 갈수록 증가하고, 클라우드 서비스의 확대로 인해 고객들에게 제공되는 서비스의 규모와 종류 역시 다양해지고 있습니다. 각 애플리케이션은…
스토리지 기초지식 10편: 데이터 백업 1
빅데이터와 인공지능 분석 기술이 확산하게 되면서 기업이 보유한 데이터의 활용도와 가치가 갈수록 높아지고 있습니다. 또한, 클라우드 서비스를 기반으로 한 사업 모델이 보편화되면서 기업의 비즈니스 환경이 전보다 복잡해지…
소프트웨어 정의 스토리지 2편: 구성과 종류
지난번에 올린 ‘소프트웨어 정의 스토리지 1편: 개요’ 포스트에서는 소프트웨어 정의 스토리지(Software Defined Storage, 이하 SDS)의 개념과 특성에 대해 다루었습니다. 이번 포스트에서는 SDS의…
NVMe 2.0: 키-값(Key-Value) 명령어 집합
안녕하세요! NVMe 관련 포스트를 추운 겨울에 썼던 것 같은데 벌써 뜨거운 여름이 되었네요. 꽤 긴 시간이 지난 만큼 그사이에 NVMe 2.0이 출시됐습니다! 그런 만큼 이번 포스트는 NVMe 2.0에서 새로 추가…
NVMe 2.0: Zoned Namespace 명령어 집합
NVMe 2.0 버전이 출시되면서 ZNS(Zoned Namespace)라는 새로운 개념이 도입되었습니다. NVMe 입장에서만 새로운 개념이지, 비슷한 개념으로 이미 SMR(Shingled Magnetic Record…
소프트웨어 정의 스토리지 1편: 개요
현재의 데이터센터는 서버의 컴퓨팅 성능과 네트워크 기술의 발전으로 단일 서버에서 여러 개의 어플리케이션을 동시에 운영할 수 있게 되었습니다1. 이처럼 하나의 물리적 서버 내의 컴퓨팅 자원을 추상화해 여러 가상의 서버…
Nextcloud 란 무엇인가?
이번 포스트에서는 Nextcloud를 소개하고 설치 방법과 기능들에 대해 알아보고자 합니다. Nextcloud는 ownCloud 개발자중 하나인 Frank Karlitschek가 ownCloud를 포크해 개발한 오픈…
스토리지 기초 지식 9편: 오브젝트 스토리지란
오늘날 인터넷 트래픽에서 오고 가는 데이터는 비정형 데이터가 주를 이루고 있습니다. 이력서 양식에 맞추어서 입력하는 신상 정보를 정형 데이터라 한다면, 비정형 데이터는 사진이나 자기 PR 텍스트, 첨부 동영상과 같이…
ownCloud 란 무엇인가?
ownCloud1는 NAS(Network Attached Storage) 형식의 파일 호스팅 서비스를 사용하기 위한 클라이언트-서버 소프트웨어입니다. 2010년 1월 KDE개발자인 Frank Karlitschek가…
스토리지 기초 지식 8편: 씬 프로비저닝이란
스마트폰을 사용하는 현대인이라면 한 번쯤은 용량 부족으로 고민한 적이 있을 것입니다. 일일이 관리하기 번거로우니 필연적으로 사진 등을 클라우드로 자동 업로드하는 기능을 활용하는 경우가 발생합니다. 아이폰의 경우 주로…
플래시 메모리와 NVMe
“요즘 어떤 저장 장치를 사용하고 계시나요?” 이에 대한 답으로 “SSD(Solid State Drive)만”, 혹은 “두 개 다!”라고 하시는 분들이 매우 많을 것이라는 생각이 드네요. 예전과 달리 높은 용량 대비…
스토리지 이중화 2편: NAS 이중화 아키텍처 설계
안녕하세요. 지난번 포스팅 고가용성과 이중화에 이어서 이번 포스트에서는 클라이언트 환경에 따른 스토리지 이중화 아키텍처 설계 방법과 실 구축 사례를 소개하겠습니다. NAS(Network Attached Storage…
202011
스토리지 기초 지식 7편: 데이터 보호 - 스냅샷
윈도우에는 시스템 복원(맥에서는 타임머신)이라는 기능이 있습니다. 윈도우 업데이트 문제로 시스템 오류가 발생하거나 실수로 중요한 자료를 지워버렸을 때 이 시스템 복원 기능을 사용하면 마치 과거로 시간 여행하듯이 컴퓨…
스토리지 관리 인터페이스의 표준화, Swordfish
기업의 스토리지 인프라를 관리하는 입장에서 관리의 편의성과 효율성은 서비스 계속성만큼이나 중요한 요소입니다. 기업의 IT 인프라를 확장하거나 통합하는 과정에서 부득이하게 타 벤더의 스토리지를 도입하거나 같은 벤더라도…
엣지 컴퓨팅 환경과 연산 스토리지
최근 디지털 트랜스포메이션이나 정부의 데이터 댐 사업 등 산업 전반에 걸친 디지털 인프라의 확장으로 엣지 컴퓨팅에 대한 기대가 높아지고 있습니다. 엣지 컴퓨팅에 대해 간단히 설명해 드리자면, 엣지 컴퓨팅(edge c…
19개월 차 스토리지 개발자로서의 회고 - 권진영
벌써 9월입니다. 2020년의 3분기가 끝나가는 시점입니다. 입사한 지는 1년 8개월이라는 시간이 흘렀습니다. 입사 이후에 배운 것에 대해 되돌아볼 시간이 없었던 것 같아 지난 시간을 되돌아보기 위해 이번 기회에 회…
스토리지 이중화 1편: 고가용성과 이중화
기업은 사내 전산 시스템이나 IT 서비스를 안정적으로 운영하기 위해 많은 시간과 비용을 투자하고 있습니다. 특히 서비스가 중단되는 시간을 뜻하는 다운타임(Downtime) 을 최소화 하기위해 모든 시스템을 이중화로…
스토리지 기초 지식 6편: 데이터 보호 - RAID와 소거 코드
스토리지 시스템에 있어서 데이터 보호(data protection)는 기업 정보 자산을 보호하는 데 의의를 두고 있습니다. 그 자산은 운용 중인 핵심 어플리케이션이나 서비스에 등록된 고객 정보일 수도 있기 때문에,…
스토리지 기초 지식 5편: 데이터 티어링
‘최근 가격 하락으로 주목받고 있는 고성능 스토리지는?’이라고 묻는다면 ‘SSD’라고 즉시 답할 수 있는 한편, ‘SSD를 풀어서 쓰면 뭐라고 하나요.’라고 물어본다면 철자를 하나하나 꼬집어서 기억해 내는 과정이 생…
스토리지 기초 지식 4편: 중복 제거
우리의 뇌는 일상생활에서 수집한 정보를 선별하고 정리하는 과정을 거쳐 최종적으로 장기 기억에 저장합니다. 뇌는 한 번에 기억할 수 있는 양이 한정되어 있어 이러한 최적화 과정을 거치는데요, 스토리지도 이처럼 최적화할…
후반 작업 스튜디오에서 활용되는 스토리지
영상 콘텐츠에 있어서 4K UHD 포맷이 새로운 기준이라 할 수 있을 정도로 보편화하고 있습니다. 백화점 가전 코너나 온라인 쇼핑몰에서 TV를 사려고 보면 오히려 UHD 지원이 안 되는 TV를 찾는 것이 어려울 정도…
제 7회 난공불락 인프라 세미나
안녕하세요 글루시스 시스템 개발자 권진영입니다. 지난해 12월 난공불락 세미나에서 dm-vdo(이하 VDO)를 소개해 보았습니다. VDO(Virtual Data Optimizer)는 Red Hat 리눅스에서 데이터…
스토리지 기초 지식 3편: 스케일 업과 스케일 아웃
얼마 전 한국감정원에서 주택청약 관련 서비스를 제공하기 위해 개설한 ‘청약홈’ 웹사이트가 오픈 첫날에 서버 과부하로 다운되었다고 합니다. 해당 기관 관계자에 의하면, 7만 명 동시접속이 가능하게 서버를 증축했음에도…
20194
스토리지 기초 지식 2편: 스토리지 프로토콜
앞선 시간에서는 전반적인 스토리지의 종류와 그 쓰임새를 알아봤는데요, 이번에는 스토리지 데이터를 공유하는 데 있어서 어떤 프로토콜들이 있는지 소개해 보고자 합니다.
스토리지 기초 지식 1편: DAS, SAN 그리고 NAS
전세계 9000만명 이상 되는 넷플릭스 서비스 이용자들은 매주 10억 시간 이상 영화나 드라마를 시청한다고 합니다. 넷플릭스 비디오 서비스는 세계 각지의 AWS 데이터센터를 통해 끊김 없이 스트리밍 되며, 시청자들의…
특수한 전원 장애 상황에서 PV missing 복구
UPS(Uninterruptible Power Supply)가 불안정한 상태에서 전원 점검 작업 시에 스토리지의 컨트롤러에 일시적인 오류가 발생하였습니다. 후지쯔 스토리지가 일시적으로 다운되면서 NAS failove…
LVM Basic Architecture
LVM 기능을 사용하지 않을 때는 파일시스템과 물리 저장소 사이를 직접 연결하였습니다. LVM은 그런 불편함을 제거하기 위한 기능으로 Linux 환경에서 파일 시스템과 물리 저장소 사이의 추상 레이어를 제공하여 볼륨…
20181
인텔 옵테인 IMDT 기반 성능 테스트
위 이미지는 인텔 사이트에서 발췌한 것임을 밝혀 둔다. 최근 인텔 옵테인 NVMe를 테스트할 기회가 생겼다. 설치 방법과 성능 결과를 간략히 정리해 본다. 옵테인이 뭔지 어떻게 다른지는 구글에서 찾아 보면 수 많은…