• TrueNAS SCALE의 설치부터 활용까지

    안녕하세요? 저는 6월에 글루시스의 기술팀에 입사한 김진서입니다. IT 업계에 뛰어들며 다양한 분야와 장비를 접해보았지만, NAS는 알고 있으면서 익숙하지 않았던 기술이기도 했습니다. Synology NAS를 사용하던 중 다른 NAS도 사용해 보고자 NAS 및 운영체제를 공부하며 정리한 내용을 구독자 여러분에게 전달하고자 합니다. 먼저 Synology는 저에게 가장 익숙했습니다. 초기 구축 비용이 높지만 하드웨어와 소프트웨어가...


  • NVMe 오버 패브릭(NVMe-oF)이란?

      현재 스토리지 인터페이스의 주류인 SATA/SAS 인터페이스는 플래터가 회전하면서 물리적인 디스크 판으로부터 데이터를 읽고 쓰는 하드디스크에 최적화되었기 때문에, 전기 신호로 데이터를 읽고 쓰는 플래시 타입의 SSD에 적합하지 않습니다. 하드디스크의 헤드 탐색시간이나 회전 지연 시간 설정과 같이 물리적인 입출력 구조를 갖지 않는 SSD에서는 I/O 요청 과정에 불필요한 작업이 포함되어 있고, 명령어...


  • Lustre 파일시스템과 GPUDirect Storage 소개

      Lustre 파일시스템과 GPUDirect Storage 소개   이번 장에서는 고성능 컴퓨팅(High Performance Computing, 이하 HPC) 클러스터에서 사용될 러스터 파일시스템(Lustre File System)과 GDS(GPUDirect Storage)에대해 간략하게 알아보겠습니다. 먼저 HPC 클러스터는 고도의 컴퓨팅 성능이 필요한 환경으로, 대규모의 애플리케이션들이 많은 양의 데이터를 처리합니다. 개발자는 HPC 애플리케이션 개발을 위해 병렬 처리를 위한 표준 라이브러리인 MPI(Message...


  • Kubernetes CSI 개념 정리 및 실습

    인사말 컨테이너1 기술의 등장으로 기존 가상 머신보다 적은 용량을 가지는 가상 환경을 만들 수 있게 됐고, 가상 환경을 배포하는 시간도 단축되었습니다. 이와 같은 편의성 때문에 최근 클라우드 시스템에서 컨테이너를 많이 사용하고 있는 추세입니다. 이번 포스팅에서 다룰 내용은 쿠버네티스2 환경에서 진행되는데요, 쿠버네티스라는 용어를 오다가다 들어보셨거나 처음 접하신 분들도 있을 거 같습니다....


  • SPDK 시리즈 1 : SPDK 환경 구축 실습

    인사말 최근 스토리지 연구를 수행하면서 SPDK를 다룰 일이 많아졌는데, 관련 자료를 찾다 보니 최신 기술이어서 그런지 실습 정보가 많이 부족하다는 것을 느꼈습니다. 그래서 그동안 경험했던 내용을 잘 정리해서 전달해 보고자 합니다. SPDK 개발에 관심 있으신 분들에게 도움이 되었으면 좋겠습니다. 이번 포스트에서는 NVMe SSD와 SPDK의 최신 코드를 이용해서 테스트 환경을 구축해...


  • SPDK에 대해: 개요 및 특징

    최신 NVMe 기술을 적용한 고성능 저 지연 스토리지 미디어의 사용이 보편화되면서, 스토리지 소프트웨어 계층에서의 오버헤드가 주목 받고 있습니다. 지금까지 CPU, 메모리, 그리고 스토리지를 잇는 구조에서 입출력 성능을 좌우하는 것은 항상 스토리지 하드웨어였습니다. 하드디스크를 위시한 전통적인 스토리지 미디어는 CPU나 메모리에 비해 현저히 느리고, 그 원인의 비중이 하드웨어가 더 컸기 때문에 소프트웨어...


  • 메타 객체 프로토콜(Meta Object Protocol)에 대하여

    메타 객체 프로토콜 (Meta Object Protocol) 오늘은 메타 객체 프로토콜(Meta Object Protocol, 이하 MOP)에 대해서 공유해보려고 합니다. MOP란? 객체에서 객체 자체를 참조해야 할 필요성 때문에 나타난 개념입니다. 우리는 일반적으로 클래스에 의해 생성된 것을 객체로 알고 있는데요. MOP 개념에서는 클래스나 메서드, 속성 모두 다 메타 클래스에 의해 생성된 객체입니다. (다른 관점에서...


  • 메모리 중심 컴퓨팅을 위한 인터커넥트 표준, Gen-Z

    최근 AI 및 머신러닝이나 빅데이터 분석 등 한 번에 많은 양의 데이터를 빠르게 처리해야 하는 애플리케이션의 수요가 늘면서 CPU 중심적인 아키텍처의 한계가 드러나고 있습니다. 기존의 CPU 중심적인 아키텍처는 CPU에서 처리 빈도나 우선도가 높은 데이터를 램에 재적하고, 스토리지로부터 해당 데이터를 불러오는 구성으로 되어 있습니다. 이러다 보니 CPU가 지원 가능한 메모리 채널...


  • PCIe를 대체할 인터커넥트 표준 기술, CXL

    지난 번 포스트 컴포저블 인프라란?: 개념과 구성 에서는 컴포저블 인프라에 대해 소개하면서 인터커넥트 기술인 CXL(Compute Express Link)과 Gen-Z에 대해 간단히 다루어 보았습니다. 이번 포스트에서는 CXL에 대해 조금 더 소개해 보고자 합니다.   CXL 소개 CXL은 오픈형 메모리 인터커넥트1 표준으로, 주목적은 호스트 프로세서와 CXL 디바이스 간에 저 지연 고대역폭 메모리 접근...


  • 컴포저블 인프라란?: 개념과 구성

    인공지능과 빅데이터 분석 등 고성능 워크로드를 요구하는 애플리케이션의 비중이 날이 갈수록 증가하고, 클라우드 서비스의 확대로 인해 고객들에게 제공되는 서비스의 규모와 종류 역시 다양해지고 있습니다. 각 애플리케이션은 하드웨어 리소스에 대한 요구 사항을 가지고 있고, 새로운 버전과 최적화 기능 등이 빠르게 배포되고 있는 것에 비해, 하드웨어의 발전 속도는 소프트웨어의 그것을 따라가지 못하고...


  • 스토리지 기초지식 10편: 데이터 백업 1

    빅데이터와 인공지능 분석 기술이 확산하게 되면서 기업이 보유한 데이터의 활용도와 가치가 갈수록 높아지고 있습니다. 또한, 클라우드 서비스를 기반으로 한 사업 모델이 보편화되면서 기업의 비즈니스 환경이 전보다 복잡해지고, 생성되는 데이터의 크기와 종류가 다양해지고 있습니다. 이처럼 데이터 분석과 클라우드를 기반으로 한 비즈니스가 유례없이 거대해지고 있지만, 동시에 데이터 손실에 따른 피해 규모 또한...


  • 소프트웨어 정의 스토리지 2편: 구성과 종류

    지난번에 올린 ‘소프트웨어 정의 스토리지 1편: 개요’ 포스트에서는 소프트웨어 정의 스토리지(Software Defined Storage, 이하 SDS)의 개념과 특성에 대해 다루었습니다. 이번 포스트에서는 SDS의 구성과 종류에 대해 소개해 보고자 합니다.   소프트웨어 정의 스토리지의 구성 및 운용 SDS는 기존의 물리적인 스토리지의 개념 자체를 소프트웨어 화한 것을 통칭합니다. IT 관리자는 SDS를 이용해 표준화된...


  • NVMe 2.0: Zoned Namespace 명령어 집합

    NVMe 2.0 버전이 출시되면서 ZNS(Zoned Namespace)라는 새로운 개념이 도입되었습니다. NVMe 입장에서만 새로운 개념이지, 비슷한 개념으로 이미 SMR(Shingled Magnetic Recording) HDD에 도입된 ZBC(Zoned Block Command)가 존재합니다. ZNS는 이러한 개념을 기반으로 NVMe 2.0 스펙에 새롭게 추가된 것입니다. 그럼 먼저 ZNS가 무엇인지에 대해 알아보도록 하겠습니다. ZNS란? ZNS는 Zoned Namespace의 약자로 연관성 있는 데이터...


  • NVMe 2.0: 키-값(Key-Value) 명령어 집합

    안녕하세요! NVMe 관련 포스트를 추운 겨울에 썼던 것 같은데 벌써 뜨거운 여름이 되었네요. 꽤 긴 시간이 지난 만큼 그사이에 NVMe 2.0이 출시됐습니다! 그런 만큼 이번 포스트는 NVMe 2.0에서 새로 추가된 새로운 기능, 그중에서도 키-값 명령어 집합(Key-Value Command Set)를 메인으로 다루어 보도록 하겠습니다.   키-값 명령어 집합(Key-Value Command Set)   키-값...


  • 소프트웨어 정의 스토리지 1편: 개요

    현재의 데이터센터는 서버의 컴퓨팅 성능과 네트워크 기술의 발전으로 단일 서버에서 여러 개의 어플리케이션을 동시에 운영할 수 있게 되었습니다1. 이처럼 하나의 물리적 서버 내의 컴퓨팅 자원을 추상화해 여러 가상의 서버를 구성하고 운용하는 기술이 바로 서버 가상화 기술입니다만, 여기서 더 나아가 하드웨어의 모든 부분을 소프트웨어만으로 구현한다는 개념으로 ‘소프트웨어 정의’가 있습니다. 소프트웨어 정의라는...


  • Nextcloud 란 무엇인가?

    1. Nextcloud 란?? 이번 포스트에서는 Nextcloud를 소개하고 설치 방법과 기능들에 대해 알아보고자 합니다. Nextcloud는 ownCloud 개발자중 하나인 Frank Karlitschek가 ownCloud를 포크해 개발한 오픈소스 기반 클라우드 스토리지 소프트웨어입니다. 지난 2016년 4월에 출시해 지속적으로 개발되고 있으며, 로컬 컴퓨터 또는 외부 파일 스토리지 호스팅에 사용할 수 있습니다. 여타 클라우드 파일 서비스처럼 파일 저장...


  • 스토리지 기초 지식 9편: 오브젝트 스토리지란

    오늘날 인터넷 트래픽에서 오고 가는 데이터는 비정형 데이터가 주를 이루고 있습니다. 이력서 양식에 맞추어서 입력하는 신상 정보를 정형 데이터라 한다면, 비정형 데이터는 사진이나 자기 PR 텍스트, 첨부 동영상과 같이 규격 외의 데이터를 말합니다. 불과 2000년대 후반까지만 해도 비정형 데이터는 전체 데이터의 31%에 불과했으나1, 시장조사기관인 IDC에 의하면 2025년까지는 전체 데이터의 80%를...


  • ownCloud 란 무엇인가?

      1. ownCloud란 무엇인가? ownCloud1는 NAS(Network Attached Storage) 형식의 파일 호스팅 서비스를 사용하기 위한 클라이언트-서버 소프트웨어입니다. 2010년 1월 KDE개발자인 Frank Karlitschek가 상용 클라우드 스토리지 업체를 대체할 수 있는 무료 대체품을 만들면서 시작되었습니다. 그리고 ownCloud는 상용되는 클라우드 제품과 다르게 개인 서버에 비용 없이 설치가 가능하며 서비스를 제공하는 업체의 상용 서비스도 받을...


  • 스토리지 기초 지식 8편: 씬 프로비저닝이란

    스마트폰을 사용하는 현대인이라면 한 번쯤은 용량 부족으로 고민한 적이 있을 것입니다. 일일이 관리하기 번거로우니 필연적으로 사진 등을 클라우드로 자동 업로드하는 기능을 활용하는 경우가 발생합니다. 아이폰의 경우 주로 iCloud를 사용하게 되는데, iCloud는 기본적으로 5GB를 무료로 제공합니다. 네이버 MYBOX(무려 30GB)나 구글 드라이브에 비하면 적은 편이지만 무료로 잠시 사용하기에는 적절한 용량입니다. 이처럼 몇몇...


  • 플래시 메모리와 NVMe

    “요즘 어떤 저장 장치를 사용하고 계시나요?” 이에 대한 답으로 “SSD(Solid State Drive)만”, 혹은 “두 개 다!”라고 하시는 분들이 매우 많을 것이라는 생각이 드네요. 예전과 달리 높은 용량 대비 저렴한 가격이라는 HDD(Hard Disk Drive)의 강점이 SSD와 거의 차이가 없게 되면서 나타나는 현상인 것 같습니다. 심지어 SSD는 HDD 보다 약 5~10배가량 빠르다는...


  • 스토리지 이중화 2편: NAS 이중화 아키텍처 설계

    안녕하세요. 지난번 포스팅 고가용성과 이중화에 이어서 이번 포스트에서는 클라이언트 환경에 따른 스토리지 이중화 아키텍처 설계 방법과 실 구축 사례를 소개하겠습니다.   NAS 이중화 아키텍처 NAS(Network Attached Storage)는 네트워크 기반의 파일 공유 서비스를 수행하는 스토리지이며, 클라이언트는 일반적으로 이더넷 네트워크를 통해 NAS에 접속하여 파일을 저장하거나 불러올 수 있습니다. 이를 위해 NAS는 스토리지...


  • 스토리지 기초 지식 7편: 데이터 보호 - 스냅샷

    윈도우에는 시스템 복원(맥에서는 타임머신)이라는 기능이 있습니다. 윈도우 업데이트 문제로 시스템 오류가 발생하거나 실수로 중요한 자료를 지워버렸을 때 이 시스템 복원 기능을 사용하면 마치 과거로 시간 여행하듯이 컴퓨터를 과거의 복원 시점으로 되돌릴 수 있습니다. 새로 생성한 데이터는 존재하지 않게 되지만, 수정되거나 삭제된 데이터는 과거의 상태로 돌아오게 됩니다. 이번에 소개해 드릴 스냅샷(snapshot)...


  • 스토리지 관리 인터페이스의 표준화, Swordfish

    기업의 스토리지 인프라를 관리하는 입장에서 관리의 편의성과 효율성은 서비스 계속성만큼이나 중요한 요소입니다. 기업의 IT 인프라를 확장하거나 통합하는 과정에서 부득이하게 타 벤더의 스토리지를 도입하거나 같은 벤더라도 호환이 안 되는 스토리지를 따로 관리해야 하는 경우가 발생합니다. 이렇게 되면 IT 인프라의 복잡도가 상승해 관리 효율이 떨어져 운영비용이 상승하게 됩니다. 스토리지 업계에서는 이러한 이슈를...


  • 엣지 컴퓨팅 환경과 연산 스토리지

    최근 디지털 트랜스포메이션이나 정부의 데이터 댐 사업 등 산업 전반에 걸친 디지털 인프라의 확장으로 엣지 컴퓨팅에 대한 기대가 높아지고 있습니다. 엣지 컴퓨팅에 대해 간단히 설명해 드리자면, 엣지 컴퓨팅(edge computing)은 기존에 클라우드에서 전부 받아서 처리할 데이터의 일부를 그 데이터 생성의 근원지인 엣지(가장자리)에 소재하는 서버 등의 컴퓨팅 장비에서 분담해서 처리한다는 개념입니다. 예를...


  • 19개월 차 스토리지 개발자로서의 회고 - 권진영

    입사 후 약 1년 반의 기간에 대한 스토리지 개발자로서의 회고 벌써 9월입니다. 2020년의 3분기가 끝나가는 시점입니다. 입사한 지는 1년 8개월이라는 시간이 흘렀습니다. 입사 이후에 배운 것에 대해 되돌아볼 시간이 없었던 것 같아 지난 시간을 되돌아보기 위해 이번 기회에 회고를 해보려고 합니다. 회고를 쓰기 전에 다른 분들의 회고를 많이 읽어 보았습니다....


  • 스토리지 이중화 1편: 고가용성과 이중화

    기업은 사내 전산 시스템이나 IT 서비스를 안정적으로 운영하기 위해 많은 시간과 비용을 투자하고 있습니다. 특히 서비스가 중단되는 시간을 뜻하는 다운타임(Downtime) 을 최소화 하기위해 모든 시스템을 이중화로 구성하고 장비의 상태를 지속적으로 확인하면서 정상적인 서비스를 유지하기위해 노력합니다. 이렇게 서비스를 안정적인 상태로 오래 기간 운영하는 성질을 고가용성(HA: High Availability) 이라고 표현합니다. 고가용성은 단어...


  • 스토리지 기초 지식 6편: 데이터 보호 - RAID와 소거 코드

    스토리지 시스템에 있어서 데이터 보호(data protection)는 기업 정보 자산을 보호하는 데 의의를 두고 있습니다. 그 자산은 운용 중인 핵심 어플리케이션이나 서비스에 등록된 고객 정보일 수도 있기 때문에, IT 관리자들은 스토리지 시스템을 구축하기에 앞서 자사의 인프라와 사용 목적을 파악하고 그에 따른 데이터 보호 방법을 강구해야 합니다. 스토리지의 데이터 손실을 복구할 수...


  • 스토리지 기초 지식 5편: 데이터 티어링

    ‘최근 가격 하락으로 주목받고 있는 고성능 스토리지는?’이라고 묻는다면 ‘SSD’라고 즉시 답할 수 있는 한편, ‘SSD를 풀어서 쓰면 뭐라고 하나요.’라고 물어본다면 철자를 하나하나 꼬집어서 기억해 내는 과정이 생겨 답이 조금 느려집니다. 이처럼 일상에서 자주 쓰이는 용어는 바로 기억해 답할 수 있지만, 알아 둬도 나쁘지 않은 정도로 중요성이 떨어지는 정보는 다시 끄집어내는...


  • 스토리지 기초 지식 4편: 중복 제거

    우리의 뇌는 일상생활에서 수집한 정보를 선별하고 정리하는 과정을 거쳐 최종적으로 장기 기억에 저장합니다. 뇌는 한 번에 기억할 수 있는 양이 한정되어 있어 이러한 최적화 과정을 거치는데요, 스토리지도 이처럼 최적화할 방법이 있습니다. 예를 들어 스토리지에 A라는 데이터가 저장된 상태에서 조금 수정된 A’라는 데이터가 들어올 경우, 이전에 저장된 데이터 A와 중복되는 부분의...


  • 후반 작업 스튜디오에서 활용되는 스토리지

    영상 콘텐츠에 있어서 4K UHD 포맷이 새로운 기준이라 할 수 있을 정도로 보편화하고 있습니다. 백화점 가전 코너나 온라인 쇼핑몰에서 TV를 사려고 보면 오히려 UHD 지원이 안 되는 TV를 찾는 것이 어려울 정도입니다. 일반 HD와 UHD의 차이가 아날로그와 HD의 차이 정도는 아니라고 하지만 기술 수명 주기 측면에서는 이미 도입기를 한참 지났다고...


  • 제 7회 난공불락 인프라 세미나

    난공불락 인프라 세미나를 준비하면서 … 안녕하세요 글루시스 시스템 개발자 권진영입니다. 지난해 12월 난공불락 세미나에서 dm-vdo(이하 VDO)를 소개해 보았습니다. VDO(Virtual Data Optimizer)는 Red Hat 리눅스에서 데이터 압축 및 중복제거를 수행하는 툴입니다. 중복제거란 데이터를 블록 단위로 나누어서 중복되는 블록 중 하나만 저장하는 기술로 실제 저장되는 데이터를 극단적으로 줄일 수 있습니다. 이번 세미나에서...


  • 스토리지 기초 지식 3편: 스케일 업과 스케일 아웃

    얼마 전 한국감정원에서 주택청약 관련 서비스를 제공하기 위해 개설한 ‘청약홈’ 웹사이트가 오픈 첫날에 서버 과부하로 다운되었다고 합니다. 해당 기관 관계자에 의하면, 7만 명 동시접속이 가능하게 서버를 증축했음에도 예상치 못한 특정 서버 과부하가 있었다고 하는데요, 이처럼 기업 IT 인프라에 있어서 네트워크 대역폭, 스토리지, 애플리케이션의 증가율은 예측하기가 어려워 IT 관리자분들은 항상 이러한...


  • 스토리지 기초 지식 2편: 스토리지 프로토콜

      앞선 시간에서는 전반적인 스토리지의 종류와 그 쓰임새를 알아봤는데요, 이번에는 스토리지 데이터를 공유하는 데 있어서 어떤 프로토콜들이 있는지 소개해 보고자 합니다.   파이버 채널   <파이버 채널 케이블>   파이버 채널(Fibre Channel, FC)은 기가비트 급의 전송 속도를 가진 네트워크 기술입니다. 처음 나왔을 당시에는 높은 트래픽을 처리하는데 TCP/IP보다 빠르고, 스토리지 전용...


  • 스토리지 기초 지식 1편: DAS, SAN 그리고 NAS

    목차 데이터 스토리지 SAN: Storage Area Network NAS: Network Attached Storage SAN과 NAS의 용도 유니파이드 스토리지? 마치며   데이터 스토리지 전세계 9000만명 이상 되는 넷플릭스 서비스 이용자들은 매주 10억 시간 이상 영화나 드라마를 시청한다고 합니다. 넷플릭스 비디오 서비스는 세계 각지의 AWS 데이터센터를 통해 끊김 없이 스트리밍 되며, 시청자들의 취향 정보를...


  • 특수한 전원 장애 상황에서 PV missing 복구

    특수한 상황에서 발생한 PV missing 복구 1. 특수 상황의 전원 장애 발생 UPS(Uninterruptible Power Supply)가 불안정한 상태에서 전원 점검 작업 시에 스토리지의 컨트롤러에 일시적인 오류가 발생하였습니다. 후지쯔 스토리지가 일시적으로 다운되면서 NAS failover 과정 중 오류로 인하여 재부팅이 시작되었습니다. 재부팅 이후 글러스터 볼륨의 상태가 비정상 상태인 것을 인지하고 pacemaker 상태를 확인하니...


  • LVM Basic Architecture

    LVM 기본 구조 정리 LVM(Logical Volume Management)이란? LVM 기능을 사용하지 않을 때는 파일시스템과 물리 저장소 사이를 직접 연결하였습니다. LVM은 그런 불편함을 제거하기 위한 기능으로 Linux 환경에서 파일 시스템과 물리 저장소 사이의 추상 레이어를 제공하여 볼륨을 손쉽고 유연하게 관리할 수 있는 기능을 제공합니다. LVM은 크게 PV(Physical Volume), VG(Volume Group), LV(Logical Volume)...


  • 인텔 옵테인 IMDT 기반 성능 테스트

    위 이미지는 인텔 사이트에서 발췌한 것임을 밝혀 둔다. 최근 인텔 옵테인 NVMe를 테스트할 기회가 생겼다. 설치 방법과 성능 결과를 간략히 정리해 본다. 옵테인 ? 옵테인이 뭔지 어떻게 다른지는 구글에서 찾아 보면 수 많은 자료가 있다. 나는 힘 좋고 오래 가는 밧데리… 아니 SSD로 정리해 보았고 가성비에 부응하는지 봐야겠다. 옵테인 활용...