병렬 네트워크 파일 시스템 pNFS의 재조명
AI 서비스의 정확도는 AI 모델의 정교함에 달려 있고, AI 모델의 정교함은 데이터셋을 얼마나 많이 학습했는지에 따라 고도화됩니다. 그리고 학습 시간과 비용을 줄이기 위해서는 데이터셋을 보다 빠르게 처리할 수 있는…
스토리지23편
LVM 스냅샷 관리 기능 개발 후기 (1)
장애 복구나 유실된 데이터 복원을 위해서 AnyStor는 이전부터 스냅샷 기능을 지원하였습니다. 그러나 스냅샷 생성과 확인은 가능할 뿐, 실제로 복원 등에 사용하기 위해서는 관리자가 CLI 명령어를 사용하여 데이터를…
CXL 3.1 소개와 스토리지
지난 번 <PCIe를 대체할 인터커넥트 표준 기술, CXL> 포스트에서 CXL(Compute Express Link)에 대해 2.0 버전을 기준으로 내용을 다룬 바 있었습니다. 그로부터 약 2년이 지난 현재(2024…
NVMe 오버 패브릭(NVMe-oF)이란?
현재 스토리지 인터페이스의 주류인 SATA/SAS 인터페이스는 플래터가 회전하면서 물리적인 디스크 판으로부터 데이터를 읽고 쓰는 하드디스크에 최적화되었기 때문에, 전기 신호로 데이터를 읽고 쓰는 플래시 타입의 SSD…
Lustre 파일시스템과 GPUDirect Storage 소개
이번 장에서는 고성능 컴퓨팅(High Performance Computing, 이하 HPC) 클러스터에서 사용될 러스터 파일시스템(Lustre File System)과 GDS(GPUDirect Storage)에대해…
SPDK 시리즈 1 : SPDK 환경 구축 실습
최근 스토리지 연구를 수행하면서 SPDK를 다룰 일이 많아졌는데, 관련 자료를 찾다 보니 최신 기술이어서 그런지 실습 정보가 많이 부족하다는 것을 느꼈습니다. 그래서 그동안 경험했던 내용을 잘 정리해서 전달해 보고자…
SPDK에 대해: 개요 및 특징
최신 NVMe 기술을 적용한 고성능 저 지연 스토리지 미디어의 사용이 보편화되면서, 스토리지 소프트웨어 계층에서의 오버헤드가 주목 받고 있습니다. 지금까지 CPU, 메모리, 그리고 스토리지를 잇는 구조에서 입출력 성…
소프트웨어 정의 스토리지 2편: 구성과 종류
지난번에 올린 ‘소프트웨어 정의 스토리지 1편: 개요’ 포스트에서는 소프트웨어 정의 스토리지(Software Defined Storage, 이하 SDS)의 개념과 특성에 대해 다루었습니다. 이번 포스트에서는 SDS의…
소프트웨어 정의 스토리지 1편: 개요
현재의 데이터센터는 서버의 컴퓨팅 성능과 네트워크 기술의 발전으로 단일 서버에서 여러 개의 어플리케이션을 동시에 운영할 수 있게 되었습니다1. 이처럼 하나의 물리적 서버 내의 컴퓨팅 자원을 추상화해 여러 가상의 서버…
Nextcloud 란 무엇인가?
이번 포스트에서는 Nextcloud를 소개하고 설치 방법과 기능들에 대해 알아보고자 합니다. Nextcloud는 ownCloud 개발자중 하나인 Frank Karlitschek가 ownCloud를 포크해 개발한 오픈…
스토리지 기초 지식 9편: 오브젝트 스토리지란
오늘날 인터넷 트래픽에서 오고 가는 데이터는 비정형 데이터가 주를 이루고 있습니다. 이력서 양식에 맞추어서 입력하는 신상 정보를 정형 데이터라 한다면, 비정형 데이터는 사진이나 자기 PR 텍스트, 첨부 동영상과 같이…
ownCloud 란 무엇인가?
ownCloud1는 NAS(Network Attached Storage) 형식의 파일 호스팅 서비스를 사용하기 위한 클라이언트-서버 소프트웨어입니다. 2010년 1월 KDE개발자인 Frank Karlitschek가…
스토리지 기초 지식 8편: 씬 프로비저닝이란
스마트폰을 사용하는 현대인이라면 한 번쯤은 용량 부족으로 고민한 적이 있을 것입니다. 일일이 관리하기 번거로우니 필연적으로 사진 등을 클라우드로 자동 업로드하는 기능을 활용하는 경우가 발생합니다. 아이폰의 경우 주로…
스토리지 이중화 2편: NAS 이중화 아키텍처 설계
안녕하세요. 지난번 포스팅 고가용성과 이중화에 이어서 이번 포스트에서는 클라이언트 환경에 따른 스토리지 이중화 아키텍처 설계 방법과 실 구축 사례를 소개하겠습니다. NAS(Network Attached Storage…
스토리지 기초 지식 7편: 데이터 보호 - 스냅샷
윈도우에는 시스템 복원(맥에서는 타임머신)이라는 기능이 있습니다. 윈도우 업데이트 문제로 시스템 오류가 발생하거나 실수로 중요한 자료를 지워버렸을 때 이 시스템 복원 기능을 사용하면 마치 과거로 시간 여행하듯이 컴퓨…
스토리지 관리 인터페이스의 표준화, Swordfish
기업의 스토리지 인프라를 관리하는 입장에서 관리의 편의성과 효율성은 서비스 계속성만큼이나 중요한 요소입니다. 기업의 IT 인프라를 확장하거나 통합하는 과정에서 부득이하게 타 벤더의 스토리지를 도입하거나 같은 벤더라도…
엣지 컴퓨팅 환경과 연산 스토리지
최근 디지털 트랜스포메이션이나 정부의 데이터 댐 사업 등 산업 전반에 걸친 디지털 인프라의 확장으로 엣지 컴퓨팅에 대한 기대가 높아지고 있습니다. 엣지 컴퓨팅에 대해 간단히 설명해 드리자면, 엣지 컴퓨팅(edge c…
스토리지 이중화 1편: 고가용성과 이중화
기업은 사내 전산 시스템이나 IT 서비스를 안정적으로 운영하기 위해 많은 시간과 비용을 투자하고 있습니다. 특히 서비스가 중단되는 시간을 뜻하는 다운타임(Downtime) 을 최소화 하기위해 모든 시스템을 이중화로…
스토리지 기초 지식 5편: 데이터 티어링
‘최근 가격 하락으로 주목받고 있는 고성능 스토리지는?’이라고 묻는다면 ‘SSD’라고 즉시 답할 수 있는 한편, ‘SSD를 풀어서 쓰면 뭐라고 하나요.’라고 물어본다면 철자를 하나하나 꼬집어서 기억해 내는 과정이 생…
스토리지 기초 지식 4편: 중복 제거
우리의 뇌는 일상생활에서 수집한 정보를 선별하고 정리하는 과정을 거쳐 최종적으로 장기 기억에 저장합니다. 뇌는 한 번에 기억할 수 있는 양이 한정되어 있어 이러한 최적화 과정을 거치는데요, 스토리지도 이처럼 최적화할…
후반 작업 스튜디오에서 활용되는 스토리지
영상 콘텐츠에 있어서 4K UHD 포맷이 새로운 기준이라 할 수 있을 정도로 보편화하고 있습니다. 백화점 가전 코너나 온라인 쇼핑몰에서 TV를 사려고 보면 오히려 UHD 지원이 안 되는 TV를 찾는 것이 어려울 정도…
스토리지 기초 지식 2편: 스토리지 프로토콜
앞선 시간에서는 전반적인 스토리지의 종류와 그 쓰임새를 알아봤는데요, 이번에는 스토리지 데이터를 공유하는 데 있어서 어떤 프로토콜들이 있는지 소개해 보고자 합니다.
스토리지 기초 지식 1편: DAS, SAN 그리고 NAS
전세계 9000만명 이상 되는 넷플릭스 서비스 이용자들은 매주 10억 시간 이상 영화나 드라마를 시청한다고 합니다. 넷플릭스 비디오 서비스는 세계 각지의 AWS 데이터센터를 통해 끊김 없이 스트리밍 되며, 시청자들의…