후반 작업 스튜디오에서 활용되는 스토리지

영상 콘텐츠에 있어서 4K UHD 포맷이 새로운 기준이라 할 수 있을 정도로 보편화하고 있습니다. 백화점 가전 코너나 온라인 쇼핑몰에서 TV를 사려고 보면 오히려 UHD 지원이 안 되는 TV를 찾는 것이 어려울 정도입니다. 일반 HD와 UHD의 차이가 아날로그와 HD의 차이 정도는 아니라고 하지만 기술 수명 주기 측면에서는 이미 도입기를 한참 지났다고 볼 수 있습니다. 무엇보다 UHD TV가 보급된 많은 소비자 입장에서는 그들의 눈높이에 맞는 양질의 영상을 보고 싶을 것입니다.

이러한 고화질 영상의 수요 상승에 맞추어 후반 작업 스튜디오도 4K UHD 영상 제작을 위한 스토리지 인프라를 갖추어 가고 있습니다. 스튜디오 내 스토리지는 그 용도에 따라 도입할 수 있는 구성이 상이한데, 우선 스튜디오의 후반 작업에서 발생하는 워크로드의 특성부터 소개해 보고자 합니다.

후반 작업 워크로드

후반 작업(post-production)이란 간단히 말해 촬영 이후의 전반적인 편집 작업을 말합니다. 각 워크스테이션에서 로컬의 DAS나 공유 스토리지를 통해 미디어 파일을 받아 영상 및 음성 편집, 시각 효과, 색 보정, 영상 변환 등의 작업을 진행하고 원본 및 편집된 데이터를 아카이브 스토리지에 저장하는 과정까지 포함합니다. 여기서 스토리지의 역할은 높은 미디어 워크로드를 원활하게 처리하고 저장 공간 확보 및 데이터 무결성을 유지하는 데 있습니다. 다음과 같이 후반 작업 요소별 워크로드를 정리해 보았습니다.

• 편집(editorial) 비선형 영상 편집(non-linear editing, NLE)은 기존의 선형방식과는 다르게 프레임별로 동시에 검색 및 편집 작업이 가능합니다. 무엇보다 실시간으로 편집 작업이 진행되고 낮은 압축률을 가진 코덱을 써서 용량이 막대하기 때문에 긴 순차 읽기와 저지연 쓰기를 감당할 수 있는 스토리지 시스템이 요구됩니다. GPFS나 CXFS와 같은 기존 미디어 워크로드 특화 파일시스템은 플래시, 저 지연, 고집적 I/O, 작은 파일 단위 처리에 최적화되어 있지 않아 새로운 파일시스템이 요구됩니다. 가상화를 통한 멀티테넌시 또한 중요한 요구사항 중 하나입니다.

• VFX(visual effect) 렌더링(rendering)의 경우, 여러 이미지를 모아 영상으로 구성하는 작업입니다. 1분 이내의 비디오는 초당 24프레임으로 1,440프레임까지 만들 수 있기 때문에 메타데이터 워크로드가 매우 높은 작업입니다. 렌더링 워크로드는 메타데이터 작업의 60-80%를 차지하며 읽기 쓰기의 비율이 거의 비슷합니다. 또한 하나의 영화를 제작할 시 8-32KB의 파일이 수백만 개가 모여 페타바이트급 용량을 차지하게 되고, 렌더링 시간을 최대한 줄이기 위해 수천 개의 CPU 코어가 할당됩니다. 이 때문에 NFS와 같이 낮은 오버헤드를 보이는 스테이트리스(stateless) 프로토콜 사용이 요구됩니다.

• 영상 변환(transcoding) 하나의 비디오 스트림은 최종 배포를 위해 작게는 20개까지 트랜스코딩 되며, 트랜스코딩 입출력은 큰 읽기(64KB 이상)가 동반되어 CPU 처리를 통해 압축 포맷으로 쓰기를 진행합니다. 다수의 비디오 스트림을 각각 트랜스코딩을 통해 다수의 압축 포맷으로 변형하는 작업을 진행하기 때문에 높은 랜덤 병렬 읽기 및 쓰기가 가능한 스토리지가 요구됩니다.

후반 작업용 스토리지의 과제

수요가 발생함에 따라 후반 작업 스튜디오 내 스토리지 인프라에 여러 변화가 생기고 있습니다. 기존의 일반 HD보다 해상도, 비트레이트, 프레임 율 등이 높아짐에 따라 영상 데이터의 크기가 4배 증가했고, 이를 여러 스트림으로 실시간 편집 및 용량 확보를 위해서는 스토리지 인프라의 업그레이드가 불가피합니다. 이처럼 후반 작업용 스토리지 인프라는 수요의 변동에 민감하고, 스토리지 관리자는 향후 스토리지 공간의 성장과 성능의 확대, 주어진 예산 등을 모두 고려해서 유연한 스토리지 인프라를 구축해야 합니다.

고성능 입출력

영화나 드라마 제작 시 편집 과정에서 생성되는 미디어 데이터가 수 PB 급으로 커지고 주 스토리지에서 이를 여러 스트림에서 처리하기에 기존 HDD만으로는 감당하기 어려워졌습니다. 이에 최근에는 미디어용 주 스토리지에 NAND SSD나 NVMe SSD를 올플래시로 구성하는 경향이 높아지고 있습니다. 기존 HDD보다 낮은 지연 시간으로 스토리지 서비스를 제공할 수 있고, TCO도 성능과 대비해 낮아지고 있어 고성능 미디어 데이터 처리가 요구되는 편집 작업이나 렌더링 용도로 채용되고 있습니다.
스토리지 측에서 RoCE(RDMA over Converged Ethernet)를 지원하는 경우, NIC에서 메모리로 접근할 때 커널과 CPU를 통하지 않아(커널 바이패스) CPU 부하가 줄어 컴퓨팅 리소스를 고해상도 미디어 파일 송신 및 처리에 추가로 할당할 수 있습니다.

높은 네트워크 대역폭

영상 편집 작업에서 저지연을 구현하기 위해서는 서버 자체의 성능도 중요하지만, 기본적으로 네트워크 속도가 뒷받침되어야 합니다. 압축률이 낮은 4K 비디오를 편집하는 경우 네트워크 대역폭에 따라 저지연으로 처리 가능한 스트림 수가 제한되기 때문에 여러 워크스테이션에서 동시 편집하기 위해서는 10GbE 이상의 속도가 요구됩니다. 4K DPX 포맷의 10비트 24 FPS 영상의 경우 10 GbE는 가용 스트림이 1개지만 50 GbE 정도는 되어야 스트림이 7개 정도로 가능해집니다.

용량 성장 예측

무수정 미디어 데이터를 목표로 하는 영상으로 만들어 낼 때까지 원본과 편집 본 등을 제작하는 과정에서 많은 양의 미디어 데이터가 생성됩니다. 스토리지에 저장되는 데이터의 종류, 크기, 접근 방식을 파악해 데이터 성장 트렌드를 분석하고 그에 맞춘 확장 플랜 및 스토리지 인프라를 갖출 수 있어야 합니다. 또한 스토리지의 공간 효율을 위해 어떤 자원이 자주 접근되고, 아카이브에 들어가야 하는지에 대한 스토리지 정책을 마련해야 합니다.

스토리지 인프라 구성

SAN vs NAS vs 오브젝트/클라우드의 논쟁은 적용 분야 전반에 걸쳐서 논의되는 사안입니다. 여기 후반 작업 분야에서도 그렇습니다. 스토리지의 용도, 기존 인프라, 사용 계획, 가용 예산 등에 따라 어떤 구성의 스토리지를 구축할지 업그레이드할지가 달라집니다.

이전에 올린 포스트 스토리지 기초 지식 1편: DAS, SAN, 그리고 NAS에서도 다루었지만, NAS는 기존 이더넷 환경에 연결만 하면 되기에 SAN보다 쉽고 저렴하게 구축할 수 있다는 장점이 있습니다. 다만 이더넷 속도의 한계와 네트워크 트래픽 공유 등의 문제로 후반 작업 스튜디오에서는 아카이빙 스토리지 위주로 활용되어 왔습니다. NAS의 이런 신세는 이더넷 속도의 비약적인 발전으로 달라졌습니다. 128Gbps 파이버채널 속도에 근접하는 100GbE 이더넷의 등장으로 NAS의 단점이던 네트워크 속도가 어느 정도 보완되었고, 스케일 아웃 방식을 통해 높은 확장성, 비교적 낮은 확장 비용 등을 장점으로 협업용 주 스토리지의 지위를 얻고 있습니다. 또한 하드디스크 비용의 감소와 확장에 따른 비용 효율을 고려해 스케일 아웃 NAS를 액티브 아카이브로써 활용하는 경우도 늘고 있습니다.

사용자가 수백 명에서 수천 명에 달하는 단체에서 방대한 양의 데이터를 다루는 경우 네트워크 트래픽 확보를 위해 SAN을 사용하는 경우가 많습니다. 특히 거대한 렌더팜 등 거대한 양의 데이터가 넘나드는 환경에서 병목 현상이 적어 안정적인 성능을 보여줍니다. SAN에서 협업 환경을 구성하는 경우 SNFS나 IBM Spectrum Scale(GPFS) 등의 SAN 파일시스템이 필요합니다. 하지만 대형 SAN 환경에서는 메타데이터 컨트롤러 과부하로 성능 저하가 발생해 시스템 나누어 구성해야 하는 경우가 생깁니다.

오브젝트 스토리지는 위의 대규모 데이터로 인한 확장성 문제를 해결하기 위해 고안되었다고 볼 수 있습니다. 메타데이터가 오브젝트와 함께 저장되기 때문에 대규모 데이터를 저장하는 환경에서는 용량과 성능을 모두 확보할 수 있고, 검색이 실시간으로 가능해 뛰어난 접근성을 보입니다. 많은 단체가 유연성을 생각해 퍼블릭 클라우드를 활용하곤 합니다. 데이터셋이 작은 경우 쉽게 저장하고 공유할 수 있어 매우 유용하지만 대규모 데이터를 저장하는 경우 비용 효율이 매우 떨어집니다. 또 다른 단점은 데이터 보안입니다. 제작 중인 영상에 대한 보안 유지가 중요한 스튜디오 입장에서는 정보 유출을 원천 방지하기 위해 온프레미스 저장을 기본으로 하고 있습니다. 이러한 특성 때문에 스튜디오에서 오브젝트 스토리지의 주 용도는 온프레미스 액티브 아카이브 스토리지입니다. 단일 네임스페이스로 수백 PB 급의 고확장 스토리지 환경을 제공하며, 이레이저 코딩¹을 통해 데이터 무결성을 보장할 수 있다는 특성으로 장기간 대규모 데이터를 안전하게 보관할 수 있습니다.

마치며

후반 작업 스튜디오에서의 스토리지 인프라 구성은 때에 따라 유연한 해결책이 요구됩니다. 최근 코로나 19 확산으로 미디어 산업을 포함한 거의 모든 산업군에 걸쳐 어려움이 가중되고 있는 와중 퍼블릭 클라우드 서비스 업체만이 유일하게 호조를 보인다고 합니다. 사회적 거리 두기로 온라인 강의나 원격근무의 수요가 높아짐에 따라 구축이 쉽고 유연한 클라우드 서비스가 단기적인 대안으로 떠오르고 있습니다. 특히 영상 편집 스튜디오에 있어서 느리고 비용이 막대하더라도 클라우드를 통해 원격에서 영상 편집 작업을 진행할 수 있어 업무 마비를 최소화할 수 있었다고 합니다.

참고

후반 작업 워크로드

• https://www.careersinfilm.com/post-production/
• https://www.netapp.com/us/media/wp-7301.pdf

후반 작업용 스토리지의 과제

• https://www.snia.org/sites/default/files/SSSI/SNIA_Trends%20in%20Media%20and%20Entertainment-Coughlin-Beck-McDonald%20FINAL.pdf
• http://landing.quantum.com/rs/561-AAR-658/images/Quantum_Research_4kUHD_researchreport.pdf

스토리지 인프라 구성

• http://www.bikorea.net/news/articleView.html?idxno=20635
• https://postperspective.com/storage-trends-for-me/
• http://www.ciokorea.com/t/21998/%EC%8A%A4%ED%86%A0%EB%A6%AC%EC%A7%80/38762
• http://www.ciokorea.com/news/148768

각주