이미지 70.png
스토리지와 AI 모델 간의 원활한 데이터 흐름을 지원하는 확장 가능한 엔터프라이즈 스토리지 시스템. 사진: Midjourney

인공지능은 기업의 데이터 저장 및 접근 방식을 변화시키고 있습니다. 기존의 데이터 저장 시스템은 한 번에 소수의 사용자의 간단한 명령을 처리하도록 설계된 반면, 수백만 명의 에이전트를 보유한 오늘날의 AI 시스템은 방대한 양의 데이터에 지속적으로 병렬로 접근하고 처리해야 하기 때문입니다.

기존의 저장 시스템은 이제 여러 계층의 복잡성을 가지게 되었고, 이로 인해 데이터가 GPU(AI의 "두뇌 세포"로 여겨지는 그래픽 처리 장치)에 도달하기 전에 여러 계층을 통과해야 하므로 AI의 속도가 느려졌습니다.

MIT 출신 마이클 초와 오타 히로시가 공동 설립한 클라우디안(Cloudian)은 데이터 스토리지가 AI 혁명에 발맞춰 나갈 수 있도록 지원하고 있습니다. 클라우디안은 스토리지와 AI 모델 간의 원활한 데이터 흐름을 지원하는 확장 가능한 엔터프라이즈 스토리지 시스템을 개발했습니다.

이 시스템은 저장소에 병렬 컴퓨팅을 적용하여 복잡성을 줄이고, AI와 데이터 기능을 단일 병렬 처리 플랫폼으로 통합하여 대규모 데이터 세트를 저장, 검색 및 처리할 수 있으며, 저장소와 GPU 및 CPU 간에 고속 직접 연결을 제공합니다.

Cloudian의 통합 컴퓨팅-스토리지 플랫폼은 상업적 규모로 AI 도구를 구축하는 과정을 간소화하는 동시에 기업에 AI 폭발적 성장에 대응할 수 있는 스토리지 인프라를 제공합니다.

"사람들이 AI에 대해 종종 잊는 것 중 하나는 AI가 전적으로 데이터에 달려 있다는 사실입니다."라고 Tso는 말합니다. "데이터가 10% 더 많아진다고 해서 AI 성능이 10% 향상되는 것은 아닙니다. 10배 더 많은 데이터만으로는 충분하지 않습니다. 1,000배 더 많은 데이터가 필요합니다. 관리하기 쉬운 방식으로 데이터를 저장하고, 데이터가 들어오는 즉시 처리할 수 있도록 연산 기능을 내장하는 것이 바로 AI 업계가 나아가야 할 방향입니다."

객체 스토리지와 AI

현재 Cloudian 플랫폼은 문서, 비디오 , 센서 데이터 등 모든 유형의 데이터가 메타데이터를 포함한 단일 객체로 저장되는 객체 스토리지 아키텍처를 사용합니다. 객체 스토리지는 방대한 양의 데이터를 평면 구조로 관리할 수 있어 비정형 데이터 및 AI 시스템에 이상적입니다. 하지만 이전에는 데이터를 컴퓨터 메모리에 복사하지 않고 AI 모델에 직접 전송하는 것이 불가능하여 지연 시간과 에너지 낭비가 발생했습니다.

7월, 클라우디안은 벡터 데이터베이스로 객체 스토리지 시스템을 확장했다고 발표했습니다. 벡터 데이터베이스는 AI에서 즉시 사용할 수 있는 형태로 데이터를 저장합니다. 데이터가 수집되면 클라우디안은 추천 엔진, 검색, AI 어시스턴트와 같은 AI 도구를 지원하기 위해 실시간으로 데이터의 벡터 형태를 계산합니다.

클라우디안은 또한 엔비디아와의 파트너십을 통해 자사 스토리지 시스템을 엔비디아 GPU와 직접 연동할 수 있도록 한다고 발표했습니다. 클라우디안은 이 새로운 시스템을 통해 AI 처리 속도가 향상되고 컴퓨팅 비용이 절감될 것이라고 밝혔습니다.

"NVIDIA가 약 1년 반 전에 저희에게 제안한 이유는 GPU가 데이터가 있어야만 유용하기 때문입니다."라고 Tso는 말했습니다. "이제 사람들은 방대한 양의 데이터를 옮기는 것보다 데이터에 AI를 적용하는 것이 더 쉽다는 것을 깨달았습니다. 저희 스토리지 시스템에는 다양한 AI 기능이 내장되어 있어 데이터를 수집하고 저장하는 곳 근처에서 사전 처리 및 사후 처리를 할 수 있습니다."

AI 우선 저장

Cloudian은 대형 제조업체, 금융 기관, 의료 시설, 정부 기관을 포함하여 전 세계 약 1,000개 기업이 데이터를 최대한 활용할 수 있도록 돕고 있습니다.

예를 들어, 클라우디안(Cloudian)의 스토리지 플랫폼은 주요 자동차 제조업체가 AI를 활용하여 각 제조 로봇의 유지보수가 필요한 시점을 파악하는 데 도움을 주고 있습니다. 클라우디안은 또한 미국 국립의학도서관(U.S. National Library of Medicine)과 협력하여 연구 논문과 특허를 저장하고, 국립암데이터베이스(National Cancer Database)와 협력하여 종양 DNA 서열을 저장합니다. 이러한 풍부한 데이터세트는 AI가 처리하여 새로운 치료법이나 새로운 발견을 개발하는 데 도움을 줄 수 있습니다.

"GPU는 훌륭한 지원 요소입니다."라고 Tso는 말합니다. "무어의 법칙은 2년마다 컴퓨팅 성능을 두 배로 증가시키지만, GPU는 칩에서 작업을 병렬화하고 여러 GPU를 연결하며 무어의 법칙을 뛰어넘을 수 있습니다. 이러한 규모는 AI를 새로운 차원의 지능으로 끌어올리고 있지만, GPU가 최고의 성능을 발휘하도록 하는 유일한 방법은 컴퓨팅 성능과 동일한 속도로 데이터를 공급하는 것입니다. 그리고 이를 위해서는 GPU와 데이터 사이의 모든 중간 단계를 제거하는 것이 유일한 방법입니다."

(MIT에 따르면)

출처: https://vietnamnet.vn/cloudian-dua-du-lieu-den-gan-ai-hon-bao-gio-het-2433241.html