Cloudflare, 강력한 GPU 업그레이드, 더 빠른 추론, 더 큰 모델, 관찰 가능성, 벡터 데이터베이스 업그레이드로 AI 추론 플랫폼 강화

캘리포니아주 샌프란시스코, 2024년 9월 26일 – 주요 클라우드 연결성 기업인 Cloudflare, Inc.(NYSE: NET)에서는 오늘 Workers AI, 서버리스 AI 플랫폼, AI 애플리케이션 구축 블록 제품군을 위한 강력한 신규 기능을 발표했습니다. 이 기능은 개발자가 더욱 빠르고 강력하고 성능이 뛰어난 AI 애플리케이션을 구축할 수 있도록 지원합니다. 이제 Workers AI에 구축된 애플리케이션은 더 빠른 추론, 더 큰 모델, 더 개선된 성능 분석 등의 이점을 누릴 수 있게 됩니다. Workers AI는 전 세계 어디에서나 글로벌 AI 애플리케이션을 구축하고, 사용자와 가장 가까운 곳에서 AI 추론을 실행할 수 있는 가장 쉬운 플랫폼입니다.

대규모 언어 모델(LLM)의 규모가 점점 더 작아지고 성능이 개선됨에 따라, 네트워크 속도가 고객 채택과 원활한 AI 소통의 병목이 될 것입니다. Cloudflare의 글로벌 분산 네트워크는 네트워크 대기 시간을 최소화하여 일반적으로 한정된 데이터 센터에 집중되어 있는 리소스로 구성된 다른 네트워크와 차별화됩니다. Cloudflare의 서버리스 추론 플랫폼인 Workers AI는 현재 전 세계 180여 개의 도시에 GPU를 보유하고 있으며, 전 세계에 걸친 최종 사용자에게 짧은 대기 시간을 제공하기 위한 글로벌 접근성을 위해 구축되었습니다. Workers AI는 이러한 GPU 네트워크를 통해 AI 플랫폼 중 가장 큰 글로벌 풋프린트를 보유하고 있으며, 사용자와 최대한 가까운 로컬에서 AI 추론을 실행하고 고객 데이터를 더 가까운 곳에 보관할 수 있도록 설계되었습니다.

"작년에 AI가 출시되었을 때는 네트워크 속도가 AI 대기 시간의 원인이 되리라고 생각하는 사람은 아무도 없었습니다. 왜냐하면 AI는 아직 새롭고 실험적인 상호작용이었기 때문입니다. 하지만 AI가 우리 일상의 일부가 되어가면서 네트워크와 밀리초의 중요성이 더해지고 있습니다"라고 Cloudflare의 공동 창립자 겸 CEO Matthew Prince는 이야기합니다. "AI 워크로드가 학습에서 추론으로 전환됨에 따라 다음 단계의 AI를 지원하기 위해 성능과 지역별 가용성이 매우 중요해질 것입니다. Cloudflare는 시장에서 가장 글로벌한 AI 플랫폼으로, 전 세계 여러 도시에 걸쳐 GPU를 갖추면 스마트폰의 빠른 인터넷이 그랬던 것처럼 AI를 새로운 장난감에서 우리 일상의 일부로 들여올 수 있을 것입니다."

또한 Cloudflare에서는 AI 애플리케이션을 가장 쉽게 구축할 수 있는 플랫폼으로 만들어 주는 새로운 기능을 소개합니다.

• 업그레이드된 성능과 더 큰 모델 지원: 이제 Cloudflare에서는 AI 추론 성능을 업그레이드하고 Llama 3.1 70B와 같은 훨씬 더 큰 모델뿐만 아니라 Llama 3.2 models 1B, 3B, 11B 컬렉션(추후 90B 예정)에서 추론을 실행하기 위해 Workers AI용 GPU를 더욱 강화하고 있습니다. 더 큰 모델, 더 빠른 대응 시간, 더 큰 컨텍스트 창을 지원함으로써 Cloudflare의 Workers AI에 구축된 AI 애플리케이션은 더 복잡한 작업을 더 효율적으로 처리할 수 있게 되어 자연스럽고 원활한 최종 사용자 경험을 만들어낼 수 있게 됩니다.
• 영구 로그를 통한 AI 사용량 모니터링 및 최적화 개선: 오픈 베타에서 사용 가능한 AI Gateway의 새로운 영구 로그로 인해 개발자는 사용자의 프롬프트와 모델 응답을 장기간 저장하여 애플리케이션의 성능을 더 잘 분석하고 이해할 수 있습니다. 개발자는 영구 로그를 통해 비용과 요청 기간 등 사용자 경험에서 더 자세한 인사이트를 확보하여 애플리케이션을 개선할 수 있습니다. 작년 출시 이후 20억 건 이상의 요청이 AI Gateway를 통해 이루어졌습니다.
• 더 빠르고 경제적인 쿼리: 벡터 데이터베이스를 사용하면 모델이 이전 입력을 더 쉽게 기억할 수 있으므로 검색, 추천, 텍스트 생성 사용 사례에 머신 러닝을 사용할 수 있습니다. 이제 Cloudflare의 벡터 데이터베이스인 Vectorize가 정식 버전으로 제공되며, 이전에는 200,000개였던 인덱스가 2024년 8월 기준으로 최대 5백만 개까지 지원됩니다. 이제 쿼리 대기 시간 중앙값이 549밀리초(ms에)서 31밀리초로 감소했습니다. 이러한 개선 사항을 통해 AI 애플리케이션은 더 적은 데이터 처리로 관련 정보를 빠르게 찾을 수 있습니다. 또한 이는 더 저렴한 AI 애플리케이션을 의미하기도 합니다.

더 자세한 내용을 알아보려면, 다음 자료를 확인하세요.

• 블로그: 더 크고, 더 좋고, 더 빠른 Cloudflare의 AI 플랫폼
• 블로그: Workers AI를 더 빠르고 효율적으로 만들기: KV 캐시 압축 및 추측 디코딩으로 성능 최적화
• 9월 26일 오늘 태평양 시간 오전 11시에 진행되는 Cloudflare의 첫 Builder Day 라이브 스트리밍에 온라인으로 참여하여 데모와 제품 발표 등을 확인하세요. https://builderday.pages.dev에서 등록하세요.

Cloudflare 소개

Cloudflare, Inc.(NYSE: NET)는 더 나은 인터넷 구축을 지원한다는 사명을 실천하고 있는 선도적인 클라우드 연결성 회사입니다. Cloudflare에서 지원하는 조직에서는 복잡성과 비용을 줄이면서 직원, 애플리케이션, 네트워크를 어디에서든 더 빠르게 하고 더 안전하게 보호할 수 있습니다. Cloudflare의 클라우드 연결성은 클라우드 네이티브 제품 및 개발자 도구로 구성된 가장 완전한 기능의 통합 플랫폼을 제공하므로 모든 조직에서는 업무, 개발, 비즈니스 가속화에 필요한 제어 능력을 확보할 수 있습니다.

가장 상호 연결성이 좋은 세계 최대 규모의 네트워크를 기반으로 Cloudflare에서는 고객을 위해 매일 수십 억 건의 온라인 위협을 차단합니다.가장 규모가 큰 브랜드, 기업가, 중소기업, 비영리단체, 인권 그룹, 전 세계의 정부 등 수많은 조직에서 이 회사를 신뢰합니다.

cloudflare.com/ko-kr/connectivity-cloud에서 Cloudflare의 클라우드 연결성에 대해 자세히 알아보세요. https://radar.cloudflare.com에서 최신 인터넷 트렌드와 인사이트를 자세히 알아보세요.

Cloudflare 팔로우하기: 블로그 | X | LinkedIn | Facebook | Instagram

미래지향적 진술

본 언론 발표에는 1933년 증권법 개정본의 섹션 27A와 1934년 증권거래소법 개정본의 섹션 21E에 정의된 상당한 위험 및 불확실성을 포함하고 있는 진술인 미래지향적 진술이 포함되어 있습니다. “할 수 있음”, “할 것임”, “할 가능성이 있음”, “할 것으로 예측됨”, “살펴볼 예정임”, “계획하고 있음”, “기대하고 있음”, “가능성이 있음”, “하려 함”, “목표로 함”, “예상함”, “고려함”, “믿음”, “추정함”, “예측함”, “가능성”, “계속해서” 등의 단어 및 해당 단어의 부정형, 또는 Cloudflare의 예측, 전략, 계획 또는 의도와 관련된 유사한 단어 또는 표현을 통해 미래지향적 진술이 확인되는 경우가 있습니다. 하지만, 모든 미래지향적 진술에 이와 같이 확인할 수 있는 단어가 포함되지는 않습니다. 이 보도 자료에 표시되거나 암시된 미래지향적 진술에는 Workers AI, AI Gateway, Vectorize, R2 및 Cloudflare의 다른 제품과 기술의 역량 및 효율성에 대한 진술, Workers AI, AI Gateway, Vectorize, R2와 Cloudflare의 다른 제품과 기술을 사용함으로써 Cloudflare의 고객이 갖는 이점, 현재 및 잠재적인 모든 Cloudflare 고객이 Workers AI, Vectorize, AI Gateway나 다른 어떠한 관련 주요 기능을 보편적으로 이용할 수 있는 시점, Cloudflare의 기술 개발, 향후 운영, 성장, 이니셔티브나 전략, Cloudflare CEO 및 기타 인원의 발언 등이 포함되지만, 이에 국한되지는 않습니다. Cloudflare에서 2024년 8월 1일 양식 10-Q에 작성해서 제출한 Cloudflare의 분기 보고서 및 기타 SEC에 주기적으로 제출할 제출물 등을 포함하는 증권거래위원회(SEC) 제출물에 명시된 위험 및 그 밖의 여러 이유로, 실제 나오게 될 결과는 미래지향적 진술에서 표현되거나 암시된 결과와 크게 다를 수 있습니다.

본 언론 발표에서 이루어진 미래지향적 진술은 진술이 이루어진 날짜 이전에 발생한 사건에만 관계됩니다. 법적으로 요구되는 경우를 제외하고, Cloudflare에서는 본 언론 발표에서 사용한 미래지향적 진술을 언론 발표 시점 이후 발생한 사건 및 현황, 새로운 정보, 예측 불가능했던 사건의 발생 등을 반영해 갱신할 의무를 지니지 않습니다. Cloudflare는 자사의 미래지향적 서술문에서 공개한 계획, 의도 또는 예측을 달성하지 못할 가능성이 있으며, Cloudflare의 미래지향적 진술을 과도하게 신뢰해서는 안 됩니다.

© 2024 Cloudflare, Inc. All rights reserved. Cloudflare, Cloudflare 로고, 기타 Cloudflare 마크는 미국 및 기타 관할 지역에서 Cloudflare, Inc.의 상표 또는 등록 상표입니다. 본 문서에 언급된 모든 기타 마크 및 이름은 각 소유주의 상표일 수 있습니다.