开云体育(中国)官方网站它的区别就在于它的高性能和大容量-开云官网登录入口 开云app官网入口

极客网·极客说8月27日 今天，在上海举行的华为数据存储AI SSD新品发布会上开云体育(中国)官方网站，华为公司副总裁、数据存储产物线总裁周跃峰博士发布面向AI期间的高端SSD——Huawei OceanDisk EX/SP/LC系列化新品，旨在冲破传统AI存储器现时的性能和容量瓶颈，晋升AI检修效劳和推理体验，建筑AI存储器范围新标杆。

周跃峰博士指出，连年来业界在参加浩繁的AI基础措施之后，才发现仍然存在好多用功和挑战，包括检修数据量太大、推理体验差、token资本居高不下第。AI翌日要能够兑现交易正轮回，需要从合座系统的效劳以及性价比概括洽商、概括优化。而在效劳方面，业界又遇到两个大瓶颈：一是内存墙（行业未必也叫显存墙），二是容量墙。华为在业界率先界说AI SSD并发布系列新品，等于但愿通过AI SSD冲破性能和容量的瓶颈。

以下是周跃峰博士演讲全文：

谢谢列位现场和线上的嘉宾、行家。

咱们几周前发布UCM之后，今天咱们发布AI SSD，实际上这两个产物一软一硬，协同使用，效劳一定会更好。

各人知说念在AI期间，咱们这几年方方面面王人在研究，王人在参加AI基础措施，在参加浩繁的AI基础措施之后，咱们发现好多用功和挑战。

第一，数据量真实太大了。检修越多参数的模子，咱们需要越多的语料数据，这些数据若何存得下，用得好，况兼效劳很好，资本很低，这对咱们来说是一个挑战。

同期，今天咱们越来越意志到AI出产进程等于推理，推理的体验亦然巨大的挑战。往常咱们只是浅近的问答，短序列推理，当今，越来越多的多模态会通长序列的推理，推理首token的时延成为特别高大的体验计算，好多时候我需要等很永劫刻，才有收尾。同期当好多东说念主使用的时候，并发性等于说每秒一定时刻内能处理的token数亦然很高大的计算，碰劲咱们遇到了一些用功。今天咱们好多模子的网站，一些APP使用，发现体验很差。

另外token资本居高不下。今天我听国度数据局一个统计，抵制本年6月底，日均Token滥用量照旧突破30万亿，1年半时刻增长了300多倍，是以说token数的滥用，应该越来越多，对咱们基础措施的资本是巨大的锻练。

因此，AI翌日要能够兑现交易的正轮回，咱们要从合座系统的效劳以及性价比概括洽商和概括优化。各人知说念今天咱们在效劳方面，遇到两个很大的用功：第一内存墙，行业未必也叫显存墙；另外一个是容量墙。这照旧成为咱们主要的瓶颈。

比如在某些国产大模子训推一体机里，有8张卡，频频它的显存或者HBM大小是一定的，咱们今天发现参数目很大的模子，推不动。这当中也检修不了，各人知说念咱们要微调一个671B的模子，显存容量需要当先13.4 TB，在好多一体机咱们检修不动，咱们该若何办？因为一个盒子内部的资源毕竟有限，同期咱们看到推理的首token时延，中国浩繁APP比西方当先模子，时延是他们的两倍，咱们每秒的token数目，以及所能处理才调的数目亦然他们的1/10足下，主要分歧在于咱们基础措施的投资和效劳。

咱们在检修大模子的时候，需要浩繁的数据。各人知说念检修一个671B大模子，咱们需要的原始语料数据是3.5PB，因此越来越多的语料滥用了咱们浩繁存储空间，这意味着空间和电力的滥用。

在本年上海东说念主工智能大会当中，AI之父杰弗里·辛顿谈到一个不雅点，他说“东说念主类智能无法卓越或者驯顺机器智能，原因是机器领有经久的驰念”，可见AI的才调不单是取决于处理系的念念考才调，也取决于咱们扫数这个词系统的驰念才调，因此存储在扫数这个词AI系统当中，以及它的优化口舌常的至关高大。

今天咱们在业界率先界说AI SSD，相对往常浩繁的SSD，它的区别就在于它的高性能和大容量，咱们但愿通过AI SSD冲破性能和容量的瓶颈。

咱们界说AI SSD有两类：第一类AI SSD是助力膨胀HBM，对咱们高带宽、高性能的内存进行相关的膨胀，在推理的数据当中可以分级缓存。它的特征等于带宽大于14.4GB/s，同期时延小于10微秒，这是高性能这块。

第二类AI SSD主要助力冲破容量瓶颈，替换HDD，等于替代机械硬盘在往常AI数据中心当中的使用，它的特征等于单盘容量大于30TB，同期带宽大于14.4GB/s，意味着它不仅要有巨大的容量密度，同期性能还不至于太低。

这两类SSD，咱们统称为AI SSD，咱们但愿这两类SSD能够匡助咱们突破显存墙和容量墙。今天咱们将发布三款产物：

前两款是高性能的AI SSD，用于突破内存墙，对HBM进行更好的膨胀：一是咱们的OceanDisk EX 560，这是极致性能AI SSD盘。它的IOPS将达到1500k，它立时写时延是7微秒，它的DWPD是60，这是一个性能极其坚韧的SSD盘。同期，咱们在好多场景，为了让系统愈加经济，咱们也推出高性能盘，等于咱们OceanDisk SP 560，它是高性能盘，在好多推理系统当中，性能满盈了。它的IOPS是600k，它的立时写时延7微秒，DWPD是1，因此这个盘在好多推理系统当中可能更为经济。第一类OceanDisk EX 560贪图年底提供商用，OceanDisk SP 560当今照旧具备批量商用的才调，事实上咱们好多客户，包括互联网、医疗、金融客户照旧在使用这类产物，得到了很好的效劳。

第三款产物是OceanDisk LC 560系列具备超大容量盘，况兼它的带宽并不低，单盘物理容量有61/122/245 TB，其中61TB的重构时刻，从往常一般的1.5天可以镌汰至8小时，另外它的法令读写带宽达到了14.7GB/s。这是既具备很好性能又具备超高容量密度的盘，单盘容量可以达到245TB，是业界最大的单盘容量。咱们但愿这类盘能够浩繁用于集群检修中心当中去，匡助连续语料数据存不下，用不好的问题。

接下去我列举几个场景，若何让AI SSD，匡助咱们AI系统有更好的交易正轮回。着手咱们看一下集群检修场景，这个场景咱们需要浩繁的语料，手脚咱们检修的数据，不单是要存得下，同期要幸免GPU、NPU不至于一直在恭候进程中，快速能够给它提供数据，让咱们操作愈加高效，咱们认为在这个场景当中，咱们OceanDisk LC系列的盘，可以很好连续容量的问题。

举个例子，假定在一个检修系统当中，咱们需要250PB的数据集容量，那么用浩繁的机械硬盘，要当先10000块的24TB机械硬盘。要是咱们用122TB每单盘容量的AI SSD盘，咱们只需要大约当先2000块就可以了。然而，不单是是这个盘的数目、空间，更为高大的是咱们数据预处理的效劳可以晋升6.6倍，咱们空间占用将减少85.2%，咱们能耗将减少38.6%，这是一个巨大的资本从简。固然这内部，咱们莫得洽商SSD盘相对机械硬盘，它的寿命这个要素，以及在运维等东说念主力上的量入制出（剪辑注：要是洽商进去SSD盘的上风更显豁）。

第二个场景咱们想例如的是集群推理场景，尤其在大型AI数据中心，比如说互联网和运营商他们所构建的。在这个进程当中，咱们但愿引入超高性能的AI SSD，倍数级的晋升推理效劳。咱们在这内部也举个例子，这个进程当中，咱们使用OceanDisk SP 560 AI SSD盘，咱们可以看到，可推理序列的长度将晋升2.5倍，咱们灵验膨胀了HBM的才调，况兼是低资本。

除此以外，首token的时延也可以减少73%，token的笼统带晋升2.7倍，这些数据王人在咱们实验室和客户真实交易场景当中得到了印证。

各人知说念，好多中小企业并不构建AI的集群，频频是训推一体机，在训推一体机这么的小盒子，频频最多只好8张卡的情况下，能不成让咱们小的系统可以微调，更多参数的模子，让咱们的推理序列，长序列越来越长，况兼可以有更多的交易场景适用，不单是是浅近的问答，让各个公司单元花的这点钱，物美价廉。

咱们认为，在模子微调的场景，咱们提出应该配一些超快性能的AI SSD，在咱们例子当中，8个算力卡的情况下，咱们配2张3.2TB的AI SSD，咱们可以看到单机可用内存径直推论到11倍，同期咱们可以看到单机可微调模子的参数也晋升了6.3倍，等于说进一步晋升了一体机微调模子的种类和它使用的场景。

在这个一体机当中，固然它很高大的进程是推理，咱们提出在推理场景下，用SP系列的AI SSD，咱们也作念了尝试。咱们发现，要是使用OceanDisk SP 560可以进一步膨胀有限的HBM，让咱们的序列长度加多一倍，同期首token时延下落75%，token的单元时刻笼统量晋升了一倍。这意味着咱们单元买了一体机之后，可以极大膨胀我的交易场景，固然咱们知说念这是训推一体机，是以咱们认为在这么一个一体机当中，要是把极致性能盘和咱们的高性能盘，等于EX系列和SP系列羼杂使用，将获取更好的性能。

以上是这四个场景，咱们认为今天手脚例子，跟各人先容一下AI SSD杰出的性能和哄骗场景。咱们但愿今天发布的这三款产物，等于咱们OceanDisk EX 560、SP 560以及大容量的LC 560，能够用于超大AI集群中心和相应的训推一体机场景当中，聚拢相关的软件，尤其是聚拢上一次发布的UCM，可以愈加高效地关于推理应中高性能需要短时刻进行缓存的数据和相对来说时延可容忍数据，进行分级缓存，效劳一定会很可以的。

在千行万业落地进程中，咱们但愿AI SSD和它们握续的演进，能够为扫数这个词AI经济——固然咱们坚信AI刚刚运转开云体育(中国)官方网站，通过咱们握续的演进，可以孝顺咱们的力量，让AI真实交易正轮回。