3月27日｜本週谷歌公佈了一項可能減少AI模型所需內存量的技術，美國市場存儲芯片股已連續第二日大跌。受此影響，A股市場存儲芯片股今日也再度集體下挫。其中，大為股份跌超6%，兆易創新、佰維存儲、中京電子跌超5%，盈方微、太極實業、大港股份、國科微、中電港、科翔股份、江波龍、西測測試、香農芯創跌超4%。
消息面上，谷歌發佈的新型AI內存壓縮技術TurboQuant，引發市場對存儲需求前景的擔憂。據稱，該技術可在不損失準確性的前提下，將大語言模型的緩存內存佔用至少減少6倍，並實現最高8倍的加速，旨在解決AI推理與向量搜索中的內存瓶頸問題。
不過摩根士丹利指出該技術僅作用於推理階段的鍵值緩存，不影響模型權重所佔用的高帶寬內存(HBM)，也與訓練任務無關。因此，這並非存儲總需求或硬件總量減少6倍，而是通過效率提升增加單GPU吞吐量——相同硬件可支持4至8倍更長的上下文，或在不觸發內存溢出的前提下顯著提升批處理規模。摩根士丹利還提示，由於該壓縮技術可直接集成進平台基礎設施，對軟件層面可能形成邊際利空。
新聞來源 (不包括新聞圖片): 格隆匯