大語言模型無損壓縮方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人員發表論文《Language Modeling Is Compression》，他們發現 DeepMind 的大語言模型 Chinchilla 70B 在圖像和音頻的無損壓縮上超過了 PNG 和 FLAC。
論文提到，Chinchilla 70B 能將 ImageNet 圖像數據庫中的圖像無損壓縮到原始大小 43.4%，超過了 PNG 算法的 58.5%。
Chinchilla 能將 LibriSpeech 音頻數據集中的樣本無損壓縮到原始大小 16.4%，超過 FLAC 算法的 30.3%。
據介紹，Chinchilla 70B 主要是訓練用于處理文本，但它在壓縮其它類型的數據集上的效果也表現優異，甚至優于專門的算法。
下面的例子比較了 gzip 和 Chinchilla 在示例文本上的壓縮效果。可以看到，gzip 的輸出沒有可讀性。
編輯：黃飛
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
無損壓縮
+關注
關注
0文章
12瀏覽量
8434 -
FLAC
+關注
關注
0文章
4瀏覽量
8494 -
png
+關注
關注
0文章
14瀏覽量
4409 -
大模型
+關注
關注
2文章
2328瀏覽量
2484
原文標題：大模型在無損壓縮方面超越PNG和FLAC
文章出處：【微信號：OSC開源社區，微信公眾號：OSC開源社區】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
【BearPi-Pico H3863星閃開發板體驗連載】LZO壓縮算法移植
：無損壓縮算法和有損壓縮算法。
壓縮算法在無線通信中的應用可以顯著提高數據傳輸效率和降低能耗，尤其是在資源受限的無線通信環境中。選擇合適的壓縮算法對于優化無線傳輸性能至關重要。
二、L
發表于 11-10 21:45
音頻信號的無損壓縮編碼是什么
，如WAV、FLAC、APE等。 1. 音頻信號的基本概念 在討論無損壓縮編碼之前，我們需要了解一些基本的音頻信號概念。 1.1 音頻信號的定義 音頻信號是描述聲音波形的電信號。它可以通過模擬或數字方式表示。在數字音頻中，音頻信號通常
【大語言模型：原理與工程實踐】大語言模型的應用
，它通過抽象思考和邏輯推理，協助我們應對復雜的決策。
相應地，我們設計了兩類任務來檢驗大語言模型的能力。一類是感性的、無需理性能力的任務，類似于人類的系統1，如情感分析和抽取式問答等。大語言
發表于 05-07 17:21
【大語言模型：原理與工程實踐】大語言模型的評測
在知識獲取、邏輯推理、代碼生成等方面的能力。這些評測基準包括語言建模能力、綜合知識能力、數學計算能力、代碼能力和垂直領域等多個維度。對于微調模型，對話能力的評測關注模型在對話任務中的全
發表于 05-07 17:12
【大語言模型：原理與工程實踐】大語言模型的基礎技術
全面剖析大語言模型的核心技術與基礎知識。首先，概述自然語言的基本表示，這是理解大語言模型技術的前提。接著，詳細介紹自然
發表于 05-05 12:17
【RTC程序設計：實時音視頻權威指南】音視頻的編解碼壓縮技術
音視頻所載有的信息在通過傳輸的時候就需要壓縮編碼。
其中，文本壓縮是指通過使用各種算法和技術，將文本數據表示為更緊湊的形式，以減少存儲空間。
霍夫曼編碼是一種無損壓縮算法，它可以根據字符出現
發表于 04-28 21:04
基于門控線性網絡（GLN）的高壓縮比無損醫學圖像壓縮算法
實現基于門控線性網絡（GLN）的高壓縮比無損醫學圖像壓縮算法，以提高醫學圖像存儲和分發系統的效率。與“傳統”的基于上下文的數據壓縮算法相比，基于GLN的系統使用一組不同的上下文
全球最強大模型易主，GPT-4被超越
近日，AI領域的領軍企業Anthropic宣布推出全新的Claude 3系列模型，其中包括最強版Claude 3 Opus。據該公司稱，Claude 3系列在推理、數學、編碼、多語言理解和視覺方面全面
高性能無損數據解壓縮FPGA IP，LZO無損數據解壓縮IP
LZOAccel-D是一個無損數據解壓縮引擎的FPGA硬件實現，兼容LZO 2.10標準。
Core接收壓縮的輸入數據塊，產生解壓縮后的數據塊。Core分析數據塊的頭和尾，檢查輸入數
OpenAI視頻模型Sora的架構及應用場景
LDM 就是 Stable Diffusion 使用的模型架構。擴散模型的一大問題是計算需求大，難以擬合高分辨率圖像。為了解決這一問題，實現 LDM時，會先訓練一個幾乎能無損壓縮圖像的自編碼器，能把 512x512 的真實圖像
發表于 02-20 15:13
?611次閱讀
高性能無損數據壓縮FPGA IP，LZO無損數據壓縮IP
LZOAccel-C是一個無損數據壓縮引擎的FPGA硬件實現，兼容LZO 2.10標準。
Core接收未壓縮的輸入數據塊，產生壓縮后的數據塊。Core使用合適的頭和尾封裝了
工商網監
評論