Die arithmetische Codierung versucht ebenso wie die Huffman-Codierung ein Zeichen möglichst genau mit der idealen Bitlänge, dem Nachrichtengehalt eines Zeichens (Entropie), darzustellen. Die Huffman-Codierung hat allerdings den Nachteil einem bestimmten Zeichen genau eine Bitfolge mit einer gewissen Länge zuzuordnen.
Die arithmetische Codierung geht einen anderen Weg: sie betrachtet die Verteilung eines Zeichens in einem Kontext. Zum Beispiel ist ein Null-Koeffizient als Koeffizient der hohen Frequenzen viel wahrscheinlicher als ein Null-Koeffizient bei den niederen Frequenzen. Die Null hat demzufolge eine von dem Kontext abhängige Verteilung. Bei der arithmetischen Codierung wird also der Null nicht nur eine Codefolge zugewiesen, sondern mehrere. Damit läßt sich die durchschnittliche Zeichenlänge im Vergleich zur Huffman-Codierung reduzieren.
Für die Erstellung des statistischen Modells ordnet der arithmetische Codierer den Zeichen keine feste Zahl, sondern ein Intervall entsprechend der Größe der Wahrscheinlichkeit zu. Da nun aber ein Kontext betrachtet werden muß, werden bei jedem zusätzlichen Zeichen die entsprechenden Intervalle geteilt. Der Codierer kann nun irgendeinen beliebigen Wert in diesem Intervall codieren.
Der von JPEG verwendete Codierer kann nur zwei Symbole nämlich Null und Eins codieren. Dazu wird das zu codierende Alphabet zunächst in einen binären Entscheidungsbaum umgewandelt, was ähnlich geschieht, wie die Erstellung der Zuordnungstabelle bei der Huffman-Codierung. Eingehendere Betrachtungen sind der Literatur [PM93] zu entnehmen.