In der darüberliegenden Makroblockebene wird beschrieben, wo der Makroblock im Bild liegt, und um welche Art von Makroblock es sich handelt (I, B oder P). Der Encoder hat bei P und B-Bildern eine Reihe von Entscheidungen auf der Makroblock-Ebene zu treffen, die maßgeblich sind für den Datenbedarf des codierten Bildes. Bei P-Bildern ist zunächst festzulegen, ob Motion Compensation angewendet wird. Danach ist zu entscheiden, ob der Makroblock wegen zu großer Fehlerfortpflanzung Intracodiert wird. Falls ein Verschiebungsvektor verwendet wird, muß desweiteren geklärt werden, ob das Fehlerbild codiert wird. Bei B-Bildern ergeben sich drei Ableitungsmöglichkeiten für den Makroblock. Zum einen die Ableitung aus zurückliegenden oder zukünftigen Referenzbildern. Zum anderen eine Kombination beider Möglichkeiten (Average). Bei letzteren werden die Luminanzwerte im Encoder durch Mittelung errechnet. Wiederum hat der Encoder zu entscheiden, ob intra- oder nicht-codiert wird. Ebenfalls auf der Makroblockebene besteht für den Encoder die Möglichkeit, die Quantisierungsmatrix mit einem Faktor durchmultiplizieren, um gröbere oder feinere Quantisierungsstufen zu erhalten und so je nach Bildinhalt den Codebedarf für den Makroblock zu variieren. Diese Manipulationsmöglichkeit ist um so wichtiger als der Encoder verpflichtet ist, dafür zu sorgen, daß nicht mehr Bits pro Sekunde generiert werden als der Decoder später verarbeiten kann bzw. als über den in Frage kommenden Kommunikationskanal übertragen werden können. Die Wahl von gröberen oder weniger groben Quantisierungsstufen bieten eine sehr wirksame Schraube mit der das Datenbudget beeinflußt werden kann. Letzteres ist ein wichtiges Entscheidungskriterium, ob ein Fehlerbild codiert wird oder nicht.