Oberhalb der Picture-Ebene wird in der GOP-Ebene eine beliebige Anzahl von Bildern in natürlicher Abfolge zu Gruppen von Bildern zusammengefaßt. In jeder Gruppe muß mindestens ein I-codiertes Bild enthalten sein. Sogenannte geschlossene Gruppen können decodiert werden, ohne daß für die Motion Compensation auf die vorherige GOP Bezug genommen werden muß. Eine geschlossene Bildgruppe ist ohne jeden anderen Bezug für sich decodierbar. Es ist für digitales Video von Bedeutung, daß ein wahlfreier Zugriff erfolgen kann, zum Beispiel von einer Festplatte oder von einer Bildplatte. Der GOP-Header spezifiziert unter anderem, ob Standard- oder anwenderdefinierte Quantisierungsmatrizen zur Anwendung kommen. Der Encoder darf diese Informationen vor jeder Bildgruppe wiederholen, um einen wahlfreien Zugriff zu erleichtern, die Quantisierungsmatrizen dürfen dabei sogar geändert werden.