Audio Coding – Результаты открытого тестирования форматов @ 64 кбит/с (март / апрель 2011 г.)

Представляем вашему вниманию результаты открытого тестирования форматов за март / апрель 2011 года.

Вы можете скачать ZIP-архив, содержащий все результаты для всех образцов.

Ключи шифрования можно загрузить здесь и здесь.

Интерпретация результатов. По оси X представлены кодеки, по оси Y их рейтинг. 95% доверительные интервалы приведены для каждого кодека. Для каждого кодека рассчитывается средний рейтинг и отмечается середина этого интервала. Вертикальные отрезки построены с использованием дисперсионного анализа для каждого кодека. Этот анализ идентичен тем, которые были использованы в предыдущих тестах.

Можно сказать, что кодек будет лучше, чем другой с более чем 95% вероятностью, если нижняя граница интервала кодека выше или находится на уровне верхней границы интервала конкурирующего кодека. Стоит отметить, что это приблизительный анализ с некоторыми допущениями и доверие может быть намного больше во многих случаях.

Обратите внимание, что кодек CELT называется Opus, так как это имя будет использоваться при стандартизации формата.

Важное примечание: Эти участки представляют группу предпочтений (для определенной группы людей, которые участвовали в тесте). Индивидуальные предпочтения могут несколько отличаться. Лучший кодек для человека зависит от его собственных предпочтений и типа музыки, которую он предпочитает.

График полных результатов (30 образцов, 531 результат):

Крупным планом интересные результаты (30 образцов, 531 результатов):

Результаты для каждого образца

Страница с отдельными графиками для каждого образца здесь.

Таблица битрейтов

Настройки кодеков были откалиброваны, чтобы обеспечить ~64 кбит/с на большом разнообразии музыки.

Образцы были сжаты при следующих битрейтах:

Bootstrap анализ:

        Read 5 treatments, 531 samples => 10 comparisons
        Means:
              Vorbis   Nero_HE-AAC  Apple_HE-AAC          Opus    AAC-LC@48k
               3.513         3.547         3.817         3.999         1.656

        Unadjusted p-values:
                  Nero_HE-AAC   Apple_HE-AAC  Opus          AAC-LC@48k
        Vorbis        0.488         0.000*        0.000*        0.000*
        Nero_HE-AAC   -             0.000*        0.000*        0.000*
        Apple_HE-AAC  -             -             0.000*        0.000*
        Opus          -             -             -             0.000*

        Apple_HE-AAC лучше чем Vorbis (p=0.000)
        Apple_HE-AAC лучше чем Nero_HE-AAC (p=0.000)
        Opus лучше чем Vorbis (p=0.000)
        Opus лучше чем Nero_HE-AAC (p=0.000)
        Opus лучше чем Apple_HE-AAC (p=0.000)
        AAC-LC@48k хуже чем Vorbis (p=0.000)
        AAC-LC@48k хуже чем Nero_HE-AAC (p=0.000)
        AAC-LC@48k хуже чем Apple_HE-AAC (p=0.000)
        AAC-LC@48k хуже чем Opus (p=0.000)

        p-values adjusted for multiple comparison:
                  Nero_HE-AAC   Apple_HE-AAC  Opus          AAC-LC@48k
        Vorbis        0.490         0.000*        0.000*        0.000*
        Nero_HE-AAC   -             0.000*        0.000*        0.000*
        Apple_HE-AAC  -             -             0.000*        0.000*
        Opus          -             -             -             0.000*

        Apple_HE-AAC лучше чем Vorbis (p=0.000)
        Apple_HE-AAC лучше чем Nero_HE-AAC (p=0.000)
        Opus лучше чем Vorbis (p=0.000)
        Opus лучше чем Nero_HE-AAC (p=0.000)
        Opus лучше чем Apple_HE-AAC (p=0.000)
        AAC-LC@48k хуже чем Vorbis (p=0.000)
        AAC-LC@48k хуже чем Nero_HE-AAC (p=0.000)
        AAC-LC@48k хуже чем Apple_HE-AAC (p=0.000)
        AAC-LC@48k хуже чем Opus (p=0.000)

Дисперсионный анализ:

        FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
        Blocked ANOVA analysis

        Number of listeners: 531
        Critical significance:  0.05
        Significance of data: 0.00E+00 (highly significant)
        ---------------------------------------------------------------
        ANOVA Table for Randomized Block Designs Using Ratings

        Source of         Degrees     Sum of    Mean
        variation         of Freedom  squares   Square    F      p

        Total             2654        4521.67
        Testers (blocks)   530        1498.18
        Codecs eval'd        4        1893.65  473.41   888.29  0.00E+00
        Error             2120        1129.85    0.53
        ---------------------------------------------------------------
        Fisher's protected LSD for ANOVA:   0.088

        Means:

        Opus     Apple_HE Nero_HE- Vorbis   AAC-LC@4
          4.00     3.82     3.55     3.51     1.66

        ---------------------------- p-value Matrix ---------------------------

                 Apple_HE Nero_HE- Vorbis   AAC-LC@4
        Opus     0.000*   0.000*   0.000*   0.000*
        Apple_HE          0.000*   0.000*   0.000*
        Nero_HE-                   0.439    0.000*
        Vorbis                              0.000*
        -----------------------------------------------------------------------

        Opus лучше чем Apple_HE-AAC, Nero_HE-AAC, Vorbis, AAC-LC@48k
        Apple_HE-AAC лучше чем Nero_HE-AAC, Vorbis, AAC-LC@48k
        Nero_HE-AAC лучше чем AAC-LC@48k
        Vorbis лучше чем AAC-LC@48k

Примечания:

Графики основаны на простом дисперсионном анализе по всем достоверным результатам. Графики совместимы с результатами предыдущих тестов, но тем не менее, их следует рассматривать только как визуальное подтверждение реального анализа.

Для правильного расчета статистических вероятностей, и, чтобы можно было с уверенностью делать выводы, необходимо обратиться к Bootstrap анализу. Вы можете видеть, что результаты являются весьма значимыми, кроме одного сравнения (Vorbis против Nero HE-AAC).

По итогам тестирования:

Неверные результаты были отброшены в соответствии со следующими критериями, которые были обнародованы в начале испытания:

Если слушатель отметил эталонный образец хуже чем 4.5, результаты слушателя для этого образца были отброшены.
Если слушатель отметил нижний предел как 5.0 в образце, результаты слушателя для этого образца были отброшены.
Если слушатель отметил эталонные образцы хуже, чем 5.0 в более чем 4 образцах, все результаты этого слушателя были отброшены.