Масштабируемые аудиоречевые кодеры на основе адаптивного частотно-временного анализа звуковых сигналов
Ключевые слова:
масштабируемый аудио-речевой кодер, пакет дискретного вейвлет-преобразования, согласованная подгонкаАннотация
В статье рассматриваются методы перцептуальной субполосной обработки звуковых сигналов с динамической трансформацией частотно-временного плана на основе пакетного дискретного вейвлет-преобразования (ПДВП), достоинством которых является то, что рост дерева осуществляется сверху вниз, без возвратов на меньшие масштабные уровни преобразования и необходимости построения полного дерева ПДВП, что соответствует концепции реализации масштабируемых аудиоречевых кодеров в реальном масштабе времени. Приводятся объективные оценки качества предлагаемых кодеров на основе методики PEMO-Q и сравнения с широко распространенными кодерами Opus и Vorbis, которые показывают, что реконструированный сигнал соответствует требованиям стандарта ITU-R PEAQ при высокой степени компрессии в 18 и более раз, не содержит артефактов: отношение мощности шума к порогу маскирования 〖NMR〗_total меньше –9 дБ.Литература
1. Kahrs M., Brandenurg K.. Application of digital signal processing to audio and acoustics // USA Boston: Kluwer Academic Publishers. 1998. 545 p.
2. Valin J.-M., Terriberry T. B., Montgomery C., Maxwell G., A high-quality speech and audio codec with less than 10-ms delay, // IEEE Transaction on audio, speech, and language processing. 2010. vol. 18. pp. 58–67.
3. Umapathy K., Ghoraani B., Krishnan S., Audio signal processing using time-frequency approaches: coding, classifcation, fingerprinting, and watermarking // EURASIP Journal on Advances in Signal Processing. 2010. vol. 2010. no. 1. pp. 451695.
4. Painter T., Spanias A. Perceptual Coding of Digital Audio // Proceedings of IEEE. 2000. vol. 88. no. 4. pp. 451–513.
5. Brandenburg K. Introduction to perceptual coding // Collected Papers on Digital Audio Bit-Rate Reduction. Eds. 1996. pp. 23–30.
6. Spanias A., Painter T., Atti V. Audio signal processing and coding // John Wiley & Sons, Inc. New Jersey. USA. 2007. 464 p.
7. Вашкевич М.И., Азаров И.С., Петровский А.А. Косинусно-модулированные банки фильтров с фазавым преобразованием: реализация и применение в слуховых аппаратах // Горячая линия-Телеком. Москва. 2014. 210 с.
8. Bosi M., Goldberg R.E. Introduction to digital audio coding and standards // Springer Science+Business Media. USA. 2003. 434 p.
9. Wickerhauser M.V. Adaptive Wavelet Analysis from Theory to Software // Massachusetts: A.K. Peters Ltd. 1994. 486 p.
10. Johnston J.D. Transform coding of audio signals using perceptual noise criteria // IEEE Transaction on Selected Areas of Communication. 1988. vol. 6. pp. 314–323.
11. Ковалгин Ю.А., Вологдин Э.И. Аудиотехника // Горячая линия-Телеком. 2013. 742 с.
12. Reyes N.R., Candeas P.V. Adaptive signal modeling based on sparse approximations for scalable parametric audio coding // IEEE Transactions on audio, speech, and language processing. 2010. vol. 18. pp. 447–460.
13. Petrovsky Al., Herasimovich V., Petrovsky A. Scalable parametric audio coder using sparse approximation with frame-to-frame perceptually optimized wavelet packet based dictionary // 138th AES Convention. 2015. paper 9264. 10 p.
14. Mallat S., Zhang Z. Matching pursuits with time-frequency dictionaries // IEEE Transaction on Signal Processing. 1993 vol. 41. no. 12. pp. 3397–3415.
15. Chardon G., Necciari T., Balazs P. Perceptual matching pursuit with Gabor dictionaries and time-frequency masking // Proceedings of IEEE ICASSP’2014. 2014. pp. 3126–3130.
16. Ravelli E., Gaeul R., Daudet L., Matching pursuit in adaptive dictionaries for scalable audio coding // Proceedings of EUSIPCO’2008. 2008. pp. 1–5.
17. Petrovsky Al., Azarov E., Petrovsky A. Hybrid signal decomposition based on instantaneous harmonic parameters and perceptually motivated wavelet packets for scalable audio coding // Signal Processing. Special issue “Fourier Related Transforms for Non-Stationary Signals”. 2011. vol. 91. Issue 6. pp. 1489–1504.
18. Petrovsky Аl., Herasimovich М., Petrovsky A. Bio-inspired sparse representation of speech and audio using psychoacoustic adaptive matching pursuit // Proceedings of 18th International Conference of SPECOM 2016. 2016. pp. 156–164.
19. Petrovsky Al., Herasimovich V., Petrovsky A. Audio/speech coding using frame-based psychoacoustic optimized time-frequency dictionaries and its performance evaluation // IEEE conference proceedings “Signal processing: algorithms, architectures, arrangements, and applications” (SPA-2016). 2016. pp.225–229.
20. Burrus C.S., Gopinath R.A., Guo H. Introduction to wavelets and wavelet transforms // N.J.: Prentice Hall. 1998. 298 p.
21. Cohen I., Raz S., Malah D. Orthonormal shift-invariant adaptive packet decomposition and representation // Signal Processing. 1997. vol. 57. Issue 3. pp. 251–270.
22. Анализаторы речевых и звуковых сигналов: методы, алгоритмы и практика / под ред. проф. А.А. Петровского // Минск: Бестпринт. 2009. 455 с.
23. Zwicker E., Fastl H. Psychoacoustics: Facts and Models // Berlin, Germany: Springer-Verlag. 1990. 380 p.
24. ITU-R Recommendation BS.1387, Method for Objective Measurements of Perceived Audio Quality. 1998.
25. Petrovsky Al. A multiresolution auditory model using adaptive WP excitation scalograms // Polska akademia nauk “Elektronika”. 2008. vol. 49. no 4. pp. 65–70.
26. Petrovsky Al., Krahe D., Petrovsky A. Real-time performance measures of low delay perceptual audio coding // Journal of Electrical engineering. 2005. vol. 56. no. 3–4. pp. 100–105.
27. Petrovsky Al., Rodionov M., Petrovsky A. Dynamic reconfigurable on the lifting steps wavelet packet processor with frame-based psychoacoustic optimized time-frequency tiling for real-time audio applications // Design and architectures for digital signal processing. InTech. 2013. pp. 3–30.
28. Karmakar A., Kumar A., Patney R.K. Synthesis of an optimal wavelet based on auditory perception criterion // EURASIP Journal on Advance in Signal Processing. 2011. vol. 2011. no. 1. pp. 170927.
29. Петровский Ал.А. Построение психоакустической модели в области вейвлет коэффициентов для перцептуальной обработки звуковых и речевых сигналов // Научно-практический журнал «Речевые технологии». Москва. 2008. № 4. С. 61–71.
30. Coifman R., Wickerhauser M.V. Entropy-Based Algorithms for Best Basis Selection // IEEE Transaction on Information Theory. 1992. мol. 38. тo. 2. pp. 713–718.
31. Vera-Candeas P., Ruiz-Reyes N., Roza-Zurera M. Transient modelling by Matching-Pursuits with a wavelet dictionary for parametric audio coding // IEEE Signal Processing Letters. 2004. vol. 11. no. 3. pp. 349–352.
32. Petrovsky Al., Petrovsky A. Matching pursuit algorithm with frame-based auditory optimized WP-dictionary for audio transient modeling // Polska academia nauk “Elektronika”. 2008. vol. 49. no.4. pp. 74–79.
33. Heusdens R., Vafin R., Kleijn W.B. Sinusoidal modeling using psychoacoustic-adaptive matching pursuits // IEEE Signal Processing Letters. 2002. vol. 9. no. 8. pp. 262–265.
34. Huber R., Kollmeier BPEMO-Q – A New Method for Objective Audio Quality Assessment Using a Model of Auditory Perception // IEEE Transactions on audio, speech, and language processing. 2006. vol. 14. pp. 1902–1911.
35. Vos K., Sørensen K. V., Jensen S. S., Valin J.-M, Voice coding with Opus // Proc. AES 135th Convention. 2013. paper 8941.10 p.
36. Valin J.-M., Maxwell G., Terriberry T.B., Vos KHigh-quality, low-delay music coding in the Opus codec // Proc. AES 135th Convention. 2013. paper 8942. 10 p.
2. Valin J.-M., Terriberry T. B., Montgomery C., Maxwell G., A high-quality speech and audio codec with less than 10-ms delay, // IEEE Transaction on audio, speech, and language processing. 2010. vol. 18. pp. 58–67.
3. Umapathy K., Ghoraani B., Krishnan S., Audio signal processing using time-frequency approaches: coding, classifcation, fingerprinting, and watermarking // EURASIP Journal on Advances in Signal Processing. 2010. vol. 2010. no. 1. pp. 451695.
4. Painter T., Spanias A. Perceptual Coding of Digital Audio // Proceedings of IEEE. 2000. vol. 88. no. 4. pp. 451–513.
5. Brandenburg K. Introduction to perceptual coding // Collected Papers on Digital Audio Bit-Rate Reduction. Eds. 1996. pp. 23–30.
6. Spanias A., Painter T., Atti V. Audio signal processing and coding // John Wiley & Sons, Inc. New Jersey. USA. 2007. 464 p.
7. Вашкевич М.И., Азаров И.С., Петровский А.А. Косинусно-модулированные банки фильтров с фазавым преобразованием: реализация и применение в слуховых аппаратах // Горячая линия-Телеком. Москва. 2014. 210 с.
8. Bosi M., Goldberg R.E. Introduction to digital audio coding and standards // Springer Science+Business Media. USA. 2003. 434 p.
9. Wickerhauser M.V. Adaptive Wavelet Analysis from Theory to Software // Massachusetts: A.K. Peters Ltd. 1994. 486 p.
10. Johnston J.D. Transform coding of audio signals using perceptual noise criteria // IEEE Transaction on Selected Areas of Communication. 1988. vol. 6. pp. 314–323.
11. Ковалгин Ю.А., Вологдин Э.И. Аудиотехника // Горячая линия-Телеком. 2013. 742 с.
12. Reyes N.R., Candeas P.V. Adaptive signal modeling based on sparse approximations for scalable parametric audio coding // IEEE Transactions on audio, speech, and language processing. 2010. vol. 18. pp. 447–460.
13. Petrovsky Al., Herasimovich V., Petrovsky A. Scalable parametric audio coder using sparse approximation with frame-to-frame perceptually optimized wavelet packet based dictionary // 138th AES Convention. 2015. paper 9264. 10 p.
14. Mallat S., Zhang Z. Matching pursuits with time-frequency dictionaries // IEEE Transaction on Signal Processing. 1993 vol. 41. no. 12. pp. 3397–3415.
15. Chardon G., Necciari T., Balazs P. Perceptual matching pursuit with Gabor dictionaries and time-frequency masking // Proceedings of IEEE ICASSP’2014. 2014. pp. 3126–3130.
16. Ravelli E., Gaeul R., Daudet L., Matching pursuit in adaptive dictionaries for scalable audio coding // Proceedings of EUSIPCO’2008. 2008. pp. 1–5.
17. Petrovsky Al., Azarov E., Petrovsky A. Hybrid signal decomposition based on instantaneous harmonic parameters and perceptually motivated wavelet packets for scalable audio coding // Signal Processing. Special issue “Fourier Related Transforms for Non-Stationary Signals”. 2011. vol. 91. Issue 6. pp. 1489–1504.
18. Petrovsky Аl., Herasimovich М., Petrovsky A. Bio-inspired sparse representation of speech and audio using psychoacoustic adaptive matching pursuit // Proceedings of 18th International Conference of SPECOM 2016. 2016. pp. 156–164.
19. Petrovsky Al., Herasimovich V., Petrovsky A. Audio/speech coding using frame-based psychoacoustic optimized time-frequency dictionaries and its performance evaluation // IEEE conference proceedings “Signal processing: algorithms, architectures, arrangements, and applications” (SPA-2016). 2016. pp.225–229.
20. Burrus C.S., Gopinath R.A., Guo H. Introduction to wavelets and wavelet transforms // N.J.: Prentice Hall. 1998. 298 p.
21. Cohen I., Raz S., Malah D. Orthonormal shift-invariant adaptive packet decomposition and representation // Signal Processing. 1997. vol. 57. Issue 3. pp. 251–270.
22. Анализаторы речевых и звуковых сигналов: методы, алгоритмы и практика / под ред. проф. А.А. Петровского // Минск: Бестпринт. 2009. 455 с.
23. Zwicker E., Fastl H. Psychoacoustics: Facts and Models // Berlin, Germany: Springer-Verlag. 1990. 380 p.
24. ITU-R Recommendation BS.1387, Method for Objective Measurements of Perceived Audio Quality. 1998.
25. Petrovsky Al. A multiresolution auditory model using adaptive WP excitation scalograms // Polska akademia nauk “Elektronika”. 2008. vol. 49. no 4. pp. 65–70.
26. Petrovsky Al., Krahe D., Petrovsky A. Real-time performance measures of low delay perceptual audio coding // Journal of Electrical engineering. 2005. vol. 56. no. 3–4. pp. 100–105.
27. Petrovsky Al., Rodionov M., Petrovsky A. Dynamic reconfigurable on the lifting steps wavelet packet processor with frame-based psychoacoustic optimized time-frequency tiling for real-time audio applications // Design and architectures for digital signal processing. InTech. 2013. pp. 3–30.
28. Karmakar A., Kumar A., Patney R.K. Synthesis of an optimal wavelet based on auditory perception criterion // EURASIP Journal on Advance in Signal Processing. 2011. vol. 2011. no. 1. pp. 170927.
29. Петровский Ал.А. Построение психоакустической модели в области вейвлет коэффициентов для перцептуальной обработки звуковых и речевых сигналов // Научно-практический журнал «Речевые технологии». Москва. 2008. № 4. С. 61–71.
30. Coifman R., Wickerhauser M.V. Entropy-Based Algorithms for Best Basis Selection // IEEE Transaction on Information Theory. 1992. мol. 38. тo. 2. pp. 713–718.
31. Vera-Candeas P., Ruiz-Reyes N., Roza-Zurera M. Transient modelling by Matching-Pursuits with a wavelet dictionary for parametric audio coding // IEEE Signal Processing Letters. 2004. vol. 11. no. 3. pp. 349–352.
32. Petrovsky Al., Petrovsky A. Matching pursuit algorithm with frame-based auditory optimized WP-dictionary for audio transient modeling // Polska academia nauk “Elektronika”. 2008. vol. 49. no.4. pp. 74–79.
33. Heusdens R., Vafin R., Kleijn W.B. Sinusoidal modeling using psychoacoustic-adaptive matching pursuits // IEEE Signal Processing Letters. 2002. vol. 9. no. 8. pp. 262–265.
34. Huber R., Kollmeier BPEMO-Q – A New Method for Objective Audio Quality Assessment Using a Model of Auditory Perception // IEEE Transactions on audio, speech, and language processing. 2006. vol. 14. pp. 1902–1911.
35. Vos K., Sørensen K. V., Jensen S. S., Valin J.-M, Voice coding with Opus // Proc. AES 135th Convention. 2013. paper 8941.10 p.
36. Valin J.-M., Maxwell G., Terriberry T.B., Vos KHigh-quality, low-delay music coding in the Opus codec // Proc. AES 135th Convention. 2013. paper 8942. 10 p.
A scalable speech and audio coders based on adaptive time-frequency signal analysis
Abstract
In the paper is discussed the methods of perceptual sub-band audio signal processing with the dynamic time-frequency map transformation based on the discrete wavelet packet (WP) transform. The advantages of it is that the growing process of WP tree is going from the top to down without returning to smaller scale levels of decomposition and needing to build a complete WP tree, that corresponds to the concept of scalable audio/speech coders implementation in real time. The objective quality assessment of proposed coders based techniques PEMO-Q and comparing with the widespread encoders Opus and Vorbis are given. It shows that the reconstructed signal complies with ITU-R PEAQ at a high compression ratio up to 18 times or more, does not contain artifacts and noise to mask ration less -9 dB.
Опубликован
2017-02-02
Как цитировать
Петровский, А. А., & Петровский, А. А. (2017). Масштабируемые аудиоречевые кодеры на основе адаптивного частотно-временного анализа звуковых сигналов. Труды СПИИРАН, 1(50), 55-92. https://doi.org/10.15622/sp.50.3
Раздел
Методы управления и обработки информации
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями:
Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале.
Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале.
Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).
