Анализ методов онтолого-ориентированного нейро-символического интеллекта при коллаборативной поддержке принятия решений
Ключевые слова:
нейро-символический ИИ, априорные знания, машинное обучение, глубокое обучение, объяснимый ИИ, XAI, онтологииАннотация
Нейросетевой подход к ИИ, получивший особенно широкое распространение в последнее десятилетие, обладает двумя существенными ограничениями – обучение моделей, как правило, требует очень большого количества образцов (не всегда доступных), а получающиеся модели не являются хорошо интерпретируемыми, что может снижать доверие к ним. Использование символьных знаний как основы коллаборативных процессов с одной стороны и распространение нейросетевого ИИ с другой, обусловливают необходимость синтеза нейросетевой и символьной парадигм применительно к созданию коллаборативных систем поддержки принятия решений. В статье представлены результаты аналитического обзора в области онтолого-ориентированного нейро-символического интеллекта применительно к решению задач обмена знаниями при коллаборативной поддержке принятия решений. А именно, в ходе обзора делается попытка ответить на два вопроса: 1. как символьные знания, представленные в виде онтологии, могут быть использованы для улучшения ИИ-агентов, действующих на основе нейронных сетей (передача знаний от человека к ИИ-агентам); 2. как символьные знания, представленные в виде онтологии, могут быть использованы для интерпретации решений, принимаемых ИИ-агентами и объяснения этих решений (передача знаний от ИИ-агента к человеку). В результате проведенного обзора сформулированы рекомендации по выбору методов внедрения символьных знаний в нейросетевые модели, а также выделены перспективные направления онтолого-ориентированных методов объяснения нейронных сетей.
Литература
1. Burkart N., Huber M.F. A survey on the explainability of supervised machine learning // J. Artif. Intell. Res. 2021. vol. 70. pp. 245–317.
2. Futia G., Vetrò A. On the integration of knowledge graphs into deep learning models for a more comprehensible AI-Three challenges for future research // Inf. 2020. vol. 11. no. 2. DOI: 10.3390/info11020122.
3. Smirnov A., Ponomarev A. Human-Machine Collective Intelligence Environment for Decision Support: Conceptual and Technological Design // 27th Conference of Open Innovation Association, FRUCT. 2020. pp. 330–336. DOI: 10.23919/FRUCT49677.2020.9211077.
4. Fernback J. Symbolic Interactionism in Communication // Communication. Oxford University Press, 2019.
5. Garcez A. d’Avila, Lamb L.C. Neurosymbolic AI: The 3rd Wave. 2020. 37 p. DOI: 10.48550/arXiv.2012.05876.
6. Радюш Д.В. Применение нейро-символьных моделей в разработке вопросно-ответных систем // XI конгресс молодых учёных. Санкт-Петербург, 2022. Т. 2. С. 122–126.
7. Каширин И.Ю. Нейронные сети, использующие модели знаний // Современные технологии в науке и образовании – СТНО-2021. 2021. С. 9–13.
8. Ultsch A. The Integration of Neural Networks with Symbolic Knowledge Processing // New Approaches in Classification and Data Analysis. 1994. pp. 445–454.
9. Picco G. et al. Neural Unification for Logic Reasoning over Natural Language. Findings of the Association for Computational Linguistics: EMNLP. 2021. pp. 3939–3950. DOI: 10.48550/arXiv.2109.08460.
10. Грибова В.В., Гельцер Б.И., Шахгельдян К.И., Петряева М.В., Шалфеева Е.А., Костерин В.В. Гибридная технология оценки рисков и прогнозирования в кардиологии // Врач и информационные технологии. 2022. № 3. С. 24–35. DOI: 10.25881/18110193_2022_3_24.
11. Wermter S., Sun R. An Overview of Hybrid Neural Systems // Lect. Notes Artif. Intell. Subseries Lect. Notes Comput. Sci. Springer. 2000. vol. 1778. pp. 1–13.
12. Garcez A. d’Avila et al. Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning. 2019. vol. 6 no. 4. pp. 611–632. DOI: 10.48550/arXiv.1905.06088.
13. Tran S.N., d’Avila Garcez A.S. Deep Logic Networks: Inserting and Extracting Knowledge From Deep Belief Networks // IEEE Trans. Neural Networks Learn. Syst. 2018. vol. 29. no. 2. pp. 246–258.
14. Poon H., Domingos P. Sum-Product Networks: A New Deep Architecture. IEEE International Conference on Computer Vision Workshops (ICCV Workshops). 2012. DOI: 10.48550/arXiv.1202.3732.
15. Muggleton S. Inverse entailment and progol // New Gener. Comput. 1995. vol. 13. no. 3–4. pp. 245–286.
16. Dong H., Mao J., Lin T., Wang C., Li L., Zhou D. et al. Neural Logic Machines. International Conference on Learning Representations. 2019. DOI: 10.48550/arXiv.1904.11694.
17. Evans R., Grefenstette E. Learning Explanatory Rules from Noisy Data. Journal of Artificial Intelligence Research. 2017. vol. 61. pp. 1–64. DOI: 10.48550/arXiv.1711.04574.
18. Gori M. Machine Learning: A Constraint-Based Approach. Morgan Kaufmann, 2017. 580 p.
19. Garcez A.S. d’Avila, Lamb L.C. Reasoning about time and knowledge in neural-symbolic learning systems // NIPS’03: Proceedings of the 16th International Conference on Neural Information Processing Systems. 2003. pp. 921–928.
20. Borges R.V., d’Avila Garcez A., Lamb L.C. Learning and Representing Temporal Knowledge in Recurrent Networks // IEEE Trans. Neural Networks. 2011. vol. 22. no. 12. pp. 2409–2421.
21. Penning L. de et al. A Neural-Symbolic Cognitive Agent for Online Learning and Reasoning // Proceedings of the 22nd International Joint Conference on Artificial Intelligence (IJCAI 2011). 2011. pp. 1653–1658. DOI: 10.5591/978-1-57735-516-8/IJCAI11-278.
22. Palangi H. et al. Question-Answering with Grammatically-Interpretable Representations. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18). 2017. pp. 5350–5357.
23. Fletcher J., Obradovi Z. Combining Prior Symbolic Knowledge and Constructive Neural Network Learning // Conn. Sci. 1993. vol. 5. no. 3–4. pp. 365–375.
24. Towel G.G., Shavlik J.W., Noordewier M.O. Refinement of Approximate Domain Theories by Knowledge-Based Neural Networks // Eighth National Conference on Artifiical Inrelligence (AAAI). 1990. pp. 861–866.
25. Pitz D.W., Shavlik J.W. Dynamically adding symbolically meaningful nodes to knowledge-based neural networks // Knowledge-Based Syst. 1995. vol. 8. no. 6. pp. 301–311.
26. Arabshahi F., Singh S., Anandkumar A. Combining Symbolic Expressions and Black-box Function Evaluations in Neural Programs. 6th International Conference on Learning Representations. 2018. DOI: 10.48550/arXiv.1801.04342.
27. Xie Y. et al. Embedding Symbolic Knowledge into Deep Networks // Adv. Neural Inf. Process. Syst. 2019. no. 32.
28. Hu Z. et al. Harnessing Deep Neural Networks with Logic Rules. 2016. pp. 2410–2420. DOI: 10.48550/arXiv.1603.06318.
29. Prem E. et al. Concept support as a method for programming neural networks with symbolic knowledge // GWAI-92: Advances in Artificial Intelligence. Berlin/Heidelberg: Springer-Verlag. 1992. pp. 166–175.
30. Shavlik J.W. Combining symbolic and neural learning // Mach. Learn. 1994. vol. 14, no. 3. pp. 321–331.
31. Li Y., Ouyang S., Zhang Y. Combining deep learning and ontology reasoning for remote sensing image semantic segmentation // Knowledge-Based Syst. 2022. vol. 243. pp. 108469.
32. Dash T., Srinivasan A., Vig L. Incorporating symbolic domain knowledge into graph neural networks // Mach. Learn. 2021. vol. 110. no 7. pp. 1609–1636.
33. Pomerleau D.A., Gowdy J., Thorpe C.E. Combining artificial neural networks and symbolic processing for autonomous robot guidance // Eng. Appl. Artif. Intell. 1991. vol. 4. no. 4. pp. 279–285.
34. Bakhti K. et al. Citation Function Classification Based on Ontologies and Convolutional Neural Networks // Commun. Comput. Inf. Sci. 2018. vol. 870. pp. 105–115.
35. Deng Y. et al. A Hybrid Movie Recommender Based on Ontology and Neural Networks // 2010 IEEE/ACM Int’l Conference on Green Computing and Communications & Int’l Conference on Cyber, Physical and Social Computing. IEEE, 2010. pp. 846–851.
36. Trappey A.J.C. et al. Ontology-based neural network for patent knowledge management in design collaboration // Int. J. Prod. Res. 2013. vol. 51. no. 7. pp. 1992–2005.
37. Hung C., Wermter S. Neural Network Based Document Clustering Using WordNet Ontologies // Int. J. Hybrid Intell. Syst. 2005. vol. 1. no. 3–4. pp. 127–142.
38. Hinnerichs T., Hoehndorf R. DTI-Voodoo: machine learning over interaction networks and ontology-based background knowledge predicts drug–target interactions / ed. Wren J. // Bioinformatics. 2021. vol. 37. no. 24. pp. 4835–4843.
39. Lamurias A. et al. BO-LSTM: classifying relations via long short-term memory networks along biomedical ontologies // BMC Bioinformatics. 2019. vol. 20. no. 1. pp. 10.
40. Breen C., Khan L., Ponnusamy A. Image classification using neural networks and ontologies // Proceedings. 13th International Workshop on Database and Expert Systems Applications. IEEE Comput. Soc, 2002. pp. 98–102.
41. Xu J. et al. A Semantic Loss Function for Deep Learning with Symbolic Knowledge // Proc. Mach. Learn. Res. 2018. vol. 80. pp. 5502–5511.
42. Yang Z., Ishay A., Lee J. NeurASP: Embracing Neural Networks into Answer Set Programming // Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2020. pp. 1755–1762.
43. Lee J., Wang Y. Weighted Rules under the Stable Model Semantics // Proceedings, Fifteenth International Conference on Principles of Knowledge Representation and Reasoning (KR 2016). 2016. pp. 145–154.
44. Garcez A.S. d’Avila et al. Abductive reasoning in neural-symbolic systems // Topoi. 2007. vol. 26. no. 1. pp. 37–49.
45. Lai P. et al. Ontology-based Interpretable Machine Learning for Textual Data // 2020 International Joint Conference on Neural Networks (IJCNN). IEEE, 2020. pp. 1–10.
46. Аверкин А.Н. Объяснимый искусственный интеллект: итоги и перспективы // Интегрированные модели и мягкие вычисления в искусственном интеллекте (ИММВ-2021). Сборник научных трудов X-й Международной научно-технической конференции. 2021. С. 153–174.
47. Карпов О.Э., Андриков Д.А., Максименко В.А., Храмов А.Е. Прозрачный искусственный интеллект для медицины // Врач и информационные технологии. 2022. № 2. C. 4–11. DOI: 10.25881/18110193_2022_2_4.
48. Захарова И.Г., Воробьева М.С., Боганюк Ю.В. Сопровождение индивидуальных образовательных траекторий на основе концепции объяснимого искусственного интеллекта // Образование и наука. 2022. Т. 24. № 1. pp. 163–190.
49. Шевская Н.В. Объяснимый искусственный интеллект и методы интерпретации результатов // Моделирование, оптимизация и информационные технологии. 2021. Т. 9. № 2(33). pp. 22.
50. 50. Аверкин А.Н., Ярушев С.А. Обзор исследований в области разработки методов извлечения правил из искусственных нейронных сетей // Известия Российской академии наук. Теория и системы управления. 2021. № 6. С. 106–121.
51. Шевская Н.В., Охримук Е.С., Попов Н.В. Причинно-следственные связи в объяснимом искусственном интеллекте // Международная конференция по мягким вычислениям и измерениям. 2022. С. 170–173.
52. Bourgeais V. et al. Deep GONet: self-explainable deep neural network based on Gene Ontology for phenotype prediction from gene expression data // BMC Bioinformatics. BioMed Central, 2021. vol. 22. pp. 1–24.
53. Ma T., Zhang A. Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning. 2019. DOI: 10.48550/arXiv.1906.00537.
54. Panigutti C., Perotti A., Pedreschi D. Doctor XAI An ontology-based approach to black-box sequential data classification explanations // FAT* 2020 – Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. 2020. pp. 629–639.
55. Daniels Z.A. et al. A framework for explainable deep neural models using external knowledge graphs / Ed. Pham T., Solomon L., Rainey K. // Proc. SPIE 11413, Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications IISPIE, 2020. pp. 73.
56. Confalonieri R. et al. An Ontology-based Approach to Explaining Artificial Neural Networks. 2019.
57. Confalonieri R. et al. Trepan reloaded: A knowledge-driven approach to explaining black-box models // Front. Artif. Intell. Appl. 2020. vol. 325. pp. 2457–2464.
58. Confalonieri R. et al. Using ontologies to enhance human understandability of global post-hoc explanations of black-box models // Artif. Intell. Elsevier, 2021. vol. 296. pp. 103471.
59. Bourguin G. et al. Towards Ontologically Explainable Classifiers. Artificial Neural Networks and Machine Learning – ICANN. 2021. pp. 472–484. DOI: ff10.1007/978-3-030-86340-1_38.
60. Rudin C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead // Nat. Mach. Intell. 2019. vol. 1. no. 5. pp. 206–215.
61. Voogd J. et al. Using Relational Concept Networks for Explainable Decision Support // 3rd IFIP Cross Domain Conference for Machine Learning and Knowledge Extraction (CD-MAKE). 2019. pp. 78–93. DOI: 10.1007/978-3-030-29726-8_6.
62. Fong A.C.M., Hong G. Ontology-Powered Hybrid Extensional-Intensional Learning // Proceedings of the 2019 International Conference on Information Technology and Computer Communications (ITCC2019). New York, USA: ACM Press, 2019. pp. 18–23.
63. Bellucci M. et al. Ontologies to build a predictive architecture to classify and explain // DeepOntoNLP Workshop @ESWC 2022. 2022.
64. Martin T. et al. Bridging the gap between an ontology and deep neural models by pattern mining // The Joint Ontology Workshops, JOWO. 2020. vol. 2708.
65. De Sousa Ribeiro M., Leite J. Aligning Artificial Neural Networks and Ontologies towards Explainable AI // Proceedings of the AAAI Conference on Artificial Intelligence. 2021. vol. 35. no. 6. pp. 4932–4940.
66. Agafonov A., Ponomarev A. An Experiment on Localization of Ontology Concepts in Deep Convolutional Neural Networks // The 11th International Symposium on Information and Communication Technology. NY, USA: ACM, 2022. pp. 82–87.
67. Ponomarev A., Agafonov A. Ontology Concept Extraction Algorithm for Deep Neural Networks // 2022 32nd Conference of Open Innovations Association (FRUCT). IEEE, 2022. pp. 221–226.
68. Sarker M.K. et al. Wikipedia Knowledge Graph for Explainable AI // KGSWC 2020, CCIS 1232. 2020. pp. 72–87.
69. Abbass H.A. et al. Machine Education: Designing semantically ordered and ontologically guided modular neural networks // IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, 2019. pp. 948–955.
70. Smirnov A. et al. Multi-aspect Ontology for Interoperability in Human-machine Collective Intelligence Systems for Decision Support // Proceedings of the 11th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management. SCITEPRESS – Science and Technology Publications, 2019. pp. 458–465.
2. Futia G., Vetrò A. On the integration of knowledge graphs into deep learning models for a more comprehensible AI-Three challenges for future research // Inf. 2020. vol. 11. no. 2. DOI: 10.3390/info11020122.
3. Smirnov A., Ponomarev A. Human-Machine Collective Intelligence Environment for Decision Support: Conceptual and Technological Design // 27th Conference of Open Innovation Association, FRUCT. 2020. pp. 330–336. DOI: 10.23919/FRUCT49677.2020.9211077.
4. Fernback J. Symbolic Interactionism in Communication // Communication. Oxford University Press, 2019.
5. Garcez A. d’Avila, Lamb L.C. Neurosymbolic AI: The 3rd Wave. 2020. 37 p. DOI: 10.48550/arXiv.2012.05876.
6. Радюш Д.В. Применение нейро-символьных моделей в разработке вопросно-ответных систем // XI конгресс молодых учёных. Санкт-Петербург, 2022. Т. 2. С. 122–126.
7. Каширин И.Ю. Нейронные сети, использующие модели знаний // Современные технологии в науке и образовании – СТНО-2021. 2021. С. 9–13.
8. Ultsch A. The Integration of Neural Networks with Symbolic Knowledge Processing // New Approaches in Classification and Data Analysis. 1994. pp. 445–454.
9. Picco G. et al. Neural Unification for Logic Reasoning over Natural Language. Findings of the Association for Computational Linguistics: EMNLP. 2021. pp. 3939–3950. DOI: 10.48550/arXiv.2109.08460.
10. Грибова В.В., Гельцер Б.И., Шахгельдян К.И., Петряева М.В., Шалфеева Е.А., Костерин В.В. Гибридная технология оценки рисков и прогнозирования в кардиологии // Врач и информационные технологии. 2022. № 3. С. 24–35. DOI: 10.25881/18110193_2022_3_24.
11. Wermter S., Sun R. An Overview of Hybrid Neural Systems // Lect. Notes Artif. Intell. Subseries Lect. Notes Comput. Sci. Springer. 2000. vol. 1778. pp. 1–13.
12. Garcez A. d’Avila et al. Neural-Symbolic Computing: An Effective Methodology for Principled Integration of Machine Learning and Reasoning. 2019. vol. 6 no. 4. pp. 611–632. DOI: 10.48550/arXiv.1905.06088.
13. Tran S.N., d’Avila Garcez A.S. Deep Logic Networks: Inserting and Extracting Knowledge From Deep Belief Networks // IEEE Trans. Neural Networks Learn. Syst. 2018. vol. 29. no. 2. pp. 246–258.
14. Poon H., Domingos P. Sum-Product Networks: A New Deep Architecture. IEEE International Conference on Computer Vision Workshops (ICCV Workshops). 2012. DOI: 10.48550/arXiv.1202.3732.
15. Muggleton S. Inverse entailment and progol // New Gener. Comput. 1995. vol. 13. no. 3–4. pp. 245–286.
16. Dong H., Mao J., Lin T., Wang C., Li L., Zhou D. et al. Neural Logic Machines. International Conference on Learning Representations. 2019. DOI: 10.48550/arXiv.1904.11694.
17. Evans R., Grefenstette E. Learning Explanatory Rules from Noisy Data. Journal of Artificial Intelligence Research. 2017. vol. 61. pp. 1–64. DOI: 10.48550/arXiv.1711.04574.
18. Gori M. Machine Learning: A Constraint-Based Approach. Morgan Kaufmann, 2017. 580 p.
19. Garcez A.S. d’Avila, Lamb L.C. Reasoning about time and knowledge in neural-symbolic learning systems // NIPS’03: Proceedings of the 16th International Conference on Neural Information Processing Systems. 2003. pp. 921–928.
20. Borges R.V., d’Avila Garcez A., Lamb L.C. Learning and Representing Temporal Knowledge in Recurrent Networks // IEEE Trans. Neural Networks. 2011. vol. 22. no. 12. pp. 2409–2421.
21. Penning L. de et al. A Neural-Symbolic Cognitive Agent for Online Learning and Reasoning // Proceedings of the 22nd International Joint Conference on Artificial Intelligence (IJCAI 2011). 2011. pp. 1653–1658. DOI: 10.5591/978-1-57735-516-8/IJCAI11-278.
22. Palangi H. et al. Question-Answering with Grammatically-Interpretable Representations. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18). 2017. pp. 5350–5357.
23. Fletcher J., Obradovi Z. Combining Prior Symbolic Knowledge and Constructive Neural Network Learning // Conn. Sci. 1993. vol. 5. no. 3–4. pp. 365–375.
24. Towel G.G., Shavlik J.W., Noordewier M.O. Refinement of Approximate Domain Theories by Knowledge-Based Neural Networks // Eighth National Conference on Artifiical Inrelligence (AAAI). 1990. pp. 861–866.
25. Pitz D.W., Shavlik J.W. Dynamically adding symbolically meaningful nodes to knowledge-based neural networks // Knowledge-Based Syst. 1995. vol. 8. no. 6. pp. 301–311.
26. Arabshahi F., Singh S., Anandkumar A. Combining Symbolic Expressions and Black-box Function Evaluations in Neural Programs. 6th International Conference on Learning Representations. 2018. DOI: 10.48550/arXiv.1801.04342.
27. Xie Y. et al. Embedding Symbolic Knowledge into Deep Networks // Adv. Neural Inf. Process. Syst. 2019. no. 32.
28. Hu Z. et al. Harnessing Deep Neural Networks with Logic Rules. 2016. pp. 2410–2420. DOI: 10.48550/arXiv.1603.06318.
29. Prem E. et al. Concept support as a method for programming neural networks with symbolic knowledge // GWAI-92: Advances in Artificial Intelligence. Berlin/Heidelberg: Springer-Verlag. 1992. pp. 166–175.
30. Shavlik J.W. Combining symbolic and neural learning // Mach. Learn. 1994. vol. 14, no. 3. pp. 321–331.
31. Li Y., Ouyang S., Zhang Y. Combining deep learning and ontology reasoning for remote sensing image semantic segmentation // Knowledge-Based Syst. 2022. vol. 243. pp. 108469.
32. Dash T., Srinivasan A., Vig L. Incorporating symbolic domain knowledge into graph neural networks // Mach. Learn. 2021. vol. 110. no 7. pp. 1609–1636.
33. Pomerleau D.A., Gowdy J., Thorpe C.E. Combining artificial neural networks and symbolic processing for autonomous robot guidance // Eng. Appl. Artif. Intell. 1991. vol. 4. no. 4. pp. 279–285.
34. Bakhti K. et al. Citation Function Classification Based on Ontologies and Convolutional Neural Networks // Commun. Comput. Inf. Sci. 2018. vol. 870. pp. 105–115.
35. Deng Y. et al. A Hybrid Movie Recommender Based on Ontology and Neural Networks // 2010 IEEE/ACM Int’l Conference on Green Computing and Communications & Int’l Conference on Cyber, Physical and Social Computing. IEEE, 2010. pp. 846–851.
36. Trappey A.J.C. et al. Ontology-based neural network for patent knowledge management in design collaboration // Int. J. Prod. Res. 2013. vol. 51. no. 7. pp. 1992–2005.
37. Hung C., Wermter S. Neural Network Based Document Clustering Using WordNet Ontologies // Int. J. Hybrid Intell. Syst. 2005. vol. 1. no. 3–4. pp. 127–142.
38. Hinnerichs T., Hoehndorf R. DTI-Voodoo: machine learning over interaction networks and ontology-based background knowledge predicts drug–target interactions / ed. Wren J. // Bioinformatics. 2021. vol. 37. no. 24. pp. 4835–4843.
39. Lamurias A. et al. BO-LSTM: classifying relations via long short-term memory networks along biomedical ontologies // BMC Bioinformatics. 2019. vol. 20. no. 1. pp. 10.
40. Breen C., Khan L., Ponnusamy A. Image classification using neural networks and ontologies // Proceedings. 13th International Workshop on Database and Expert Systems Applications. IEEE Comput. Soc, 2002. pp. 98–102.
41. Xu J. et al. A Semantic Loss Function for Deep Learning with Symbolic Knowledge // Proc. Mach. Learn. Res. 2018. vol. 80. pp. 5502–5511.
42. Yang Z., Ishay A., Lee J. NeurASP: Embracing Neural Networks into Answer Set Programming // Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2020. pp. 1755–1762.
43. Lee J., Wang Y. Weighted Rules under the Stable Model Semantics // Proceedings, Fifteenth International Conference on Principles of Knowledge Representation and Reasoning (KR 2016). 2016. pp. 145–154.
44. Garcez A.S. d’Avila et al. Abductive reasoning in neural-symbolic systems // Topoi. 2007. vol. 26. no. 1. pp. 37–49.
45. Lai P. et al. Ontology-based Interpretable Machine Learning for Textual Data // 2020 International Joint Conference on Neural Networks (IJCNN). IEEE, 2020. pp. 1–10.
46. Аверкин А.Н. Объяснимый искусственный интеллект: итоги и перспективы // Интегрированные модели и мягкие вычисления в искусственном интеллекте (ИММВ-2021). Сборник научных трудов X-й Международной научно-технической конференции. 2021. С. 153–174.
47. Карпов О.Э., Андриков Д.А., Максименко В.А., Храмов А.Е. Прозрачный искусственный интеллект для медицины // Врач и информационные технологии. 2022. № 2. C. 4–11. DOI: 10.25881/18110193_2022_2_4.
48. Захарова И.Г., Воробьева М.С., Боганюк Ю.В. Сопровождение индивидуальных образовательных траекторий на основе концепции объяснимого искусственного интеллекта // Образование и наука. 2022. Т. 24. № 1. pp. 163–190.
49. Шевская Н.В. Объяснимый искусственный интеллект и методы интерпретации результатов // Моделирование, оптимизация и информационные технологии. 2021. Т. 9. № 2(33). pp. 22.
50. 50. Аверкин А.Н., Ярушев С.А. Обзор исследований в области разработки методов извлечения правил из искусственных нейронных сетей // Известия Российской академии наук. Теория и системы управления. 2021. № 6. С. 106–121.
51. Шевская Н.В., Охримук Е.С., Попов Н.В. Причинно-следственные связи в объяснимом искусственном интеллекте // Международная конференция по мягким вычислениям и измерениям. 2022. С. 170–173.
52. Bourgeais V. et al. Deep GONet: self-explainable deep neural network based on Gene Ontology for phenotype prediction from gene expression data // BMC Bioinformatics. BioMed Central, 2021. vol. 22. pp. 1–24.
53. Ma T., Zhang A. Incorporating Biological Knowledge with Factor Graph Neural Network for Interpretable Deep Learning. 2019. DOI: 10.48550/arXiv.1906.00537.
54. Panigutti C., Perotti A., Pedreschi D. Doctor XAI An ontology-based approach to black-box sequential data classification explanations // FAT* 2020 – Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency. 2020. pp. 629–639.
55. Daniels Z.A. et al. A framework for explainable deep neural models using external knowledge graphs / Ed. Pham T., Solomon L., Rainey K. // Proc. SPIE 11413, Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications IISPIE, 2020. pp. 73.
56. Confalonieri R. et al. An Ontology-based Approach to Explaining Artificial Neural Networks. 2019.
57. Confalonieri R. et al. Trepan reloaded: A knowledge-driven approach to explaining black-box models // Front. Artif. Intell. Appl. 2020. vol. 325. pp. 2457–2464.
58. Confalonieri R. et al. Using ontologies to enhance human understandability of global post-hoc explanations of black-box models // Artif. Intell. Elsevier, 2021. vol. 296. pp. 103471.
59. Bourguin G. et al. Towards Ontologically Explainable Classifiers. Artificial Neural Networks and Machine Learning – ICANN. 2021. pp. 472–484. DOI: ff10.1007/978-3-030-86340-1_38.
60. Rudin C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead // Nat. Mach. Intell. 2019. vol. 1. no. 5. pp. 206–215.
61. Voogd J. et al. Using Relational Concept Networks for Explainable Decision Support // 3rd IFIP Cross Domain Conference for Machine Learning and Knowledge Extraction (CD-MAKE). 2019. pp. 78–93. DOI: 10.1007/978-3-030-29726-8_6.
62. Fong A.C.M., Hong G. Ontology-Powered Hybrid Extensional-Intensional Learning // Proceedings of the 2019 International Conference on Information Technology and Computer Communications (ITCC2019). New York, USA: ACM Press, 2019. pp. 18–23.
63. Bellucci M. et al. Ontologies to build a predictive architecture to classify and explain // DeepOntoNLP Workshop @ESWC 2022. 2022.
64. Martin T. et al. Bridging the gap between an ontology and deep neural models by pattern mining // The Joint Ontology Workshops, JOWO. 2020. vol. 2708.
65. De Sousa Ribeiro M., Leite J. Aligning Artificial Neural Networks and Ontologies towards Explainable AI // Proceedings of the AAAI Conference on Artificial Intelligence. 2021. vol. 35. no. 6. pp. 4932–4940.
66. Agafonov A., Ponomarev A. An Experiment on Localization of Ontology Concepts in Deep Convolutional Neural Networks // The 11th International Symposium on Information and Communication Technology. NY, USA: ACM, 2022. pp. 82–87.
67. Ponomarev A., Agafonov A. Ontology Concept Extraction Algorithm for Deep Neural Networks // 2022 32nd Conference of Open Innovations Association (FRUCT). IEEE, 2022. pp. 221–226.
68. Sarker M.K. et al. Wikipedia Knowledge Graph for Explainable AI // KGSWC 2020, CCIS 1232. 2020. pp. 72–87.
69. Abbass H.A. et al. Machine Education: Designing semantically ordered and ontologically guided modular neural networks // IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, 2019. pp. 948–955.
70. Smirnov A. et al. Multi-aspect Ontology for Interoperability in Human-machine Collective Intelligence Systems for Decision Support // Proceedings of the 11th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management. SCITEPRESS – Science and Technology Publications, 2019. pp. 458–465.
Опубликован
2023-05-22
Как цитировать
Шилов, Н. Г., Пономарев, А. В., & Смирнов, А. В. (2023). Анализ методов онтолого-ориентированного нейро-символического интеллекта при коллаборативной поддержке принятия решений. Информатика и автоматизация, 22(3), 576-615. https://doi.org/10.15622/ia.22.3.4
Раздел
Искусственный интеллект, инженерия данных и знаний
Copyright (c) Николай Германович Шилов, Андрей Васильевич Пономарев, Александр Викторович Смирнов
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Авторы, которые публикуются в данном журнале, соглашаются со следующими условиями: Авторы сохраняют за собой авторские права на работу и передают журналу право первой публикации вместе с работой, одновременно лицензируя ее на условиях Creative Commons Attribution License, которая позволяет другим распространять данную работу с обязательным указанием авторства данной работы и ссылкой на оригинальную публикацию в этом журнале. Авторы сохраняют право заключать отдельные, дополнительные контрактные соглашения на неэксклюзивное распространение версии работы, опубликованной этим журналом (например, разместить ее в университетском хранилище или опубликовать ее в книге), со ссылкой на оригинальную публикацию в этом журнале. Авторам разрешается размещать их работу в сети Интернет (например, в университетском хранилище или на их персональном веб-сайте) до и во время процесса рассмотрения ее данным журналом, так как это может привести к продуктивному обсуждению, а также к большему количеству ссылок на данную опубликованную работу (Смотри The Effect of Open Access).