Building a scalable dataset for friday sermons of audio and text (SAT)

Abstract

EN: Context. Today, collecting and creating datasets in various sectors has become increasingly prevalent. Despite this widespread data production, a gap still exists in specialized domains, particularly in the Islamic Friday Sermons (IFS) domain. It is rich with theological, cultural, and linguistic studies that are relevant to Arab and Muslim countries, not just religious discourses. Objective. The goal of this research is to bridge this lack by introducing a comprehensive Sermon Audio and Text (SAT) dataset with its metadata. It seeks to provide an extensive resource for religion, linguistics, and sociology studies. Moreover, it aims to support advancements in Artificial Intelligence (AI), such as Natural Language Processing and Speech Recognition technologies. Method. The development of the SAT dataset was conducted through four distinct phases: planning, creation and processing, measurement, and deployment. The SAT dataset contains a collection of 21,253 audio and corresponding transcript files that were successfully created. Advanced audio processing techniques were used to enhance speech recognition and provide a dataset that is suitable for wide-range use. Results. The fine-tuned SAT dataset achieved a 5.13% Word Error Rate (WER), indicating a significant improvement in accuracy compared to the baseline model of Microsoft Azure Speech. This achievement indicates the dataset’s quality and the employed processing techniques’ effectiveness. In light of this, a novel Closest Matching Phrase (CMP) algorithm was developed to enhance the high confidence of equivalent speech-to-text by adjusting lower ratio phrases. Conclusions. This research contributes significant impact and insight into different studies, such as religion, linguistics, and sociology, providing invaluable insights and resources. In addition, it is demonstrating its potential in Artificial Intelligence (AI) and supporting its applications. In future research, we will focus on enriching this dataset expansion by adding a sign language video corpus, using advanced alignment techniques. It will support ongoing Machine Translation (MT) developments for a broader understanding of Islamic Friday Sermons across different linguistics and cultures. UK: Актуальність. Сьогодні збір і створення наборів даних у різних секторах стає все більш поширеним. Незважаючи на таке поширене створення даних, досі існує прогалина в спеціалізованих областях, зокрема в області Ісламських п’ятничних проповідей. Вона багата на теологічні, культурні та лінгвістичні дослідження, які стосуються арабських і мусульманських країн, а не лише релігійних дискурсів. Мета. Мета цього дослідження полягає в тому, щоб усунути цю нестачу, створивши повний набір даних аудіо та тексту проповідей із його метаданими. Це спрямоване надати великий ресурс для вивчення релігії, лінгвістики та соціології. Крім того, це дозволить підтримати досягнення у сфері штучного інтелекту, таких як технології обробки природної мови та розпізнавання мовлення. Метод. Розробка набору даних проходила у чотири окремі етапи: планування, створення та обробка, вимірювання та розгортання. Набір даних містить колекцію з 21 253 аудіо та відповідних файлів розшифровки, які були успішно створені. Удосконалені методи обробки звуку були використані для покращення розпізнавання мовлення та надання набору даних, який підходить для широкого використання. Результати. Тонко налаштований набір даних досяг 5,13% частоти помилок у словах (Word Error Rate – WER), що вказує на значне покращення точності, порівняно з базовою моделлю Microsoft Azure Speech. Це досягнення вказує на якість набору даних і ефективність використовуваних методів обробки. У світлі цього було розроблено новий алгоритм фрази з найбільшою відповідністю, щоб підвищити високу надійність еквівалентного мовлення до тексту шляхом коригування фраз із меншим співвідношенням. Висновки. Це дослідження створює ресурс для поєднання різних досліджень, таких як релігієзнавство, лінгвістика та соціологія. Крім того, воно демонструє потенціал у сфері штучного інтелекту і підтримує його програми. У майбутніх дослідженнях ми зосередимося на збагаченні цього розширення набору даних шляхом додавання відеокорпусу мовою жестів, використовуючи вдосконалені методи вирівнювання. Він підтримуватиме поточні розробки машинного перекладу для ширшого розуміння ісламських п’ятничних проповідей у різних мовах і культурах.