Модель розпізнавання кашлю на основі глибокого навчання допомагає виявити місце звуку кашлю в реальному часі

Центр контролю за шумом і вібрацією в KAIST оголосив, що їх камера виявлення кашлю розпізнає, де трапляється кашель, візуалізуючи місця. Отримана в результаті камера розпізнавання кашлю може відслідковувати та записувати інформацію про людину, яка кашляла, їх місцезнаходження та кількість кашлю в реальному часі.

Професор Юн-Хва Парк з кафедри машинобудування розробив модель глибокого розпізнавання кашлю на основі навчання, щоб класифікувати звук від кашлю в режимі реального часу. Модель класифікації кашлю подій поєднується зі звуковою камерою, яка візуалізує їх розташування в громадських місцях. Дослідницька група сказала, що вони досягли найкращої точності тесту — 87,4%.

Професор Парк сказав, що це буде корисним медичним обладнанням під час епідемій у громадських місцях, таких як школи, офіси та ресторани, та постійно контролювати стан пацієнтів у лікарняному залі.

Лихоманка та кашель — найрелевантніші захворювання респіраторних захворювань, серед яких лихоманку можна розпізнати дистанційно за допомогою теплових камер. Очікується, що ця нова технологія буде дуже корисною для виявлення передач епідемії безконтактним способом. Модель класифікації кашлю подій поєднується із звуковою камерою, яка візуалізує подію кашлю та вказує місце розташування у відеозображенні.

Для розробки моделі розпізнавання кашлю було проведено контрольоване навчання за допомогою звивистої нейронної мережі (CNN). Модель виконує двійкову класифікацію з введенням функції однієї секунди звукового профілю, генеруючи висновок, чи то подія кашлю, чи щось інше.

Під час навчання та оцінювання були зібрані різні набори даних із Audioset, DEMAND, ETSI та TIMIT. Звуки кашлю та інших звуків витягувались із Audioset, а решта наборів даних використовувались як фонові шуми для збільшення даних, щоб цю модель можна було узагальнити для різних фонових шумів у громадських місцях.

Набір даних доповнюється змішуванням звуків від кашлю та інших звуків із аудіозапису та фонових шумів у співвідношенні 0,15 до 0,75, потім загальний рівень гучності регулювався в 0,25-1,0 рази для узагальнення моделі на різних відстанях.

Набори даних про навчання та оцінювання були побудовані шляхом ділення доповненого набору даних на 9: 1, а тестовий набір даних записувався окремо в реальному офісному середовищі.

У процесі оптимізації мережевої моделі навчання проводилося з різними комбінаціями п’яти акустичних ознак, включаючи спектрограму, масштабовану спектрограму Мель та коефіцієнти кепструмних частот Мел із семи оптимізаторами. Продуктивність кожної комбінації порівнювали з набором даних тесту. Найкраща точність випробувань 87,4% була досягнута за допомогою Мелкоспектральної спектрограми як акустичної функції та ASGD як оптимізатора.

Навчена модель розпізнавання кашлю поєднувалася із звуковою камерою. Звукова камера складається з масиву мікрофона та модуля камери. Процес формування променів застосовується до зібраного набору акустичних даних для з'ясування напрямку вхідного джерела звуку. Інтегрована модель розпізнавання кашлю визначає, звучить кашель чи ні. Якщо це так, місце кашлю візуалізується як контурне зображення із позначкою "кашель" у місці розташування джерела звуку від кашлю на відеозображенні.

Пілотний тест камери розпізнавання кашлю в офісних умовах показує, що він успішно розрізняє події кашлю та інші події навіть у галасливих умовах. Крім того, він може відстежувати місцезнаходження людини, яка кашляла і підраховувала кількість кашлю в реальному часі. Результативність буде покращена завдяки додатковим навчальним даним, отриманим з інших реальних середовищ, таких як лікарні та аудиторії.

Професор Парк сказав: "У такій пандемічній ситуації, як ми спостерігаємось із COVID-19, камера виявлення кашлю може сприяти попередженню та ранньому виявленню епідемій у громадських місцях. Особливо, якщо звертатися до лікарняного кабінету, стан пацієнта можна відстежувати. 24 години на добу та підтримують більш точні діагнози, зменшуючи при цьому зусилля медичного персоналу ".

Facebook Comments