Обслуговування HVAC та розпізнавання ярликів за допомогою ШІ

Коротко про проєкт

Наш клієнт – американський стартап, який розробив IoT-рішення для систем опалення, вентиляції та кондиціювання (HVAC). Воно поєднує розумні пристрої для очищення обладнання з мобільним додатком та веб-платформою. Пристрої автоматично прочищають дренажні лінії кондиціонерів від бактерій і засмічень, забезпечуючи стабільну роботу систем. Мобільний та веб-застосунки дозволяють як приватним користувачам, так і бізнес-клієнтам легко встановлювати, контролювати й керувати обладнанням, а також замовляти й замінювати картриджі для очищення.

Розширюючи діяльність на B2B-ринку, клієнт зіштовхнувся з новим викликом. Професійні підрядники HVAC, які займаються монтажем і сервісом систем, часто працюють в умовах браку інформації: приїжджаючи на об’єкт, вони заздалегідь не знають, яке саме обладнання встановлене, які його гарантійні умови чи строк служби. Це ускладнює планування профілактичного обслуговування, підвищує витрати та може призводити до затримок.

Щоб вирішити цю проблему, клієнт запропонував реалізувати нову функцію: дати користувачам і сервісним фахівцям можливість під час налаштування пристрою сфотографувати етикетку обладнання HVAC. Платформа автоматично розпізнаватиме модель і витягуватиме ключові характеристики, гарантійну інформацію та дані для обслуговування. Завдяки цьому обслуговування HVAC-систем стало значно простішим.

Виклик

Розробка функції для ідентифікації обладнання HVAC виявилася далеко не простою задачею.

Обладнання HVAC постачається від понад 15 великих виробників та багатьох менших брендів, кожен з яких пропонує десятки моделей. Створювати загальну базу вручну виявилося нереально, тому ми обрали єдиний оптимальний шлях — використання штучного інтелекту.

Завдання полягало в тому, щоб розробити AI-рішення для ідентифікації бренду та моделі кондиціонера, яке могло б:

• Приймати фото етикеток HVAC, завантажені користувачем.
• Визначати бренд і модель обладнання на початковому етапі.
• Витягувати широкий набір технічних і сервісних даних, зокрема:
  • Бренд
  • Модель
  • Серійний номер
  • Номер обладнання
  • Дату виробництва
  • Потужність у тоннах
  • Електричні характеристики
  • Потужність двигуна (HP)
  • Рівень енергоефективності (SEER)
  • Статус гарантії та дату її закінчення
  • Конфігурацію фільтра та рекомендований розмір

Наша мета полягала в тому, щоб отримувати якомога більше корисних даних з кожного фото. Щоб досягти цього при оптимальних витратах, ми вирішили розробити алгоритм, який витягує всі необхідні дані та суттєво зменшує витрати на їх аналіз.

Рішення

Щоб подолати ці виклики та досягти поставлених цілей, ми розробили багаторівневий алгоритм розпізнавання етикеток на базі штучного інтелекту. Ось як він працює:

1. Завантаження фото. Кінцеві користувачі завантажують фото етикетки обладнання через мобільний або веб-додаток.
2. Підготовка. Сервер формує завдання для обробки фото та надсилає його в чергу Google Cloud Tasks для подальшої обробки.
3. Асинхронне виконання. Запити обробляються по черзі, що забезпечує стабільну роботу системи та оптимальне використання ресурсів.
4. Початковий аналіз. Система використовує великий мовний модуль (LLM) для первинного AI-аналізу фото для B2B підрядників HVAC. LLM витягує ключові дані, такі як бренд, модель, серійний номер тощо.
5. Повернення опису. Система повертає опис із витягнутими даними з фото.
6. Подальший аналіз. Отриманий опис перевіряється на наявність необхідних даних, передусім назви бренду та моделі.
   1. Якщо модель кондиціонера вже була оброблена, система використовує дані з кешу, замість повторного аналізу фото. Це пришвидшує розпізнавання та знижує витрати для раніше ідентифікованих моделей.
   2. Якщо модель нова, система додає дані через Vertex AI, використовуючи нашу бібліотеку інструкцій, PDF та фото, або перевіряє їх через Google Search.
7. Уточнення даних. Система повертає JSON-файл з усіма необхідними даними, або принаймні з найбільш критичними.
8. Нормалізація даних. Система очищає, стандартизує та перевіряє всі дані перед збереженням у базі.
   1. Фільтрація некоректних чи дублікатних фото (наприклад, фото нашого власного пристрою).
   2. Стандартизація назв виробників.
   3. Визначення дати виготовлення. Дата визначається або з етикетки, або декодуванням серійного номера за правилами конкретного бренду (наприклад, система серійних кодів Trane).
9. Статус гарантії та розрахунок орієнтовної дати закінчення. Виконується навіть якщо дата виготовлення не вказана.
10. Збереження даних. Всі структуровані метадані HVAC зберігаються в базі даних IoT-платформи для моніторингу HVAC.

Результат

Рішення для розпізнавання етикеток HVAC на базі штучного інтелекту успішно трансформувало бізнес нашого клієнта.

• Для B2B підрядників воно надає миттєву, практичну інформацію про HVAC-системи ще до приїзду на об’єкт.
• Для кінцевих користувачів забезпечує прозорість щодо їх обладнання, включно зі статусом гарантії та рекомендаціями щодо обслуговування.
• Для нашого клієнта відкриває новий джерело доходу, забезпечує конкурентну перевагу та оптимізацію витрат.

Зокрема, рішення для розпізнавання номерів моделей повітрообробних установок поєднує точність і економічність завдяки багаторівневій стратегії:

• Використання кешу: $0,000093–$0,000279
• Верифікація даних через Vertex AI: $0,002593–$0,007779
• Верифікація даних через Google Search: $0,035093–$0,105279