Home Assistant: Pořízení snímku z kamery po zazvonění na zvonek a odeslání k analýze LLM

1. Cíl

V tomto článku si ukážeme, jak v Home Assistant nastavit automatizaci, která po zazvonění na zvonek:

• Pořídí snímek z kamery
• Odesílá ho k analýze LLM pro vygenerování popisu toho co se na snímku děje

2. Požadavky

• Home Assistant s podporou automatizací
• IP Kamera integrovaná v Home Assistant (v mém případě Dahua)
• Funkční integrace zvonku (v mém případě také Dahua VTO/VTH devices)
• API nebo lokální model LLM pro analýzu snímku
• Home Assistant Community Store (HACS)
• LLM Vision

3. Nastavení Home Assistant

3.1. Pořízení snímku

• Použití camera.snapshot k uložení snímku
• Uložení snímku na dostupné úložiště

3.2. Odeslání snímku k analýze

• Použití doplňku LLM Vision
• Možné použití lokálního modelu pro popis nebo využití API některého z velkých hráčů na trhu.

3.3. Zpracování odpovědi

• Uložení popisu do proměnné v ramci automatizace Home Assistant
• Notifikace uživateli (např. mobil, hlasová zpráva)

4. Ukázková konfigurace

Spuštění automatizace

Automatizace je spuštěna událostí dahua_vto, která se aktivuje při zazvonění na zvonek.

triggers:
  - trigger: event
    event_type: dahua_vto
    event_data:
      Code: BackKeyLight

Podmínka kontroluje, zda se změnil stav (State == 1), tedy zda došlo ke stisku zvonku.

conditions:
  - condition: template
    value_template: "{{ trigger.event.data.Data.State in [1] }}"

Pořízení snímku

Jakmile se spustí automatizace, pořídí se snímek z kamery camera.ipc_postak_main a uloží se do config/www/tmp/zvonek_1.jpg.

  - action: camera.snapshot
    data:
      filename: /config/www/tmp/zvonek_1.jpg
    target:
      entity_id: camera.ipc_postak_main

Odeslání snímku uživateli

Po krátkém zpoždění (3 sekundy) se snímek odešle uživateli přes Telegram.

  - delay:
      seconds: 3
  - action: telegram_bot.send_photo
    data:
      file: /config/www/tmp/zvonek_1.jpg

Odeslání snímku k analýze

Snímek je poté odeslán k analýze do LLM. Použitý model gemini-2.0-flash generuje popis snímku.

  - action: llmvision.image_analyzer
    data:
      message: >-
        Popiš trochu drzejším způsobem pro zábavu snímek z kamery jednou větou,
        kamera vykresluje prostor před dveřmi. Pokud tam stojí lidé, popiš
        jejich vzhled.
      image_file: /config/www/tmp/zvonek_1.jpg
      model: gemini-2.0-flash
    response_variable: response

Odeslání výsledného popisu uživateli

Po získání odpovědi se popis pošle uživateli prostřednictvím mobilní notifikace a Telegramu.

  - action: notify.mobile_app_sm_g998b
    data:
      title: 📢 Někdo zvoní!
      message: "{{response.response_text}}"
      data:
        image: >-
          https://home.seru.cz:8124/local/tmp/zvonek_1.jpg?{{as_timestamp(now())}}
  - action: notify.telegram_tomas
    data:
      message: "{{response.response_text}}"

5. Shrnutí

Díky této automatizaci Home Assistant dokáže zareagovat na zvonek, pořídit snímek a analyzovat obsah obrazu pro lepší přehled o tom, kdo zvonil.