WebViewControl

ContribModul
Zweck / Funktion
Android APP für einen Fullscreen-Browser
Allgemein
Typ	Contrib
Details
Dokumentation	Thema
Support (Forum)	Mobile Devices
Modulname	95_WebViewControl.pm
Ersteller	Dirk (Forum /Wiki)
Wichtig: sofern vorhanden, gilt im Zweifel immer die (englische) Beschreibung in der commandref!

WebViewControl

WebViewControl ist eine APP, die auf Phonegap basiert und per WebView einen Fullscreen-Browser zur Verfügung stellt. Dieser kommuniziert zusätzlich per Javascript mit dem Android-Gerät und stellt so einige Geräteeigenschaften zur Verfügung.

Darüber können dann einige Funktionen wie z.B. die Bildschirmhelligkeit und der Batteriestatus per FHEM-Modul zur Verfügung gestellt, ausgewertet und auch gesteuert werden.

Anforderungen

Grundsätzlich kann die APP mit jeder Website zusammen benutzt werden. Für FHEM ist jedoch ein Modul verfügbar, damit FHEM einfach mit der APP zusammenarbeiten kann. Dafür sind folgende Anforderungen zu erfüllen:

• Ein laufendes FHEM.
• aktiviertes Longpoll (Die Kommunikation zwischen FHEM zur APP erfordert aktiviertes Longpoll).
• Android ab Verion 2.3.3 besser jedoch Android ab Version 4

Screenshots

• 

  Aktive Spracherkennung

• 

  Eine Toastmessage

• 

  Menü

Verfügbare Funktionen

Fullscreen Browser

Der Fullscreen-Mode wird nicht von allen Geräten unterstützt.

Ab Android 4 Ice Cream Sandwich (ICS) (oder auch schon seit Version 3?) ist auf den meisten Geräten die "System-Bar" am unteren Rand nicht ausblendbar. Es sei denn, das ROM des Gerätes unterstützt das. Das geht zwar auch mit einem gerooteten Gerät, das wollte ich hier aber nicht vorraussetzen. Beim "Archos 10D G3" wird das Ausblenden der "System-Bar" z.B. unterstützt.

Eigene APP-ID

Jeder APP kann eine eigene APP-ID zugewiesen werden. So können im Netzwerk mehrere APPs direkt adressiert werden.

Nach dem Ändern der APP-ID muss die App neu gestartet werden.

Autostart

Im Menü kann eingestellt werden, ob die APP nach einem Booten des Gerätes automatisch startet.

Bildschirm eingeschaltet lassen

Per Menüeinstellung, per Javascript bzw. per FHEM kann eingestellt werden, ob der Bildschirm bei laufender App eingeschaltet bleibt.

Ändern der Bildschirmhelligkeit

Die Bildschirmhelligkeit kann per Javascript und über FHEM eingestellt werden.

Toast Nachrichten

Kurze, sogenannte Toast-Nachrichten, können an das Gerät per Javascript und per FHEM gesendet werden.

Netzwerk- und Batteriestatus

Der Batterie- und Netzwerkstatus kann vom Gerät per Javascript abgefragt werden. Mit diesen Informationen wird z.B. in der rechten unteren Ecke der FHEM-Weboberfläche ein entsprechendes Icon angezeigt. (Netzwerk wird derzeit nur grün, wenn eine WIFI- oder Ethernet-Verbindung aktiv ist.)

Abspielen von Audio Dateien

Es können Audiodateien vom Netzwerk oder internen Speicher / von SD-Karte abgespielt werden.

TTS (Text To Speach)

Es können Sprachausgaben per Javascript bzw. von FHEM aus ausgelöst werden. Damit können z.B. Statusinformation per Sprache ausgegeben werden.

Spracherkennung

Nutzung der Spracherkennungs-API. Somit ist es möglich, die angezeigte Webseite und auch FHEM per Sprache zu steuern. Es kann dann ein Wort bzw. eine Wortgruppe gesprochen werden (z.B. "Wohnzimmer Licht an"), das direkt per Notify in FHEM ausgewertet werden kann. Per FHEM und per Tap auf das Batterie-Icon wird am Gerät die Spracherkennung gestartet. Der "Tap" auf das Batteriesymbol ist derzeit eine "Notlösung", weil es noch keine bessere Idee gab. Zusätzlich kann die Erkennung durch FHEM gestartet werden.

Installation

Im Contrib-Verzeichnis befinden sich folgende Dateien:

• 95_WebViewControl.pm - kommt in den Ordner FHEM (als Kopie oder als Symlink)
• webviewcontrol.css und webviewcontrol.js - kommen in den Ordner /www/pgm2
• WebViewControl.apk - das ist die APP und muss auf dem Android Gerät installiert werden.
• Die Phonegap JS-Library wurden von der WebViewControl-JS-Datei entkoppelt. Daher muss cordova-2.3.0.js in www/pgm2.
• mic_sprite.png muss in den Images-Ordner.

Da die APP noch nicht aus dem Playstore kommt und auch keine qualifizierte Signatur hat, muss zum Installieren der APP in den Einstellungen des Android Gerätes im Punkt Sicherheit die Einstellung "Unbekannte Quellen" aktiviert sein. Das kann nach der Installation wieder deaktiviert werden.

Angeforderte Berechtigungen

Die App verlangt bei der Installation die folgenden Berechtigungen

• Netzkommunikation (sonst könnte die App keine Webseiten öffnen)
• System-Tools (für das Deaktivieren des Standby-Modus)
• Netzwerkkommunikation (zum Abfragen des Netzwerkstatus)
• System-Tools (für den Autostart nach dem Booten)

Konfiguration der APP

Beim ersten Start der APP muss diese an einigen Punkten konfiguriert werden.

• Start-URL (die komplette URL, unter der die FHEM-Weboberfläche erreichbar ist)

Die Start-URL muss derzeit komplett mit Protokoll eingegeben werden, also beispielsweise als http://192.168.1.1:8083/fhem

• APP-ID (die APP-ID unter der FHEM die APP finden kann; Standard=12345)
• Username / Password (falls die FHEM-Weboberfläche passwortgeschützt ist, muss das hier entsprechend eingegeben werden)
• Autostart (falls dieser Punkt aktiviert ist, startet die APP nach dem Booten von Android automatisch)
• Bildschirm eingeschaltet lassen (der Bildschirm bleib an, wenn die externe Stromversorgung angeschlossen ist)
• Cache löschen (die Webview der App hat einen internen Cache. Wenn dieser Punkt aktiv ist wird der Cache beim Starten der APP und beim Neuladen gelöscht)
• URL Timeout (hier kann (in Millisekunden) eingestellt werden, wie lange die APP beim Laden einer URL wartet, bevor eine Fehlermeldung angezeigt wird)
• Entwickler-Optionen im Hauptmenü (wenn diese Option aktiv ist, werden einige zusätzliche Menüpunkte im Hauptmenü eingeblendet (Cache löschen / Display Helligkeit testen))

Konfiguration in FHEM

Die folgenden Definitionen sind in der FHEM Konfiguration vorzunehmen:

define <name> WebViewControl <app-id>

Beispiel

define androidTablet WebViewControl 12345

Die app-id (hier 12345) ist dieselbe Zeichenfolge, die auch in der APP eingestellt wird. So können unterschiedliche APPs mit FHEM adressiert werden. Standardmässig ist als APP-ID in der APP 12345 eingestellt.

Steuerungsmöglichkeiten per FHEM (set)

Bildschirm bei aktiver APP eingeschaltet lassen:

set androidTablet keepScreenOn [on|off]

Aktuelle Seite im der Weboberfläche neu laden. Kann während der Entwicklung ganz nützlich sein:

set androidTablet reload

Bildschirmhelligkeit ändern:

set androidTablet screenBrightness [WERT]

Der Wert kann mit 1-255 eingegeben werden. Allerdings ist es geräteabhängig, was z.B. als Maximalhelligkeit angesehen wird. Hier muss ggf. experimentiert werden. Üblich sind Werte von 1 bis 100 oder auch 1 bis 255. Sollte die Helligkeit nach 100 z.B. wieder abnehmen, dann wäre 100 der Maximalwert.

Kurze Nachrichten auf dem Gerät anzeigen:

set androidTablet toastMessage [NACHRICHT]

URL der angezeigten Seite wechseln:

set <webViewControl_Name> newUrl <url>

Die URL muss auch hier komplett angegeben werden. Also http://... Man kann hier übrigens JEDE URL angeben. Auch z.b. die von Google. Dabei verlässt man dann aber den "Einflussbereich" von FHEM. Somit ist anschließend keine weitere Kommunikation möglich. Daher ist es Sinnvoll hier NUR FHEM URLs anzugeben.

Da man hier beliebige URLs an die APP übergeben kann, auch so was hier:

set <webViewControl_Name> newUrl javascript:alert('Huhu!')

Hiermit könnte man hier natürlich auch "bösartigen" JS-Code einschleusen. Natürlich kann man über diesen Weg auch einfach Benutzer definierten Javascript-Code ausführen. Hier können wir noch mal diskutieren ob ich die Eingaben hier noch entsprechend filtern soll.

Spracherkennung per FHEM starten:

set androidTablet voiceRec start

Nachdem die Erkennung gestartet wurde, gibt es ein Tonsignal und ein Overlay (siehe Screenshot oben). Wenn die Erkennung erfolgreich war, also was erkannt wurde, gibt es ein anderes Tonsignal und kurz eine entsprechende Grafik im Overlay. Bei einem Fehler gibt es auch einen Ton und eine entsprechende Grafik mit einem Fehlertext. Der Fehlertext wird genau wie das erkannte Wort/Wortgruppe an FHEM gemeldet und kann dort z.B. mit einem Notify ausgewertet werden. Nach einer erfolgreichen Erkennung bzw. einem Fehler wird das Overlay automatisch wieder geschlossen, es ist also keine Benutzerinteraktion notwendig.

Beispiel für den Notify für die Spracherkennung

# Licht im Wohnzimmer einschalten

define speechRecognizer_wzLich_ein notify .*voiceRecognitionLastResult.*licht.*wohnzimmer.*(ein|an).* set wzLicht on;; set $NAME ttsSay Licht im Wohnzimmer eingeschaltet

# Licht im Wohnzimmer ausschalten

define speechRecognizer_wzLich_aus notify .*voiceRecognitionLastResult.*licht.*wohnzimmer.*aus.* set wzLicht off;; set $NAME ttsSay Licht im Wohnzimmer ausgeschaltet

# Einfaches echo

define speechRecognizer_echo notify .*voiceRecognitionLastResult.* {my @a=split(": ","$EVENT");; fhem "set $NAME ttsSay $a[1]"}

Beide Beispiele zusammen funktionieren anscheinend nicht. Das echo-Notify "drängelt" sich immer vor, die anderen werden dann nicht mehr ausgeführt. Vielleicht hat ja jemand eine Idee.

Die Spracherkennung ist übrigens noch experimentell:

• Ein Abschalten einer laufenden Erkennung ist noch nicht implementiert. Die Erkennung stoppt aber, wenn keiner mehr was sagt.
• Vermutlich gibt es noch einige Bugs

Informationen per FHEM abrufen (get)

Akku-Ladestand abrufen:

get androidTablet powerLevel

Einige Geräte, speziell das "Archos 10D G3" haben hier allerdings Probleme. Der "echte" Akkuzustand wird hier nur angezeigt, wenn keine externe Stromversorgung angeschlossen ist. Mit externer Versorgung zeigt das Gerät immer 100% an.

Energie-Status abrufen:

get androidTablet powerPlugged

Zeigt an ob das Gerät an einer externen Energieversorgung angeschlossen ist.

Links

• Thread im FHEM-Forum zu dieser Applikation