Google Homeを遊びたおす会

Google Homeを遊びたおす会

Google Homeを遊びたおす会

こんにちは、skillappです。
本日はスマートスピーカーGoogle Homeのイベントにやってきました。
田中みそさん主催の「Google Homeを遊びたおす会」 が東京 飯田橋で開催中されました。

※ご登壇およびご参加された皆様へ
記載内容につきまして、発言内容と相違する点、間違っている点などございましたら、twitterで @skillapp_jp までご連絡いただけますと幸いです。
宜しくお願い致します。

 
 
ハッシュタグ:
#googlehomeを遊びたおす会

 

登壇:田中みそさん
Google Homeでつくるスマートホーム

まずは田中みそさん!

ご自宅のスマートホーム構成をご紹介。
動画でもご紹介!

webアプリもスマートホーム用に作られています。
ブラウザから自宅の家電を操作できるそうです!
(Qiitaの記事でみた事ある気が。。。)

Google Homeに話しかけた内容を受け取って何かやるには主に2通り
・IFTTT
・Google Assistantアプリを作る。

IFTTTからはWebhookでFirebaseのRealtime Databaseへ情報書込。
なぜFirebaseを使っているのか→簡単DBアクセス、apiが簡単に作れるから。

Firebaseへの書き込みをラズパイ上のNode.jsで監視。→家のポートを開ける必要がないので安全。

※余談
Google Homeに慣れてくると、
「OK, Google ×××××××××」
という寝言を無意識に言ってしまう可能性があります!!笑

ESP32というWi-Fi付きマイコンを用いてよりIoTな使い方もできます。


Firebase Hostingに自作Webアプリを設置すればスマホからも操作可能。
外出先からも家電操作やGoogle Homeを喋らせたりできる。

まとめ:


あとこんなの作ってます
→GitHub→miso-develop
  Google Home Auto Tester
  Dialogflow2AlexaSkillJson

質疑応答:

Firebase は有料で使っているのか?
→無料。

今後やりたいこと
→子供がテレビに近づくので注意喚起するGoogle Homeアプリ作りたい。

Google Homeが勝手に動くんだが。。。そんな経験あるか?
→ない。

Noderedは便利だと思うが。。
→扱ったことない。FirebaseはWebアプリデプロイできるから。Firebaseの他の機能などの兼ね合いなども考慮して。。

Google Homeを大量に買ったらしいが、どうか?
→基本的にリビング利用がメイン。寝室はアラーム利用。

一番よく使う機能は?
→家電操作。照明とか。。
chromeキャストとか。。

作ってて不満点などあるか?
→IFTTTはコード管理できないの不満。
Firebase、Nodeは便利。

アカウント管理は?
→家族分アカウント登録している。

赤外線リモコン利用時に信号の問題があるが。。
→HDMI CECというもので管理している。

アプリのSEOやっているか?
→気にしていない。

IFTTTのthisのほうでGoogle Homeしゃべる人によってFirebaseに処理いくいかないあるか?
→全て飛んでいる。

Realtime Databaseには全てデータがいくのか?
→少し結果が変わることがあるが、全部いく。
例)つけて→つけ て

ノンプログラマーとの事だが。。
プログラムは1年ほど
Node.jsは一から勉強した。
 
 
 
 

登壇:ちょまど(千代田まどか)さん(Microsoft社 テクニカルエバンジェリスト)、
大田昌行さん (Microsoft社)
Google Home 用のお遊びアプリをMicrosoft Azure使って作ってみた

ちょまどさんのPCがご機嫌ななめとの事!汗

Microsoft 大田昌行さんがサポート!
bot作ってるよーん!

会議室を一発で予約したい!自分のアカウントで。

AUTH認証問題。
Actions on Google使ってますよね?アカウントリンクの項目ありますね。
諸々設定する必要があります。 Authrization URLとかとか。
大抵のapiはスコープありますよね。


シュミレーターでAuth認証対応しようとすると困る。そんな時はデバックする。Actions on Googleで認証パラメータとかみれます。
デバッグするときは、ngrokを使っている。

ソースコード紹介:
Actions-on-google、express使ってる。

(色々説明されました。ライティング追いつきませんでした。)


以下のGitHubにソースコード公開してるとの事。
https://github.com/NT-D/roomFinder

 
 
———————-
ちょまどさん復活ww
———————-


スマートスピーカーについて話します。

おばあちゃん大好き
VUIいいよね!

クイズタイム開始!!笑








ぴっぴっぴっぴっぴー





まとめ:


 

質疑応答:

内臓AIアシスタントw
→指摘ありがとう!w
 
 

 

登壇:山口能迪さん(グーグル合同会社 パートナーデベロッパーアドボケイト)
Actions on Googleでできること

 
グーグルデベロッパーアドボケイトやっている。
Actions on Googleの普及活動している!

今日話すこと
・Googleアシスタントとの連携方法
・Actions on Googleの発展機能
・Dialogflowの紹介

Google アシスタントとは・・
様々なデバイスから呼び出すことができる。Android端末、Android wear、BOSEとかとか。。

デバイス、タスクの種類に応じて声以外の方法でも利用可能。

Google アシスタントって拡張できるの?できます。

連携方法ご紹介。

IFTTT連携:
pros
コード書かなくてよい
起動用の定型文を事前に定義してくれている。

cons
Fire-and-forget型の連携しかできない。

Actions on Googleの拡張:

Actions on Google開発時の特徴:

AoG開発概略:

app.getRawInput()→ユーザーの発話内容をgetする

Actions on Googleでの連携:
pros
自由度高い。
一般公開できる。
高度な呼び出しができる。

cons
自分でAPI連携などをする必要あり。
エンドポイントのサーバーを用意しないといけない。

Actions on Googleで使える発展機能:

ショートカットありますよー
「Googleホーム」アプリ
ナビゲーションバー
>その他の設定
>ショートカット

implicit invocation:
implicit invocation
Actions on Googleがあなたのアプリを推薦してくれる。
例)七里ヶ浜の波情報→「なみある?」を紹介。

推薦してもらうにはアプリ登録設定画面にて設定すればよい!

発話ゆらぎ→Actions on Googleで実現するのは大変。
→DialogFlowを使うと便利。人間の発話ゆらぎを吸収してくれます。
Trainig phrasesに設定すればよい。

まとめ:

 

 

質疑応答:

ウェイクのセンテンスはGoogleが統一的に管理しているのか?
→している。

implicit invocationについての詳細は?
以下サイト参考に。
https://developers-jp.googleblog.com/2018/03/exp-imp-invocations.html
 
 
 
 

登壇:fishさん
Dialogflow tips



Googleの技術が好きです。
「お魚検索」作った。
他にも作った。

今日の話:
・Dialogflowとは?
・Dialogflowの使い方
・Dialogflow tips

・Dialogflowとは?
アナリティクス機能ついてます。

できること&できないこと:

Dialogflowは必要な値を取得するところまで、計算処理はサーバーで!

できること&できないこと まとめ:
静的処理できて動的処理できない。

Intent-会話の設計:

Dialogflow tips:
同じようなIntentは作らないでください。
例)
佐藤さんを呼んで
鈴木さんを呼んで

ちゃんとEntityを作ろう!
→call memberにする。

EntityのKeyはプログラムでそのまま使えるものにすると便利!

会話を終了するIntentを作っておこう
EndIntent必ず作ろう!

Dialogflowはサービスの一番前にExport zipしてバックアップをとろう
GitHubで管理。

Dasebaseには画面有り無しの文言を用意しておくと良いかも!
スピーカー用とそれ以外。
バックエンドでスクリーン有りか無しか処理入れる。

Google Assistantのアプリを作る時は一番最初にテストをしよう!
まずは繋がるかチェック!

プロジェクトの上限数にハマらないために:
(のちほどスクショ掲載予定)

質疑応答:

EndEntityは必ず必要なので、Googleで規定してくれると便利だけど、どうでしょうか。
→Dialogflowエクスポートできるので、特定の終了インテントはそれで対応できます。(グーグル 山口能迪さん 回答)