[database_talker] add database_talker#1388
[database_talker] add database_talker#1388sktometometo wants to merge 62 commits intojsk-ros-pkg:masterfrom
Conversation
Co-authored-by: Kei Okada <k-okada@jsk.t.u-tokyo.ac.jp>
|
all done, ready まではいくようになりました。 |
|
all done readyから先にもトラップが何重かありました. |
|
@k-okada どういうデモのプログラムか聞いてないんですが全体像としてはどういうものなのですか? |
|
@sktometometo hoge.pyで以下の画像のようなことができるようになります. メモ書き
やらなくていいことリスト
やったらいいことリスト
@mqcmd196 リスト
|
|
inputはチャット? |
|
チャットがinputになっています |
|
昨日の作業を簡単にまとめておくと
ことが必要でした.
常時Fetchで動かすには
あたりが必要かと思いました. すごく面白いシステムになりそうだと昨日デバグしながら思っていましたが,この仕組みをそのまま常時動かすのは,今後のデバグが結構面倒な気がするので,常時動かす際にはもう少しシンプルなシステムにできないものかとおもいました. cc: @a-ichikura @mqcmd196 |
database_talker/launch/demo.launch
Outdated
| <include file="$(find jsk_perception)/launch/classification.launch"> | ||
| <arg name="run_api" value="true"/> | ||
| <arg name="CLASSIFICATION_INPUT_IMAGE" value="$(arg INPUT_IMAGE)"/> | ||
| </include> |
There was a problem hiding this comment.
I think this and other nodes that need GPU should split launch file because those nodes are usually launched at remote PC such as dlbox.
There was a problem hiding this comment.
Or another option, we may use something like machine tag and these inference nodes automatically launches at remote PC.
There was a problem hiding this comment.
@mqcmd196 will privde 24/7 API service at dlbox until 12:00 today, so we only set 'run_api' to false and add host here.
database_talker/scripts/hoge.py
Outdated
| return text | ||
|
|
||
| def translate(self, text, dest): | ||
| return Translated(text=text, dest=dest, src="en", origin="unknown", pronunciation="unknown") |
There was a problem hiding this comment.
https://gist.github.com/k-okada/a22cc574d398937d0f4726edef4cad77
で 18.04のgoogletrans 2.4.0 にパッチ充てると,この行を消せると思います.確認してみてください @tkmtnt7000
で,これで日本語ベースでやり取りするのが出来ると思います.
There was a problem hiding this comment.
ありがとうございます.確認してみます.
rosパッケージ化してしまえば,catkin_virtualenvを使ってpython3環境でgoogletrans==3.1.0a0をバージョン指定して入れるような感じでもいいのかなと考えていました.
| result = {'message': message, | ||
| 'message_translate': message_translate, | ||
| 'timestamp': timestamp, | ||
| 'similarity': difflib.SequenceMatcher(None, query, message_translate).ratio(), |
There was a problem hiding this comment.
保存されているchatのメッセージと,make_replyのqueryの類似性の計算方法がよく分かっていないので,
@a-ichikura に解説してもらいたいです.
|
関連するパッケージのPRがマージされているのでfetchのdevelopブランチにマージしてapp_chooserから起動できるようにしておこうと思います.パッケージの名前等変更したほうが良ければこのタイミングで変えておきます. |
|
|
|
@tkmtnt7000 Can you create new PR from this branch? |
|
この機能は全ロボットで常時動いたら良いので、fetch/develop としては、
|
そうなると思います.jsk_robotに出ているjsk-ros-pkg/jsk_robot#1792 と https://github.com/tkmtnt7000/jsk_robot/blob/cd0a897deb224038674e88ac7599502f7caf5d59/jsk_robot_common/jsk_robot_startup/launch/sample_database_talker.launch を使って追加で常時起ち上げられるようにします.
現状はは73B2に置かれているdlbox15で一時的に手動で起ち上げっぱなしにしています.GUIでポチポチできると嬉しいかなと思っています(イメージとしてはsystemdのseviceファイルを書いてcookpitのようなものを使う)が,このあたりは手を付けていません.
画像と音声の問い合わせに時間がかかっています.検索結果が空の場合はは指定した時間分すべてを走査するので特に返ってこない,という印象です.muscaのスペックの問題かこちらのQueryの投げ方が悪いのか,,,などまだ問題ごとに調べきれていないので調査中..というところです. |
message typeを指定しないと早いのはおそらくそうで,以下のスクリプトでタイプを指定しないで引っ張ってくるように検証するとおよそ5時間分/1400枚の画像をdumpするのに5分でした. robot_database_mongo_dump.py: https://gist.github.com/tkmtnt7000/11bdace2ff71354a65b42aa07b4c2f21 5分でもインタラクティブなやり取りには長いと感じているので,人間が夢を見ながら記憶整理をするように,ロボットも夜の間に記憶整理(夢を見る)と称してオフライン処理をしても良いかもしれないと思いました. |
|
|
ありがとうございます。
pip である必要はないので、aptで入れ直したのですが同じエラーでした…
デスクトップで試していたので、webカメラを指したらエラーなくなりました。ありがとうございます。 |
|
ごめんなさい で動くとおもいます. としてみて下さい. |
したのですが、 どちらも同じエラー(mongodb_storeがない)になりました。
|
|
|
|
ありがとうございます。 |
|
あれ?カメラ変? |
|
変ですね‥webカメラ変えたら正常になったので、カメラが問題のような気がします。 プログラムは正常です。 |
エンコード関係かもしれないですね。Windowsとかでカメラつなげて、Zoom?か何かで見てみて、ちゃんと写っているなら、カメラ問題ではなくて、ソフトウェア側の問題だと切り分けられます。 https://github.com/sktometometo/jsk_demos/blob/c361fd491a22f9a52358f62b350c0b900a0a628b/database_talker/sample/sample.launch#L18-L19 |
… add missing imports
…estamp of VQA results
…ending chat is failed
…urred, also check similarity with past 10 sentences
…et_manager, start_mongodb
…om self.start_date
…ause data retrieval from Lovot is only supported on daily basis, so we must replacate them on the next day
…into PR/hoge-py


@k-okada
hoge.py を追加し、スタンドアロンで動作するようにしているパッケージです。
現在動作確認中です.
CC: @tkmtnt7000