Blue Prism の動画＜開発・実行①＞ 画像・文字認識（リモートデスクトップの操作）
はいどうもー！
Virtual Youtuberの神谷町RPAブログです。
今回は、画像・文字認識（リモートデスクトップの操作）の開発・実行を簡単に説明していきます。
リモートデスクトップを操作する
リモートデスクトップの操作をBlue Prismで自動化しようとすると、必然的に画像・文字認識が必要になります。
通常のデスクトップ上のアプリと異なり、リモートデスクトップの場合は…
- 遠隔地からデスクトップの画面が画像として送られてくる
- 私たちのデスクトップからマウスでクリックしたり、キーボードで入力する
- 遠隔地に入力内容が送られ、遠隔地で更新されたデスクトップの画面が画像として再び送り返されてくる
- 以上を繰り返す
という流れになるので、Blue Prismは画像を操作しなくてはなりません。
Surface Automationの実行（Youtube動画）
Blue Prismで画像・文字認識を使う場合は、Surface Automationという言葉で総称される自動化技術を使います。具体的には、スパイモードのひとつであるRegionモードを中核にした技法となります。
実際にやってみましょう。例えば、以下のような操作をBlue Prismに実行させます。
- リモートデスクトップ上のChromeアイコンが存在しているかどうかをチェック
- Chromeを起動（Chromeアイコンの真ん中をクリックし、Enterキーを押下）
- Chromeが立ち上がってくるまで待つ
- ChromeのアドレスバーにBlue Prismと入力し、Enterキーを押下
- Chromeの検索結果画面で、Enabling Users to Automate Existingという文字列が表示されているかをチェック
- Enabling Users to Automate Existingという文字列を選択してコピー
- Blue Prism上で、コピーした内容を表示
実際にやってみた動画がこちらです。
やったぜ。
まとめ
- Blue Prismでも、リモートデスクトップやCitrixの仮想アプリ・デスクトップを扱う場合は、画像・文字認識を利用する必要がある
- Blue Prismの画像・文字認識は、Surface Automationという名前で総称される技法で、スパイモードのひとつであるRegionモードを活用する
- 普通、開発・実行動画と言ったら、第一回をWebとかExcelから始めて、画像・文字認識は第三回とか、第四回くらいにやるんじゃないの？…いやね、いまこのブログ、新大阪近くのビジネスホテルで書いてるわけよ。大阪出張と言ったら、なんといっても食べ物が楽しみじゃん？当然ながら、まったくもって、そんな時間はないわけですよ。夕方に東京を出て、夕食は新幹線でお弁当、そして明日は朝早いんですよ。朝早く用を足したら今度は品川に急いで戻らなきゃいけなくて、551の肉まんを買う暇もないし、まぁ買ったところで渡す相手もいないけどね、土日は土日で書類仕事が残ってるわけで、、つまり、何だろうな、こまけぇことはいいんだよ！
そういうとこだぞ。
