Blue Prism で Citrix やリモートデスクトップの画面を構造認識して操作する
Blue Prism （に限らず、少なくない RPA がそうかもしれないが）だと、
Citrix やリモートデスクトップの画面は、
画像マッチングしかできず、
Surface Automation をがんばるしかない！
・・・って思うじゃん？
まぁ、Surface Automation も良いと思うよ。
うん、まぁ、アレもなかなかイケメンだ。
しかし、「それしかない」と思い込むほどには、
世の中は決して狭くはない。
今日はそんなお話です。
Ultima IA-Connect を使う
Ultima IA-Connect を使うことで、
Citrix またはリモートデスクトップの画面を構造認識させることが可能です。
仕組みとしては、
Blue Prism のランタイムリソース側に IA-Connect Director、
Citrix やリモートデスクトップの画面の向こうに IA-Connect Agent を
配置して通信させる構成です。
動作イメージは、
IA-Connect が Citrix やリモートデスクトップ専用の
アプリケーションモデラーとして機能する感じかな。
やってみた
文章で書いてもわかりにくいので、
実際にやってみます。
（今回はリモートデスクトップを試した）
インストールと構成
まず、IA-Connect Director をインストール。
（画面は IA-Connect Inspector。URL は
http://【ホスト名】:8002/IAConnectRESTClient/WebService/UIAInspector.html ）
リモートデスクトップ画面の向こうには、
IA-Connect Agent を配置。
これは単にexeを置いて起動すればOK。
ライセンス情報を設定すると、
Director と Agent の通信が可能になります。
リモートデスクトップ画面のスパイ
IA-Connect Inspector から、
リモートデスクトップ画面の向こう側のアプリケーションを起動します。
今回は電卓（C:\\Windows\System32\win32calc.exe）を使いました。
起動すると、全体の大枠がまずはスパイされます。
Identify を押下すると、
その行がアプリケーションのどこを指しているのか、
表示されます。
Step in を押下することで、
さらにその子要素を識別できます。
識別した要素は、
Blue Prism のプロセス／オブジェクト・スタジオに
コピー＆ペーストで配置できます。
以上の操作は、IA-Connect Inspector を使用せず、
Blue Prism からダイレクトに行うことも可能です。
（専用の VBO が IA-Connect インストール時に提供される）
動かしてみた
快適☆☆☆☆☆
画像マッチングではないので、
ウィンドウが最前面に出てなくても、
むしろ画面に表示されてなくても、
きちんと動作する！
諸々の変更（解像度、フォントなど）に強い形で、
Citrix、リモートデスクトップの画面を自動化できそうだゾ☆
やったぜ。
まとめ
- Citrix やリモートデスクトップの画面を Blue Prism で自動化する場合、画像マッチングの Surface Automation を使うことができるが、Ultima IA-Connect を使えば構造認識で自動化が可能になる
- IA-Connect は、Blue Prism のランタイムリソース側の Director と、Citrix やリモートデスクトップの画面の向こう側の Agent で構成される
- IA-Connect は Citrix やリモートデスクトップ画面専用のアプリケーションモデラーのように動作し、スパイした結果は、Blue Prism にコピー＆ペーストで持ってこれる
たまにはこーゆー、
変わった話題も面白いよね！
Blue Prism の可能性は無限大だゾ☆
