新規に質問を投稿する
【RPA】画面表示が切り替わったことを画像で判別する方法
2025-03-24 14:38
お世話になっております。
【質問事項】
RPAの処理で、画面表示が切り替わったことを画像で比較する方法がわからず困っています。実現方法についてご教示いただけますでしょうか。
【内容】
1枚目の画像の通り、Yahooの「主要」ニュースを表示しているとします。
この状態で、右側の「経済」をクリックし、2枚目の画像に切り替わったかを
判別するにはどのような方法がありますでしょうか。
【補足】
・1枚目の時のスクリーンショットをデスクトップ等に保存して、それと
2枚目の画像を比較すればよいのかなとおもいましたが、そもそも画像の
比較方法がわかりませんでした。
・また、表示されているテキストはその時によって異なるので、テキストによる
判別は不可ではないかと思いました。
お手数ですが、ご教示のほどよろしくお願いいたします。
回答を投稿するにはログインが必要です。
日本コンピュータシステム（CELFチーム）
パートナー
画面の切り替わりを汎用的に検出したいとのことですね。
RPAの性質上、特定の処理を自動化することが目的のため
様々なサイトで汎用的に画面の切り替わりを画像から判別するのは難しいと思います。
画像での比較ではないのですが、画面上のURLを比較することでページが
変わったことを判別することは可能です。
例のYahooニュースのタブの様にURLが変わらない場合は応用が行えません。
実装としましては、切り替わったことを検出してほしいサイトの
URLをCELFシートに保持し、RPAで画面からURLをコピペなどのキー操作で取得。
取得したURLとCELFに保持しているURLを比較することでページの切り替わりを
判定することが可能です。
URLさえCELFで保持していればよいので、汎用的に切り替わりを検出可能です。
正しくサイトが開けているか、画面の切り替わりが正しく行えたかなどの確認時に
私はこのような方法を利用しています。
ご質問意図と間違ったご回答であれば申し訳ございません。
RPAの性質上、特定の処理を自動化することが目的のため
様々なサイトで汎用的に画面の切り替わりを画像から判別するのは難しいと思います。
画像での比較ではないのですが、画面上のURLを比較することでページが
変わったことを判別することは可能です。
例のYahooニュースのタブの様にURLが変わらない場合は応用が行えません。
実装としましては、切り替わったことを検出してほしいサイトの
URLをCELFシートに保持し、RPAで画面からURLをコピペなどのキー操作で取得。
取得したURLとCELFに保持しているURLを比較することでページの切り替わりを
判定することが可能です。
URLさえCELFで保持していればよいので、汎用的に切り替わりを検出可能です。
正しくサイトが開けているか、画面の切り替わりが正しく行えたかなどの確認時に
私はこのような方法を利用しています。
ご質問意図と間違ったご回答であれば申し訳ございません。
コンタクトをとる日本コンピュータシステム ご担当者様
いつもお世話になっております。
回答いただきありがとうございます。
当方の質問の仕方がよくなかったのですが、Yahooのページはあくまでも例で
どのようなサイトでも応用できる方法が知りたいです。
ですので、「画像が現れるまで待機する」のアクションは、特定の画像を指定する
必要があるので使えないと思っています。
なにか方法はないでしょうか。
よろしくお願いいたします。
いつもお世話になっております。
回答いただきありがとうございます。
当方の質問の仕方がよくなかったのですが、Yahooのページはあくまでも例で
どのようなサイトでも応用できる方法が知りたいです。
ですので、「画像が現れるまで待機する」のアクションは、特定の画像を指定する
必要があるので使えないと思っています。
なにか方法はないでしょうか。
よろしくお願いいたします。
日本コンピュータシステム（CELFチーム）
パートナー
こんにちは！
以下の方法をお試しください。
画面の変わらないところを比較する。
CELFのRPAアクションで「画像が現れるまで待機する」というアクションがあります。
今回の参考画像の主要と経済のタブの部分はいつ開いても同じだと思います。
そのため、画像の範囲指定でタブの部分のみを指定することで、
どのタブが開かれているかを検出できそうですね。
具体的には、開かれているタブは白くなるので経済のタブを
開いているときのタブ部分の画像を指定してみではいかがでしょうか？
経済の左右のタブも比較範囲に含めることで、認識精度が高まるかもしれません。
※実際のRPA動作環境で最も高精度で比較可能か様々な画像範囲でテスト下さい。
以下の方法をお試しください。
画面の変わらないところを比較する。
CELFのRPAアクションで「画像が現れるまで待機する」というアクションがあります。
今回の参考画像の主要と経済のタブの部分はいつ開いても同じだと思います。
そのため、画像の範囲指定でタブの部分のみを指定することで、
どのタブが開かれているかを検出できそうですね。
具体的には、開かれているタブは白くなるので経済のタブを
開いているときのタブ部分の画像を指定してみではいかがでしょうか？
経済の左右のタブも比較範囲に含めることで、認識精度が高まるかもしれません。
※実際のRPA動作環境で最も高精度で比較可能か様々な画像範囲でテスト下さい。
Q&A一覧へ