Autifyでリリースチェックを自動化した話

これはアソビュー Advent Calendar 2021の20日目の記事です。

「週末、なにする?そんな時は、アソビュー!」でお馴染みの遊び予約サイト「アソビュー!」のQAを担当している青柳です。

◆Autify導入の背景

私が担当しているWebチケットシステムは、日々機能追加・改修が行われています。昨年はコロナ禍を背景に、人数制限や日時指定など条件付きのチケットを開発しました。商品のバリエーションが増えてテストも膨大になったことで、品質を保ちながら効率良くテストするという課題に直面しました。

システムが複雑化していくことによって、テストの条件がどんどん増えていきますよね。たとえばマトリクスを組んだときに、数千/数万ケース数に膨れ上がっていく状況でした。
テストにかかる工数の割合がどうしても増えてしまうため、リリースサイクルも遅くなり、QAがボトルネックになってしまうこともありました。

◆自動化ツールの選定

上記背景から、品質を保ちながら効率良くテストするという課題を解決するために自動化ツールの導入を検討しました。

実は1〜2年ほど前、SeleniumができるQAエンジニアの方に来ていただいて、一部自動化を推進した時期がありました。ですが、メンテナンスのところでうまく機能しなかったため、作ったものの使われなくなったまま終わってしまいました。
原因としては、現在のQA体制では自動化のためのプログラミングができるメンバーがおらず、機能が改修・追加されていく中で、コードを修正する作業が追いつかなかった。それがメンテナンスにおける課題でした。

前回の反省も踏まえつつ、自動化ツールに関するディスカッションを行なっているとき、同じチームのメンバーからAutifyを紹介してもらいました。
使いやすそうと感じたので、トライアルから始めてみたところ、使いやすいプロダクトだったので本格導入を推進していくことになりました。

◆Autify導入〜

今回対象にしたプロダクトがWebチケットなので、まずは、チケット領域のリグレッションテストをAutifyで自動化に置き換えていこうと考えました。弊社はリリースチェックシートを用意しているので、まずはそのチェック項目に沿ってAutifyでテストシナリオを作っていきました。

・・・なぜ、リリースチェックから置き換えとしたのか
弊社では機能リリース時にリリースチェックをクリアする必要があるのですが、PC / SPで実施する必要があるため、1.5〜2時間程度の作業時間が発生していました。
多いときは週に何度もリリースチェックを行っていたため、工数削減効果が高い、既にテストケースが用意されている点を考慮し、リリースチェックから自動化に置き換えていくことにしました。

リリースチェックを置き換えるところまでは良かったのですが「誰がいつまでに」という具体的なところを決めきれていないままで進めたので作業が停滞してしまった時期がありましたが、仕切り直した上でテストケースを用意し、プランを明確にしました。
プランに対して実装する担当も決めて、そのメンバーと連携して、テストケースを上から順にAutifyで作っていってもらうようにしました。

テストケースが増えていくと、何がどういうケースなのか分からなくなってきてしまうという課題も発見できたので、命名規則を設けてパッと見てすぐに分かる形にしていきました。
リリースチェックを置き換えていく中で、せっかく作った自動テストを使わないのも勿体ないので、該当するAutifyのリンクを貼っていって、一部だけでも動かせるようにしました。グループ機能も活用しました。

◆Autify導入後〜運用フェーズ

現在は、デイリーで動かすシナリオを用意して、標準的な機能に異常が起こっていないかを毎朝確認しています。あとは、リリースのタイミングでテストプランとしてまとまっているものを実行しています。
Slackと連携して結果が全て通知されるようになっているので、確認も容易であり、エラーがあればすぐに拾える状態です。

以前は開発メンバーにもQAの作業を一部手伝ってもらったりしていましたが、手動で行っていたテストの一部がAutifyに置き換わってきているので、最近はほとんど起こらなくなっています。

◆今後の展望

リリースチェック以外にも自動化できるところを推進していく、他のチームのリグレッションテストもAutifyに置き換えていって、人の手で確認する作業を極力なくしていきたいです。
弊社の場合、サイトに掲載してチケットを販売するまでの大きなシナリオもあります。その部分もAutifyに置き換えて、品質を定常的にモニタリングできる仕組みの1つとしてもAutifyを活用していきたいとか考えています。

Autify社からの事例紹介のインタビューの記事はこちらからご覧ください。
https://autify.com/ja/stories/asoview?utm_campaign=weekly-letter&utm_medium=email&_hsmi=191725596&_hsenc=p2ANqtz-9fNT5uyn6zOLDibKu4E4sYPIyraYhx3XNgIwNmT-JezeTIPcTRHXLRLjBbx5of_Nvqy8YBOJE3KVNipCqqMf0REoQ0FvAW2l0ffus2lVH-i8lBonE&utm_content=191725596&utm_source=hs_email

「生きるに、遊びを。」をミッションに掲げる我らがアソビューでは一緒に事業をつくる仲間を絶賛募集中です。
興味がありましたらお気軽にご応募いただければと思います。
https://www.wantedly.com/companies/www-asoview-co/projects