2018-02-22

【用語解説】John Micco氏の言う"Flaky"なテストとは？

JaSST'18 TokyoではGoogleのJohn Micco氏が基調講演とチュートリアルで登壇します。
この2つのセッションのキーワードとなるのが「"Flaky"なテスト」です。

Flakyなテストって？

みなさんCI回してますか？
CI回していると一定の割合でコードもテストも環境にも変更を加えていないのにたまに失敗するテストってありませんか？
今回の基調講演者のJohn Micco氏が所属するGoogleでは、このような「同じコードでpass/failどちらの結果にもなってしまう」テストを、"flaky"(nondeterministicとも呼ばれます)なテスト結果と呼んでいます。

We define a "flaky" test result as a test that exhibits both a passing and a failing result with the same code.

(引用：Google Testing Blog | Flaky Tests at Google and How We Mitigate Them )

Flakyなテストには、(多分)みんな困っている

Googleでも全てのテストランにおいて毎回1.5%程度の割合で"flaky"なテスト結果が出るそうです。
Flakyなテストが増えると、

原因の確認にQAや開発者の貴重な時間を使ってしまう
開発者がバグを見逃す機会になる

失敗したテストだけを自動再実行するなどの対処療法もありますが効果は限定的ですし、なによりコミットからフィードバックまでの時間が長くなってしまいます。
この問題はリリースの頻度が高い組織ほど、大きな問題になります。

Googleの解決策

この問題に対して、Googleでは実行時間・テストタイプ・消費リソースなどの沢山のデータを集めて、それらのデータがflaky testsとどう関係しているかを研究しているそうです。
JaSST'18 TokyoのJohn Micco氏の基調講演やチュートリアルでは、この問題に対する世界最先端の取り組みが聞けるかもしれません。

参考記事

お申込み締め切りは2/26(月) 18:00！

日本にいながらGoogleの人から直接CIを教えてもらえる機会なんて、たぶん今後10年ありません。自動化でFlakyなテストに困っている皆様、必聴です。
他にもGoogleが自動テストという文脈においてどのような問題に直面しているのか、どのような取り組みを行っているのかを聞いてみたい／知りたい方も是非お越しください。情報交換会で、Micco氏に直接質問することも出来るかもしれません。

お申込みはこちらから。2/26(月) 18:00締め切りです！

2018-02-21

探索的テストを活用してますか？今年のJaSST東京はワークショップも！経験論文も！

みなさんは、現場で「探索的テスト」を活用していますか？

スクリプトのテストとは異なり、テストを実行しながら次の方針を考え、設計していく手法として、関心がある方も多いかと思います。

世界規模で行われているテストに関する調査「State of Testing Survey 2017」によると、「（現場で実践している）テストのアプローチと方法論」で「探索的テスト/セッションベーステスト」と回答した人が84%を占めています。
世界的にみても、探索的テストは多くの現場で活用されていることがわかります。

JaSST Tokyoでもこれまでに探索的テストに関するセッションが行われました。

今年のJaSST Tokyoでは、探索的テストのセッションを2つ予定しております！

「やってみよう！探索的テスト～ハイクオリティな妄想の高速ループ～」

JaSST'17 Hokkaido実行委員によるセッションです。探索的テスト実施時の流れや狙いどころなど、実際に探索的テストを実施しながら学べる講座となっています。

「探索的テストにおけるストーリーベースのアプローチ」

登壇者の熊川さんは、2014年のJaSST Tokyoでも探索的テストの活用事例について発表されました。今回は経験論文の発表となります。

今回のセッションから、現場の探索的テストをよりよくするヒントが見つかるかもしれません。ぜひ会場でチェックしてみてください！

JaSST'18 Tokyoへの参加お申込みはこちらお申込みの締め切りは2/26(月) 18:00です。参加をお考えの方はお早めに...！

2018-02-07

Web.JaSST パネルディスカッションで使用するお悩みや課題を募集します

皆様こんにちは、JaSST東京実行委員の鈴木です。

JaSST'18 Tokyo の開催まで後ちょうど1ヶ月に迫りました。

先週 JaSST'18 Tokyo のプログラム一覧が公開されましたが、今年も Web.JaSST のセッションを開催いたします。

今回の Web.JaSST では、Webサービスの開発現場の第一線で働く方々をパネリストとしてお迎えし、テスト、品質、業務、キャリアなどのカテゴリーから、様々な悩みや疑問に答えてもらうパネルディスカッション形式のセッションを予定しています。（私もモデレータとして参加します。）

題して「Web.JaSST ～ウェブ系QAがみんなのお悩みに全力で提案を返す会～」

セッション内容詳細はこちら。

つきましては、当日パネリストにぶつけたいお悩みや課題を募集させて頂きます。

下記のリンク先のWebフォームからご登録いただけますので、みなさんの聞きたいことをご協力いただければ幸いです！（質問は採用されない場合もございますのであらかじめご了承ください。

お悩み、課題の投稿はこちらから！（入力締切: 2/22）

Googleフォーム - 質問募集「Web.JaSST～ウェブ系QAがみんなのお悩みに全力で提案を返す会～」

docs.google.com

f:id:jasst_tokyo_blog:20180207110838p:plain — 前回プレ開催時に難しいお悩みに頭を抱える柿崎憲さん（サイバード）の様子です。パネリストが唸る鋭いお悩み是非お待ちしています。

2018-01-30

JaSST'18 Tokyo プログラム公開＆チケット販売スタート！お得な早割も！

こんにちは！

お待たせしました！JaSST'18 Tokyoのプログラム公開とチケット販売を開始しました！

今年のJaSST東京はGoogle社のJohn Micco氏による基調講演に始まり、各セッションやチュートリアルにも業界の有識者の方に多数登壇いただけることになりました！

JaSST'18 Tokyo-セッション概要

いったいどんな話しが聞けるのか、とてもワクワクしています！

お申込みは早割がお得

今年は、2日券が割安で購入できる早期割引キャンペーンをご用意しました！

	通常価格	2月5日(月)まで
2日券	9,700円(税込)	8,400円(税込)

※ 1日券(税込み5,400円)もあります。

さらにチュートリアルもお得

チュートリアルは、なんと10,800円(税込)で全てのチュートリアルセッションを受講いただけます！ ※受講される日の参加券(1日券または2日券)が必要です。
2018/03/05追記
F2) チュートリアル1「コードを書きながら学ぶテスト駆動開発」につきましては、満席のため申込時にチェックいただいた方のみご入場いただけます。当日のご参加はできませんのでご了承ください。

お申込みはこちらから

早割の申込は【2/5(月)申込分】までとなっていますので、参加をお考えの方はこちらから、是非この機会にお申込みください！

2018-01-21

JaSST'18 Tokyoのビジョン

みなさんこんにちは、JaSST東京実行委員の藤澤です。
突然ですが「V2MOM」という言葉をご存知でしょうか。

これはSaleforce社が開発した「秘密」の管理プロセスで、チームのメンバーが同じ方向を向いて活動をするための、組織の文化づくりの手法です。

V2MOMとは

Vision、Value、Method、Obstacle、Mesuares の頭文字を取ってブイツーモムと読みます。

要素	定義
VISION（ビジョン）	行いたいことや達成したいことを定義します。
VALUE（価値）	ビジョンの追求を支える原則や信念です。
METHODS（方法）	業務の完遂に必要な行動や手順です。
OBSTACLES（障害）	ビジョンを達成するために克服しなければならない課題や問題、難点です。
MEASURE（基準）	求める成果を表し、測定可能なものとします。

[ 引用: V2MOM を使用した組織内の意思統一の実現単元 | Salesforce Trailhead ]

JaSST'18 TokyoのV2MOM

今年のJaSST東京実行委員会では、実行委員長の一人である中野の提案により、V2MOMを利用してJaSST東京が実現したい世界観の整理を行いました。

以下がその内容です。

VISION (ビジョン: 行いたいこと、達成したいこと)

テストエンジニアや開発現場の人材にとって技術トレンドとモチベーションの源泉を与えられる日本の有識者が産学をまたいで参加している日本最大級のシンポジウム

VALUES (価値: ビジョン追求を支える原則、信念)

日本のソフトウェアテスト業界のトレンドを発信している

日本のソフトウェアテストに関する多くの論文が投稿されている

世界レベルの有識者の発表が聴ける

同じ志をもった仲間を見つけ、つながることができる

次世代のソフトウェアテストの有識者を生み出す

METHODS (方法: 完遂に必要な行動や手順)

リッチなコンテンツの提供

既存のコンテンツを拡張して対象を増やす

世界レベルのカンファレンスと差を埋め、世界のトレンドを追従するためのコンテンツ

日本で進んでいる研究を発表できる

日本の次世代の芽を見つけて、育てる

ネットや現場で流行しているカルチャーをピックアップし掘り下げる

ITヒューマンスキルを磨けるような研修的なトラックを増やす

一年をまたいで記事を作成し、JaSSTを知ってもらう

OBSTACLES (障害: 克服しなければならない課題)

業界内のソフトウェアテストの重要性の理解の浅さ

無料勉強会のカルチャーの発展

実行委員会の未成熟なプロセス

トレンド確立への不明確さ

トレンドを作るための技術的トレンドの情報、議論不足

MEASURES (基準: 成果を測定するもの)

参加者数

論文、事例発表投稿数

JaSST公式サイトのPV/UU

SNS反響数

スポンサー数