テストの繰り返しによる信頼性の低いコードの診断

テストの繰り返しは、最も信頼性の低いコードのデバッグにも役立ちます。テストプラン、Xcode、xcodebuild内の最大反復テスト、失敗するまでのテスト、失敗した場合の再試行などを使用して、バグやクラッシャを追跡し、Appを誰にとってもより安定したものにする方法を確認しましょう。このセッションを最大限に活かしていただくためには、XCTestとテストプランによるテストの管理に精通していることが推奨されます。詳しくは、WWDC19の「Xcodeでテストする」をご確認ください。

リソース

- HDビデオ
- SDビデオ

関連ビデオ

WWDC22

Xcode Cloud用の高速で信頼性の高いテストを作成する

WWDC21

ダウンロード

こんにちは WWDC 2021 へようこそ私は XcodeのXCTest 担当のSuzyですこのセッションではテストを繰返す為のツールであるテストリピートを使って信頼性の低いコードの診断方法について学びます

App起動テストを実行する過程で信頼性のないコードを実行するとテストが失敗することがあります

レースコンディション環境の仮定グローバルステート外部サービス通信等を扱う際このような不整合が発生することがありますこれらのバグは再現が難しいため追跡するのが難しいバグですこのような不具合を診断する方法の１つはテストを繰返し実行することです Xcode 13で追加されたテストの繰返しでは停止条件を指定して指定した回数までテストを繰りす事ができます Xcodeは３つのテスト繰返しモードをサポートしています１つ目のモードは Fixed iterations ですテストの状態に関わらず一定の回数だけテストを繰返します Fixed iterationsはテストの信頼性を把握し時間の経過と共に新しいテストが導入されても信頼性を維持するのに役立ちます２つ目は Until failure です Until failureは失敗するまでテストを繰返します私はこのツールを使ってテストの失敗を再現しデバッガで検出するのが好きです最後は Retry on failure ですこれは指定された最大値まで成功するまでテストを再試行します最初失敗しても再試行で最終的に成功する様な信頼性の低いテストを特定するのに便利です CIのテストでこのような挙動が見られる場合テスト計画で一時的に Retry on failure を有効にして問題を解決するための追加データを収集することができます失敗時の再試行には実際の製品の問題が隠されてる可能性がある事を覚えておく必要があります最初に失敗してから最終的に成功する機能もあるのでこのモードを一時的に使用し失敗を診断するのが最善です実際にどう機能するのか理解を深めていきましょう「IceCreamTruckCountdown」というアイスクリームトラックが家の前を通るまでの時間を教えてくれる Appを作りましたクッキー＆クリームがあると嬉しいので全てのフレーバーが揃っているかを確認する為に testFlavorsというテストを書きました testFlavors は truckDepot から取得したトラックがあります

私はprepareFlavorsを呼び出し最後に 33種類のフレーバーが全て揃っている事を表明します

最近 Xcode Cloud のメインブランチで testFlavors が時々失敗することに気づきましたもっと情報を集めるためにテストプランを一時的に設定し Test Repetition Modeを失敗時に再試行するようにしましたレポートナビゲータを見てクラウドのレポートをチェックしてみましょう

テストが一貫して失敗しているので最後のテストをチェックして情報を集めましょう

最初のデバイスを開くとイテレーションのラベルがありこのテストの最初のイテレーションであることがわかります

そして他の行をすべて展開するとアサーションの失敗はすべて同じでこの最後のテストは合格しています１台のデバイスだけでなくすべてのテストが一貫してパスすることを期待していましたこの失敗をローカルで再現してみましょう testFlavorsがあるファイルに行ってみましょう

Controlキーを押しテスト用のダイヤモンドをクリック Run "testFlavors()" Repeatedly をメニューから選択しテストの繰返しダイアログを表示しますここでは繰返しの停止条件を選択したり最大反復回数を設定したり Pause on Failure等のオプションを設定することができますここではクラウドレポートで発生した問題を再現したいので停止条件を最大反復回数を経るように設定し 100回にしておきます

ではテストを実行してみます

よし！　テストはローカルで失敗しました失敗のアノテーションをクリックすると Xcode Cloudで起こったのと同じエラーが表示され 100回中４回失敗しましたこれでこの問題をデバッグできる様になりましたもう一度 Controlキーを押しながら testFlavorsのテストダイヤをクリックし Run "testFlavors() " Repeatedly を選択しかし今回は失敗した時に停止するようにして問題が起きた時にデバッグできるようにします Xcodeは自動的にPause on Failure を選択してくれるのでデバッガでエラーを検出することができます

これで問題が解決しましたトラックのフレーバーに不整合があるとわかっているのでデバッガでトラックオブジェクトを見てみます

既に prepareFlavors を呼び出しているので flavorsが33であるべき所が０になっているのはおかしいですねこの completionHandler の中に入ってしまったのでしょうかブレークポイントを追加して「続行」をクリックします

うーんなんか間違ってる気がします

fruffleは内側のprepareFlavors completionHandlerではなく外側のcompletionHandlerで呼び出されています

複数のcompletionHandler がある非同期イベントで期待値が正しい場所で満たされていない事が原因のかなり単純なバグです XCTestはSwift 5.5に対応しており５async/await使用でテストを単純化し二度と起こらない様にできますこのテストをasync/awaitを使うように変換するにはメソッドのヘッダーに async throws を追加します

iceCreamTruckを truckDepotから取得するのに "await " バージョンを使用します

prepareFlavorsの "await " バージョンを使用します

同じアサートですがトラックはオプションではないです

このテストをもう一回実行して修正されていることを確認してみましょう Controlキーを押しながら Run "testFlavors()" Repeatedlyを選択しもう一度 Maximum Repetitionsを停止条件として選択します

やったー！　このテストは 100回パスしましたこれで解決したと確信したのでテスト計画から失敗時の再試行を削除して変更をコミットする準備ができましたという訳でデスク上の使い方とテスト計画に設定することで CIでテストを繰返し実行する方法の１つを理解したところですそれではデモのようにCLIを使ってテストを繰返し実行する別の方法を説明します xcodebuildを直接実行する場合テストプランの設定を上書きする xcodebuildフラグを追加することができます

test-iterationsに数字を渡すと固定回数のテストを実行できまた -retry-tests-on-failure や -run-tests-until-failure と組み合わせると他の停止条件と一緒に使うことができます xcodebuildを使って同じ様にテストを実行するにはテストの実行に使う基本の xcodebuildコマンドから始めて -test-iterationsを 100に設定し -run-tests-until-failureのフラグを追加します要約するとテストの繰返しは信頼性の低いコードを診断するためのツールとして使用します一貫性のないテストの取り扱いについては「XCTestで想定される失敗の容認」をご覧ください Swiftのasync については「Swiftのasync/awaitについて」をご覧くださいご覧いただきありがとうございます [音楽]

2:39 - testFlavors

func testFlavors() {
    var truck: IceCreamTruck?

    let flavorsExpectation = XCTestExpectation(description: "Get ice cream truck's flavors")
    truckDepot.iceCreamTruck { newTruck in
        truck = newTruck
        newTruck.prepareFlavors { error in
            XCTAssertNil(error)
        }
        flavorsExpectation.fulfill()
    }

    wait(for: [flavorsExpectation], timeout: 5)
    XCTAssertEqual(truck?.flavors, 33)
}

6:31 - testFlavors: add async throws to method header

func testFlavors() async throws {
    var truck: IceCreamTruck?

    let flavorsExpectation = XCTestExpectation(description: "Get ice cream truck's flavors")
    truckDepot.iceCreamTruck { newTruck in
        truck = newTruck
        newTruck.prepareFlavors { error in
            XCTAssertNil(error)
        }
        flavorsExpectation.fulfill()
    }

    wait(for: [flavorsExpectation], timeout: 5)
    XCTAssertEqual(truck?.flavors, 33)
}

6:32 - testFlavors: use the async version of the ice cream truck

func testFlavors() async throws {
    let truck = await truckDepot.iceCreamTruck()
        truck = newTruck
        newTruck.prepareFlavors { error in
            XCTAssertNil(error)
        }
        flavorsExpectation.fulfill()
    }

    wait(for: [flavorsExpectation], timeout: 5)
    XCTAssertEqual(truck?.flavors, 33)
}

6:33 - testFlavors: use the async version of prepareFlavors

func testFlavors() async throws {
    let truck = await truckDepot.iceCreamTruck()
    try await truck.prepareFlavors()
    XCTAssertEqual(truck?.flavors, 33)
}

6:50 - testFlavors: the truck is no longer optional

func testFlavors() async throws {
    let truck = await truckDepot.iceCreamTruck()
    try await truck.prepareFlavors()
    XCTAssertEqual(truck.flavors, 33)
}

特定のトピックをお探しの場合は、上にトピックを入力すると、関連するトピックにすばやく移動できます。