現状のテストレポートから

他のテストフレームワーク、テストレポートツール、他の人の発表資料を見ればそれらが見えてくる。

XUnit系からJUnit
最近のテストフレームワークとしてJest
UIテストのレポートツールとしてAllure
テストレポートのSaaSとして ReportPortal.io
UIテストレポートに関する発表資料

JUnit5

JUnit5はTestExecutionListenerをImplementしているクラスでテストレポートを作成できる。

通常、コンソールでテストレポートを表示するConsole Launcherは以下のようになる。

├─ JUnit Vintage
│  └─ example.JUnit4Tests
│     └─ standardJUnit4Test ✔
└─ JUnit Jupiter
   ├─ StandardTests
   │  ├─ succeedingTest() ✔
   │  └─ skippedTest() ↷ for demonstration purposes
   └─ A special test case
      ├─ Custom test name containing spaces ✔
      ├─ ╯°□°）╯ ✔
      └─ 😱 ✔

Test run finished after 64 ms
[         5 containers found      ]
[         0 containers skipped    ]
[         5 containers started    ]
[         0 containers aborted    ]
[         5 containers successful ]
[         0 containers failed     ]
[         6 tests found           ]
[         1 tests skipped         ]
[         5 tests started         ]
[         0 tests aborted         ]
[         5 tests successful      ]
[         0 tests failed          ]

取得できる情報は以下。

テスト名
テストステータス
グルーピング
総実行時間
ステータスごとのテスト総数

Jest

以下、成功時の例。

 PASS  ./sum.test.js
  ✓ adds 1 + 2 to equal 3 (3ms)

Test Suites: 1 passed, 1 total
Tests:       1 passed, 1 total
Snapshots:   0 total
Time:        1.033s
Ran all test suites.

以下、失敗時の例。エラー時に対象のコードと詳細なエラー内容が出力されるのはよい。

 FAIL  ./sum.test.js
  ✕ adds 1 + 2 to equal 3 (5ms)

  ● adds 1 + 2 to equal 3

    expect(received).toBe(expected) // Object.is equality

    Expected: 4
    Received: 3

      4 |
      5 | test('adds 1 + 2 to equal 3', () => {
    > 6 |   expect(sum(1, 2)).toBe(4);
        |                     ^
      7 | });
      8 |

      at Object.<anonymous> (sum.test.js:6:21)

Test Suites: 1 failed, 1 total
Tests:       1 failed, 1 total
Snapshots:   0 total
Time:        1.385s
Ran all test suites.

ここには表示できてないが、実行中は何のテストをしているかとその経過時間が表示される。

Jestで取得できる情報は以下。

テストファイル名
テストケース名
テストステータス
失敗した場所のコードとそのログ
グルーピング
総実行時間
ステータスごとのテスト総数
（実行中）実行しているテストとその経過時間

Allure

取得できる情報は以下。テスト側に設定が必要な項目もある。非常に情報量は多い。

テストのステータス
テストのステータス比率
実行環境
Suite
テスト数とそのステータスの推移
環境情報
Category
実行時間の推移
Severity
タイムライン
Behavior
Package
チケットリンク
テスト管理リンク
添付（スクリーンショットや動画など）
エラーログ

f:id:AHA_oretama:20191122123825p:plain:w200 f:id:AHA_oretama:20191122123931p:plain:w200 f:id:AHA_oretama:20191122124004p:plain:w200 f:id:AHA_oretama:20191122124026p:plain:w200 f:id:AHA_oretama:20191122124045p:plain:w200 f:id:AHA_oretama:20191122124104p:plain:w200 f:id:AHA_oretama:20191122124121p:plain:w200 f:id:AHA_oretama:20191122124147p:plain:w200