Xcode 6 Test Failures

The abridged output of rake test:integration:iphone TEST_SDK=8.0 follows (only failing tests are shown).

If you'd like to fix a test, please follow the guidelines under "Making Changes" here. When you're done, please remove the test from the page.

The iPad tests need to be run too of course.

Xcode 6 will not run 7.1 tests at present due to http://openradar.appspot.com/radar?id=5260422659702784 but we should eventually check those too.

These failures may very well be caused by bugs in UIAutomation (rather than simple changes between frameworks). If so, file a Radar and make an entry here and in the meantime try to work around it. File an issue and/or leave a message in the chat room if you want to talk about your proposed fix.

    SLElementStateTest started.
        ✓ "testIsEnabledReturnsYESByDefault" passed.
        ✓ "testRect" passed.
        ✓ "testIsEnabledMirrorsUIControlIsEnabledWhenMatchingObjectIsUIControl" passed.
        │ "testCanRetrieveLabelEvenIfNotTappable" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementStateTest.m:149: "[[[SLTerminal sharedTerminal] eval:kTestElementIsTappable] boolValue]" should be false. For the purposes of this test, the test element should not be tappable.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testCanRetrieveLabelEvenIfNotTappable" failed.
        ✓ "testHitpointDefault" passed.
        │ "testHitpointReturnsAlternatePointIfDefaultIsCovered" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementStateTest.m:115: "CGPointEqualToPoint(hitpoint, [self defaultHitpoint])" should be false. -hitpoint did not return expected value.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testHitpointReturnsAlternatePointIfDefaultIsCovered" failed.
        ✓ "testHitpointDefaultIsNotAccessibilityActivationPointBelowIOS7" passed.
        │ "testElementIsTappableIfItHasANonNullHitpoint" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementStateTest.m:131: "SLCGPointIsNull(hitpoint)" should be true. -hitpoint did not return expected value.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testElementIsTappableIfItHasANonNullHitpoint" failed.
        ✓ "testHasKeyboardFocus" passed.
        │ "testHitpointReturnsNullPointIfElementIsCovered" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementStateTest.m:126: "SLCGPointIsNull(hitpoint)" should be true. -hitpoint did not return expected value.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testHitpointReturnsNullPointIfElementIsCovered" failed.
        ✓ "testValue" passed.
        ✓ "testLabel" passed.
        ✗ SLElementStateTest finished: executed 12 cases, with 4 failures (0 unexpected).

    SLAlertTest started.
        │ "testAutomaticDismissalTapsTheDefaultButtonAbsentACancelButton" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
Alert was not handled by a test, and could not be dismissed by Subliminal's default handler.
SLAlertTest.m:68: "[SLAskApp(titleOfLastButtonClicked) isEqualToString:defaultButtonTitle]" should be true. The alert should have been dismissed using the default button.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testAutomaticDismissalTapsTheDefaultButtonAbsentACancelButton" failed.
        │ "testMultipleHandlersMayBeAddedSimultaneously" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:276: "[alert1Handler didHandleAlert]" did not become true within 2 seconds. First alert handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testMultipleHandlersMayBeAddedSimultaneously" failed.
        │ "testHandlerMustBeAddedBeforeAlertShows" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:134: "[SLAskApp(titleOfLastButtonClicked) isEqualToString:cancelButtonTitle]" should be true. The handler should have dismissed the alert using the cancel button.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testHandlerMustBeAddedBeforeAlertShows" failed.
        │ "testDismissTapsTheCancelButtonFirst" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:356: "[handler didHandleAlert]" did not become true within 2 seconds. Handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testDismissTapsTheCancelButtonFirst" failed.
        │ "testManuallyHandlingParticularAlertsInTestCode" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:114: "[handler didHandleAlert]" did not become true within 2 seconds. Handler should have handled an alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testManuallyHandlingParticularAlertsInTestCode" failed.
        │ "testAHandlerMustNotBeReadded" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:172: "[handler didHandleAlert]" did not become true within 2 seconds.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testAHandlerMustNotBeReadded" failed.
        │ "testManuallyHandlingParticularAlerts" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:96: "[handler didHandleAlert]" did not become true within 2 seconds. Handler should have handled an alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testManuallyHandlingParticularAlerts" failed.
        │ "testThatUnhandledAlertsAreAutomaticallyDismissed" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:49: "SLAskAppYesNo(isAlertActive)" should be false. The unhandled alert should have been automatically dismissed.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testThatUnhandledAlertsAreAutomaticallyDismissed" failed.
        │ "testAutomaticDismissalTapsTheCancelButtonFirst" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:59: "[SLAskApp(titleOfLastButtonClicked) isEqualToString:cancelButtonTitle]" should be true. The alert should have been dismissed using the cancel button.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testAutomaticDismissalTapsTheCancelButtonFirst" failed.
        │ "testSetTextOfPlainTextField" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:430: "[alertHandler didHandleAlert]" did not become true within 2 seconds. Handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testSetTextOfPlainTextField" failed.
        ✓ "testRemoveHandlerThrowsIfNotAlreadyAdded" passed.
        │ "testDismissWithButtonTitled" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:390: "[handler didHandleAlert]" did not become true within 2 seconds. Handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testDismissWithButtonTitled" failed.
        ✓ "testAddHandlerThrowsIfHandlerDoesNotDismissAlert" passed.
        │ "testRemoveHandler" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:253: "[SLAskApp(titleOfLastButtonClicked) isEqualToString:cancelButtonTitle]" should be true. The alert should have been dismissed using the cancel button by default.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testRemoveHandler" failed.
        │ "testAHandlerMustNotBeAddedMultipleTimes" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:160: "[handler didHandleAlert]" did not become true within 2 seconds.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testAHandlerMustNotBeAddedMultipleTimes" failed.
        │ "testSetTextOfLoginAndPasswordFields" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:450: "[alertHandler didHandleAlert]" did not become true within 2 seconds. Handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testSetTextOfLoginAndPasswordFields" failed.
        │ "testAndThenChainsTwoHandlers" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:324: "[alertHandler didHandleAlert]" did not become true within 2 seconds. Handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testAndThenChainsTwoHandlers" failed.
        ✓ "testDidHandleAlertThrowsIfHandlerHasNotBeenAdded" passed.
        │ "testAHandlerIsRemovedAfterItHandlesAnAlert" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:192: "[handler didHandleAlert]" did not become true within 2 seconds. The handler should have handled the alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testAHandlerIsRemovedAfterItHandlesAnAlert" failed.
        │ "testDismissTapsTheDefaultButtonAbsentACancelButton" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:371: "[handler didHandleAlert]" did not become true within 2 seconds. Handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testDismissTapsTheDefaultButtonAbsentACancelButton" failed.
        │ "testHandlersAreCheckedInOrderOfAddition" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:293: "[firstHandler didHandleAlert]" did not become true within 2 seconds. Oldest alert handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testHandlersAreCheckedInOrderOfAddition" failed.
        │ "testSetTextOfSecureTextField" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:411: "[alertHandler didHandleAlert]" did not become true within 2 seconds. Handler should have handled alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testSetTextOfSecureTextField" failed.
        │ "testAHandlerIsRemovedOnlyIfItSuccessfullyHandlesAnAlert" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLAlertTest.m:223: "[cancelButtonHandler didHandleAlert]" did not become true within 2 seconds. The cancel button handler should have handled the alert.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testAHandlerIsRemovedOnlyIfItSuccessfullyHandlesAnAlert" failed.
        ✗ SLAlertTest finished: executed 23 cases, with 20 failures (0 unexpected).

    SLElementMatchingTest started.
        ✓ "testElementsDoNotCaptureTheirMatches" passed.
        ✓ "testMatchingTableViewHeaderChildElements" passed.
        ✓ "testSubliminalReloadsTheAccessibilityHierarchyAsNecessaryWhenMatching" passed.
        ✓ "testMatchingCollectionViewCellChildElement" passed.
        │ "testCannotMatchIndividualChildLabelsOfTableViewCell" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementMatchingTest.m:245: "[[UIAElement(currentWeatherCell) label] isEqualToString:@"city, temp"]" should be true. Could not match UITableViewCell with accessibility label combined from child elements' labels.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testCannotMatchIndividualChildLabelsOfTableViewCell" failed.
        │ "testMatchingTableViewCellTextLabel" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementMatchingTest.m:227: "[[UIAElement(fooLabel) label] isEqualToString:@"fooLabel"]" should be true. Could not match standard UITableViewCell child element.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testMatchingTableViewCellTextLabel" failed.
        ✓ "testElementsWaitToMatchValidObjects" passed.
        ✓ "testMatchingTextInputPickerView" passed.
        ✓ "testMatchingTabBarButtons" passed.
        │ "testMatchingWebViewChildElements_iPhone" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementMatchingTest.m:341: Unexpected exception occurred ***SLUIAElementInvalidException*** for reason: Element '<SLElement description:"memorabilia, Memorabilia">' does not exist.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testMatchingWebViewChildElements_iPhone" failed unexpectedly.
        ✓ "testMatchingTableViewHeader" passed.
        ✓ "testSubliminalRestoresAccessibilityIdentifiersAfterMatching" passed.
        ✓ "testElementsCanMatchTheSameObjectTwice" passed.
        ✓ "testElementWithAccessibilityLabel" passed.
        ✓ "testElementMatchingPredicate" passed.
        ✓ "testSubliminalRestoresAccessibilityIdentifiersAfterMatchingEvenIfActionThrows" passed.
        ✓ "testSubliminalOnlyReplacesAccessibilityIdentifiersOfElementsInvolvedInMatch" passed.
        │ "testMatchingTableViewCellWithCombinedLabel" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLElementMatchingTest.m:236: "[[UIAElement(currentWeatherCell) label] isEqualToString:@"city, temp"]" should be true. Could not match UITableViewCell with accessibility label combined from child elements' labels.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testMatchingTableViewCellWithCombinedLabel" failed.
        ✓ "testCannotMatchDescendantOfAccessibleElement" passed.
        ✓ "testElementsThrowIfNoValidObjectIsFoundAtEndOfTimeout" passed.
        ✓ "testAnyElement" passed.
        ✓ "testElementWithAccessibilityLabelValueTraits" passed.
        ✓ "testMatchingActionSheetButtons" passed.
        ✓ "testElementWithAccessibilityIdentifier" passed.
        ✓ "testMatchingElementsWithinTableHeaderView" passed.
        ✓ "testMatchingNonLabelTableViewCellChildElement" passed.
        ✗ SLElementMatchingTest finished: executed 26 cases, with 4 failures (1 unexpected).

    SLTextFieldTest started.
        ✓ "testMatchesSearchBarTextField" passed.
        │ "testSetTextCanHandleTapHoldCharacters" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
target.frontMostApp().keyboard() failed to locate key '’'
⚠ -[SLKeyboard typeString:] will fall back on UIAElement.setValue due to an exception in UIAKeyboard.typeString: VerboseError: target.frontMostApp().keyboard() failed to locate key '’'
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✓ "testSetTextCanHandleTapHoldCharacters" passed.
        ✓ "testGetText" passed.
        │ "testSetTextWithinTableViewCell" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLTextField.m:39: "[UIAElement(_textField) setText:expectedText]" should not have thrown an exception: "SLUIAElementNotTappableException" ("Element '<SLTextField description:"test element">' is not tappable."). Should not have thrown.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testSetTextWithinTableViewCell" failed.
        ✓ "testSetWebTextFieldTextClearsCurrentText" passed.
        ✓ "testGetWebTextFieldText" passed.
        ✓ "testGetSearchBarText" passed.
        ✓ "testMatchesWebTextField" passed.
        ✓ "testSetText" passed.
        ✓ "testSetWebTextFieldText" passed.
        ✓ "testSetTextWhenFieldClearsOnBeginEditing" passed.
        │ "testSetTextClearsCurrentTextWithinTableViewCell" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLTextField.m:39: "[UIAElement(_textField) setText:expectedText1]" should not have thrown an exception: "SLUIAElementNotTappableException" ("Element '<SLTextField description:"test element">' is not tappable."). Should not have thrown.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testSetTextClearsCurrentTextWithinTableViewCell" failed.
        ✓ "testDoNotMatchEditorAccessibilityObjects" passed.
        ✓ "testSetTextClearsCurrentText" passed.
        ✓ "testClearTextButton" passed.
        ✓ "testSetSearchBarText" passed.
        ✗ SLTextFieldTest finished: executed 16 cases, with 2 failures (0 unexpected).

    SLPickerViewTest started.
        │ "testPickerViewValuesArentModifiedOnInvalidSelections" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
- selectValue requires a valid value
Cannot perform action on invalid element: UIAElementNil from target.frontMostApp().elements()["UIWindow: 0x7b976b90"].elements()["UIPickerView: 0x7d9319a0"].wheels()[2]
SLPickerViewTest.m:77: "[[values objectAtIndex:0] isEqualToString:@"3. 3 of 3"]" should be true. SLPickerView first spinner should have value '3. 1 of 3'. Actual: 3
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testPickerViewValuesArentModifiedOnInvalidSelections" failed.
        ✓ "testPickerViewReportsCorrectNumberOfComponents" passed.
        │ "testPickerViewInitialComponentValues" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLPickerViewTest.m:46: "[[values objectAtIndex:0] isEqualToString:@"1. 1 of 3"]" should be true. SLPickerView first spinner should have value '1. 1 of 3'. Actual: 1
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testPickerViewInitialComponentValues" failed.
        ✓ "testPickerViewCanBeFound" passed.
        │ "testPickerViewValuesCanBeModified" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLPickerViewTest.m:55: "[[values objectAtIndex:0] isEqualToString:@"2. 2 of 3"]" should be true. SLPickerView first spinner should have value '2. 1 of 3'. Actual: 2
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testPickerViewValuesCanBeModified" failed.
        ✗ SLPickerViewTest finished: executed 5 cases, with 3 failures (0 unexpected).

    SLDeviceTest started.
        ✓ "testCanRotateDevice" passed.
        │ "testDeactivateAppForDuration" started.
────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
SLDeviceTest.m:71: "[mockDelegate verify]" should not have thrown an exception: "NSInternalInconsistencyException" ("OCPartialMockObject[SLIntegrationTestsAppDelegate]: expected method was not invoked: applicationDidBecomeActive:<UIApplication: 0x7b863a60>"). App did not deactivate and reactivate.
────────┬────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
        ✗ "testDeactivateAppForDuration" failed.
        ✓ "testThatDeviceOrientationPersistsThroughDeactivation" passed.
        ✗ SLDeviceTest finished: executed 3 cases, with 1 failure (0 unexpected).

✗ Testing finished: executed 22 tests, with 7 failures.
The run order may be reproduced using seed 2446577889.