2021-02-07

実機テスト、するよね?

ちょっと前までスマホメーカー中の人やってました。下請けソフト屋。だいたいミドルより下のレイヤーで開発評価デバッグその他あれこれ。

で、ここから

https://b.hatena.ne.jp/entry/s/twitter.com/masanork/status/1358069771753852929

特にこの辺りを読んで、

https://twitter.com/masanork/status/1358186280551546880

ずいぶんと感覚が違うな、と思った。

元受けがメーカー(つまりハードも作ってる)だったからなのかも知れないけど。

とにかく実機使ってテストしまくるんですよ。もちろん使えるところは例えばアプリならPC上のシミュレータ使って自動化したり、通信関係では検証環境使ったりもするけど、泥臭かろうが人手がかかろうが最後絶対実機と実環境テスト

なんでか。

シミュレーターや検証環境所詮「疑似」環境であって、本物とは違う、意図的もの把握してるもの以外に意識できてないところでどこか必ず限界がある、減らすことはできるがゼロにはできない、まして他所から持ってきたモジュールハードウェアであれソフトウェアであれ)なんざ仕様書があってもどっかブラックボックスなのは避けられないし仕様書に無い不具合だってあるあるだし、そういうブラックボックスエミュレーションした疑似環境でのテストもするけど想定を一歩でも踏み外したら信用に値しない、

そういうことを何度も何度も痛い目を見て思い知らされてるから

それに本番環境しか出ない不具合って日常茶飯なんですよ。通信からむと機器同士の相性も出るし。互換検証会ってありますよね?わざわざハードウェア持ち寄って動作テストするやつ。いわゆるキャリアがケータイスマホを揃えてテストさせてくれる環境提供してるのだってそれが必要だってキャリア開発者も知ってて利用者いるから。

COCOAだって、実機と実環境ダミーの陽性者と濃厚接触者を立てて試験すりゃ良いだけだろうに、なぜそんなことすらしなかったのか?正直理解ができなかったんですけど、そもそも実機テスト試験環境に関する基本的な考え方や感覚が違うんですね。

今回みたいな案件にそういう発想で取り組んだこと自体が失敗だったんじゃないですかね。

  • まぁお粗末だとは思うけど、お前は本番障害引き起こしたことないのかよ。 レベルの大小はあるかと思うけど、突き詰めれば障害の原因なんてしょぼい事だろうよ。 今回の件で、ごちゃ...

    • ? 障害を起こさないために人海戦術?とかで実機テストするんだけど、それやってないってことでは? やらないと普通駄目でしょ 趣味でスマホアプリ作ってるとかじゃないんだから 実...

      • テストに割く分を開発につぎ込んだのでは。

        • デバッガとかいう誰でもできる職種と超一級エンジニアが同じなわけないだろ。アホなん?

        • 末端の開発者にはテスト分の報酬は渡っていないのでは?

      • まあ金はないと思うよ。少なくとも毎回リリースのたびに稟議が必要という状態だったよ。 趣味じゃないからなw また、毎回実機チェックで網羅テストするのはすげー金かかる。 なの...

        • うーん、日本が貧乏なのが問題なら仕方がない 中国の方が早い段階でコロナ対策のアプリ開発成功してたしなあ 新しいCocoaはAppleに入社できたら作りたい

          • え???中国はコロナ0だからアプリ必要ないよねw?

            • 北朝鮮もコロナ0だしアプリなんか必要ないよな

            • 0になる前の話ですね アリババとか(テンセントとか?)が開発してたはず 勝手に0を謳いだしたのは中央政府であって、中国の厚労省に当たる省庁や医療従事者、民間ではないです 政府...

              • えええ?じゃあちゃんと動いてるって確認取れないじゃん???感染者数ゼロなはずだからさw? どうやってちゃんと動いてるって確認取れたの???教えて教えてっっw

    • 今回の件で、ごちゃごちゃ言ってるソフトウェア技術者は、大した経験のないやつなんだろうな、と思っているよ。 なぜそう思えるのかよく分からない。 あなたは大した経験がある...

    • テストもしないようなコード書いてる奴は胃が痛いだろうな

  • 予算ないと実機とか用意しないんじゃないの、知らんけどさ でもまあ金出してそういうテスト会社に外注するのが一番早い気がするけどね、自前で揃えてもしょうがないところあるし

  • 分野違いのものだけど、非常に参考になった。

  • アプリ開発は受け入れテストのみやってたけど、Appleのメジャーバージョンアップで既存のAPIが非推奨になって死ぬとかよくあったし、仕様固まらない状態から実装しろとかウォーターフ...

    • アナル開発もアジャイルで出来ますか?

      • ウォーターホールじゃないからアジャイルで開発しないと大変なことになるぞ

  • ちょっとだけいたけど、確かにやたらと実機使ってテストするよね。 Bluetoothで通信したデータを使うし、疑似的に同じような環境使って実機×実機のテストやらんとマネージャにガチギ...

    • 公式発表も読まずに適当なこと言うな。模擬環境ではテスト通ってたと書いてあるぞ。 これはAndroidのAPIがApple/Googleが書いた仕様と異なる挙動をしていたことも一因。仕様と異なる挙動に...

      • ならば AndroidのAPI の実装者の責任ということになろう。 当該技術を採択した責任ももちろんあるが、他の選択肢は取り得たのか…? コンパイラをはじめとするあらゆるモジュールの正し...

  • 誰も触れないけど、AndroidってBT動作するエミュレータないだろ エミュレータでは確認したって言ってるなら本当かどうか疑わしい それとも今はBTが動くエミュレータがあるのか?

  • 日本軍の陣頭指揮もこんな感じだったのかな

  • 予算による、が答えかなぁ。 今回の経緯からすれば、予算がないこと自体はしょうがなくて、Githubで問題が指摘されてたのに対応できなかったことが問題かなぁ、っていうのが感想。 で...

  • じゃあどうすればよかったの?っていうのをこの間書いた。 ソフトウェアエンジニアのみなさんに質問です anond:20210206013028 楠さんのツイートによると、夏頃にはバグの存在に気づいて...

    • バグってて通知されないことを公表すべきでないの バグが判明してから数時間でこれこれが原因だろって指摘がはてブに出たよ(しかも当たってる) 半年無駄にしたよね

  • 一般的なスマホアプリの場合はGoogle PlayやApp Storeといったストアを通してアプリの更新を比較的手軽にできるので、比較的簡易な手動テストや自動化テストなんかでも充分なケースも多い...

  • まともなアプリ屋ならAndroid10台以上揃えて実機テストやるよ

  • 今回のバグ放置と実機テストは関係ないだろ。   なんの関係もない自分語り。

  • 実機テストはするよ。 全部の機種は用意できないから、特定の機種を選んで。 でも、今回のコロナのアプリの問題は、OSの更新で知らん間にAPIの仕様が変わったとかでしょう? これは...

    • じゃあ、OS会社と結託して、頻繁にAPIを変えれば、じゃぶじゃぶお金が入るわけね

  • デプロイ王子に聞いてみな COCOAだって、実機と実環境でダミーの陽性者と濃厚接触者を立てて試験すりゃ良いだけだろうに、なぜそんなことすらしなかったのか?正直理解ができなか...

  • どの粒度のリリースにどの程度の労力をかけるかと言う話なんだけど、毎回実機チェック含むテストやるのは非常に不経済なんだよなあ。 今回はそのバランスを見誤ったってことでゴメ...

  • 増田は正しい。 バックエンド側(というよりもっと低いレイヤー)が専門の私としては元ツイの「検証用のサーバーは仕様書に書いてない。クラウドはそれが普通」にも物申したいわ。 机...

記事への反応(ブックマークコメント)

ログイン ユーザー登録
ようこそ ゲスト さん