Так при падении нормальный тестовый фреймвёрк тебе скажет что упало. А так плавающие баги в тестах - это показатель проблемы. И по уму надо не перетыкивать тесты, а разбираться что там падает.
Был у нас один засланец, который свои косяки так маскировал - пустой catch, ошибок 0, а нихуя не работает) Когда до него тестеры основательно доебались, он распаковал свой ящик с говнойПандоры, и его стали называть не иначе как "%Имя-пятисотка", т.к. налепил он этих грёбаных граблей, шо тот хомяк )
С логирование получилось выявить этот плавающий баг
Код - экспорт в эксель и в пдф, в реальности на 100% работоспособен без сбоев. Но..
Я 1 раз за тест создаю кучу данных для экспорта, "скачиваю" файл, и проверяю, что всё на месте. И так 2 раза, 2 теста подряд (это разные данные в эксели и пдф, но с пересечением по паре таблиц). После каждого теста идёт откат операций в бд, и в это время запускается новый тест, с новой транзакцией на те же таблицы, и откат затирает новый пул данных, т.к. те оперируют уже новым айдишниками (не автоинкремент, а enum), которые будут стёрты
Это можно решить, если разделить драйвер на read/write, чтоб там решать коллизии, но это нужно сугубо для тестов, поэтому похуй
Это мемы для айтишников. Неудачный мердж (объединение веток изменений в коде, например) в ci/cd (непрерывная интеграция и непрерывная поставка дословно).
Необязательно. Пару недель назад Azure DevOps целенаправленно валил билд с ошибкой, чтобы сообщить пользователям что им надо проапрейдить один из шагов в скрипте. Причем после перезапуска все работало нормально.
Я, конечно, слесарь и не очень в этом понимаю, но можно же придумать весь пайп таким, чего ты так.
Вот смотри: на комит в ветку тестрелиз начинается билд с тестами, по результатам мержится в пререлиз, откуда синкается в арго на интеграционный стенд, где тесты запускаются, по результатам мерж в релиз, откуда синк на пререлизный стенд в арго, где уже гринфилд с канарейкой, откуда при достижении канарейки 100% скейла делаем мерж в релизную ветку и та же канарейка пошла разливаться в прод.
Напридумывать можно много, делать некому...
Что то связанное с роком?!
Да, это рок тех, кто не делает мерж/ребейз + тесты перед пул-реквестом.
В моих тестах плавающий баг - каждый раз смиренно сижу, в ручном режиме перетыкиваю (
Так при падении нормальный тестовый фреймвёрк тебе скажет что упало.
А так плавающие баги в тестах - это показатель проблемы. И по уму надо не перетыкивать тесты, а разбираться что там падает.
Был у нас один засланец, который свои косяки так маскировал - пустой catch, ошибок 0, а нихуя не работает) Когда до него тестеры основательно доебались, он распаковал свой ящик
с говнойПандоры, и его стали называть не иначе как "%Имя-пятисотка", т.к. налепил он этих грёбаных граблей, шо тот хомяк )С логирование получилось выявить этот плавающий баг
Код - экспорт в эксель и в пдф, в реальности на 100% работоспособен без сбоев. Но..
Я 1 раз за тест создаю кучу данных для экспорта, "скачиваю" файл, и проверяю, что всё на месте. И так 2 раза, 2 теста подряд (это разные данные в эксели и пдф, но с пересечением по паре таблиц). После каждого теста идёт откат операций в бд, и в это время запускается новый тест, с новой транзакцией на те же таблицы, и откат затирает новый пул данных, т.к. те оперируют уже новым айдишниками (не автоинкремент, а enum), которые будут стёрты
Это можно решить, если разделить драйвер на read/write, чтоб там решать коллизии, но это нужно сугубо для тестов, поэтому похуй
Необязательно. Пару недель назад Azure DevOps целенаправленно валил билд с ошибкой, чтобы сообщить пользователям что им надо проапрейдить один из шагов в скрипте. Причем после перезапуска все работало нормально.
Давно у нас в CI/CD мерж происходит? Это или сборка, или тесты упали
Вот смотри: на комит в ветку тестрелиз начинается билд с тестами, по результатам мержится в пререлиз, откуда синкается в арго на интеграционный стенд, где тесты запускаются, по результатам мерж в релиз, откуда синк на пререлизный стенд в арго, где уже гринфилд с канарейкой, откуда при достижении канарейки 100% скейла делаем мерж в релизную ветку и та же канарейка пошла разливаться в прод.
Напридумывать можно много, делать некому...