Tõeline AI oht testides: vale kindlustunne, mitte vead

Kontrollpaneel säras rohelisena. Kõik suitsutestid läbisid. AI-assistent genereeris uusi testjuhtumeid, puhastas vanu ja teatas minutitega ka testide katvuse paranimisest. Meeskond liikus reedel kindlusega väljalaske poole.

Nüüd on esmaspäev homne.

Toetusticketeid on olemas. Kliendid, kelle salvestatud aadressid ei saanud tellimust teha. Kuidas nende salvestatud aadressid lagunesid? Kasutajaliides näeb tüüpilisel mobiilseadmel täiesti katkisena välja. Üks kriitiline API ei olnud varustatud tugeva ääretujuhtumite töötlemisega. Kõigi nende probleemide kokkuvõttes peitub suurem oht: meeskonna valmisolu uskuda pimedalt väliste sisendite õigsust, eeldades, et kõik on korras.

See ongi see tegelik oht, mille AI toob kaasas QA-s.

Probleem ei ole selles, et AI teeb vigu meie testides. Kõigil tarkvaral on vigu. Kõik QA-meeskonnad oskavad neid hästi tuvastada ja lahendada. Suurem oht on aga see, et AI võib teha meeskonna uskuma, et nende testid on põhjalikud, isegi kui need pole. AI testides võib QA-meeskond saada vale julguse tunnet, et kõik on täpselt korras.

See vale julge tunne võib olla väga kallis. See üleuskumine võib viia suurte finantskohustusteni. Isegi täielikult testitud AI-süsteemid võivad mõnikord nurjuda reaalmaailma keerukuste ees. McDonald’s lõpetas hiljuti IBM-i AI-süsteemi kasutamise oma sõiduaknas, kuna süsteem tegi järjest vigu tellimuste töötlemisel. See meenutab meile, et isegi usaldusväärsetel tehnoloogiatel võib olla tõsiseid puudusi.

Mida vale julge tunne QA-s tegelikult tähendab

Tegelik probleem tekib siis, kui meeskond on veendunud, et testid on antud süsteemi piisavalt testinud. See vale turvalisusetunne tuleneb asjaolust, et olulised turvariskid ei ole kas leitud või ei ole neid põhjalikult testitud.

See on olnud pikka aega probleem ka traditsioonilistes automaatsete testide meetodites. Sellistes meetodites käivitatakse palju teste, kuid testide sügavus on väike. See, et toruülekande aruanne ütleb, et kõik kontrollid on läbitud (kõik rohelised), ei tähenda seda, et süsteem ise oleks vajadusel täiesti töökorras.

Automaatika muutub veelgi keerulisemaks, kui rakendatakse AI-d. Üks asi, mida tuleb teada AI-keele mudelite kohta, on see, et nad võivad esitada teavet sellisel viisil, mis tundub veenvana, kuid tegelikult on eksitav.

Me võime näha teste käivitatavat ja isegi paremat testide katvust, kuna AI aitab testide loomisel ja iga testikäivituse tulemuste analüüsil. Kõik see on kasulik.

Aga mitte kõik kasulikud asjad ei ole täiesti usaldusväärsed.

AI-ga loodud test võib jäta välja mõne kriitilise äri loogika elemendi. Või võib ta olla disainitud ainult tavaliste stsenaariumide testimiseks. Selline test tundub täiesti piisav. Kui tulemused on puhtad ja selgelt esitatud, vaatab meeskond tõenäoliselt testi piisavana ja jätab tõsised puudused avastamata.

Seepärast võivad testid sageli luua meeskonnale võimalusi teha valeid eeldusi.

Tänapäeval peaks igaühe, kes kasutab kunstlikku intelligentsi automaatsetes tarkvaratestides, tähtsaim küsimus olema mitte „Kas AI konstrueerib teste tõhusamalt?“, vaid pigem „Kas AI-ga loodud testid on tegelikult usaldusväärsed?“

Miks muudab AI selle probleemi tähelepaneku raskemaks

Halba käsitsi tehtud testi saab kiiresti tuvastada. Halvasti kirjutatud skriptitud testid teevad sageli vigu.

Aga kui kunstliku intelligentsi (AI) poolt loodud testid nurjuvad, on seda üleüldse raske kohe märkida. Nad võivad teha välimuselt väga täpseid väiteid ning nende nimed ja stsenaariumid võivad tunduda reaalsetena. Kuid nad võivad vaikides jätta välja kõige tähtsamad tegurid. Nad võivad valesti tõlgendada funktsiooni tegelikku eesmärki. Nad võivad esitada samu ideid erineval viisil. AI võib lisaks anda üleuskumatuid aruandeid tarkvaraversiooni kohta ilma piisava tõendusmaterjalita.

See loob ohtliku tühiku selle vahel, kui sujuv väliselt välja näeb ja kui kvaliteetne see sisemiselt on.

Kvaliteedi tagamises (QA) peaks meie julge tunne pärinema testide jälgitavusest, katvuse sügavusest, riskihindamistest ja vaadeldavatest tulemustest – mitte sellest, kui ilusad AI-ga loodud andmed välja näevad.

Viis viisi, kuidas AI loob vale julge tunne kaasaegses QA-s

Tavaliste stsenaariumide ületestimine

AI on eriti hea regulaarsete mustrite juures. Seepärast on ta lihtsalt tõmbatud tavapäraste voolude, oodatavate sisendite ja tavalise kasutajakäitumise poole.

Kuid tõsised tarkvaravigad peituvad sageli mujal:

• Olekuüleminekud: Ühest olekust teise üleminekul.
• Aegumisprobleemid: Protsesside ajastamisega seotud vead.
• Kordused ja katkestused: Probleemid, kui nurjutud tehinguid korratakse või katkestatakse.
• Õiguste piirid: Turvaaugud õiguste piirides.
• Osalised tõrked: Süsteemi osaline nurjumine ilma täieliku kokkuvarisemiseta.
• Ebaselge reaalmaailma sisend: Klientide reaalmaailmas juhuslikult esitatud informatsioon.

Kui AI-generaadid testid järgivad ainult tootearendaja ette nähtud tavapäraseid stsenaariume, siis jäävad riskikaased teed puutumata. See teeb ainult illusiooni, et testid on täielikud.

Loob halbu väiteid

Testi tegelik väärtus on see, mida see tarkvarast tõestab. Liialt paljud halvad testid hõlmavad laia ulatust rakenduses tehtavaid tegevusi, kuid ei kontrolli piisavalt, kas need tegevused on äri jaoks edukad. Test on lihtsalt liikumine, kus lihtsalt klõpsatakse nuppe, täidetakse välju, klõpsatakse veel nuppe, vaadatakse ekraane ja näeb midagi üles tulevat.

AI suudab käivitada selliseid kergeid automaatseid teste palju kiiremini kui inimene. Kuid kui teie testitingimused (väited) on liiga üldised, halvasti defineeritud või mitteseotud äriotsinguga, siis testi läbimine ei paku tarkvaraversiooni jaoks palju turvalisust. Näiteks võib ostukorvi testi läbimine lihtsalt näidata edu bannerit, kuid see ei taga, et tellimus on õigesti töödeldud (maksud, kokkuvõtted jne), et e-kiri on saadetud või et laoseis on vähendatud.

Rohkem testjuhtumeid & rohkem vigu

Meeskond võib kontrollida 40 käsitsi kirjutatud testjuhtumit. Kuid nad ei pruugi sama tähelepanu pöörata 400-le, mida on kiiresti loonud AI. See on üks suurimaid AI-põhiste kvaliteedikontrolli (QA) püüdluste kõrvalmänge: põhjalik testimine väheneb loomulikult, kui testide arv kasvab.

Rohkem testjuhtumeid annab meile teatud psühholoogilist julget tunnet. Kui arv kasvab, tunneme, et testikogum on väga mahukas ja aruanded on puhtad. Kuid testjuhtumite arvu suurendamine ei asenda kunagi nende kvaliteeti.

Ilma sobiva riskikaardistamise ja nõuete jälgitavuseta aitab AI ainult salvestada oletusi, mitte kontrollida süsteemi tegelikku kvaliteeti.

Loob pimedat usaldust roheliste tulede vastu

Kui toruülekande aruanded näitavad alati rohelist, annab see meeskonnale tugeva julge tunne ja soodustab kiireid otsuseid. See eemaldab takistused töö tegemisel, mistõttu levib see turvalisusetunne kergesti, kui meeskonnad hakkavad AI-d kasutades ise oma teste ehitama, parandama ja prioriteetima. Nende instinkt liigub sellelt, et kontrollida ja kinnitada tulemusi, lihtsalt süsteemi pimedasse usaldusse. Pinnapealselt tundub see vähetähtis, kuid see võib muuta QA-kultuuri igaveseks. Küsimus enam ei ole „Milliseid riske see test hõlmab?“, vaid „Kas AI tegi selle jaoks testi?“. Selle hetkel eeldatakse tavaliselt, et kõik on korras, ja kvaliteedi küsimise jätmise lõpetatakse.

Teeb isegi pimedaid vigu, mis näevad intelligentsetena välja

Üks ohtlikumaid tänapäevaseid AI-süsteeme on see, et nad võivad esitada isegi kõige ilmsemaid vigu väga autentse viisil. See on väga tähtis kvaliteedikontrollis (QA).

Isegi kui AI-test on kirjutatud valesti mõistetud nõuete või ebatäieliku teabe põhjal, on selle väljund väga täpne ja poliiteline, nagu oleks see õigesti kirjutatud. Tavaline test ei suuda vigu kiiresti tuvastada. Oht ei ole mitte ainult vigas endas, vaid ka selles, kui lihtne on seda vigu uskuda.

Ilmne viga võib kiiresti parandada. Kuid usutavaks tunduv vale järeldus on tõenäoliselt testimata välja antud.

Mida teevad targemad QA-meeskonnad teisiti

See ei tähenda, et AI-d tuleks täielikult vältida.

Lahendus on kasutada seda, ilma et loovutaks oma mõistust AI-le. Parimad kvaliteedikontrolli (QA) meeskonnad vaatavad AI-d assistendina, mitte midagi, millesse usaldada tuleb pimedalt. Kuigi nad kasutavad seda kiiruse suurendamiseks, ei anna nad sellele lõplikku usaldust. St nad järgivad tööstiili, kus usaldavad AI poolt pakutud väljundeid ainult pärast nende kontrollimist.

Vaatame, kuidas see praktikas toimib.

Mõista riski enne testide loomist

Enne testjuhtumite loomist tuleb selgelt määratleda peamised probleemid, mis võivad mõjutada äri või kasutajat.

Finantsülepead, õiguslikud küsimused (kohustused), identiteet, õigused ja klientide usaldus peaksid olema esimesed, millele tähelepanu pöörata. Millised on need väga harva esinevad, kuid suuri kaotusi tekitavad vead? Kus võivad vead lihtsalt tähelepanuta jääda?

AI võib pakkuda uusi ideid sellistes valdkondades. Kuid otsustada, kus on rohkem riske, on inimeste ülesanne.

Kontrolli seda, mida test väidab, mitte ainult sammud

Iga samm AI-ga loodud testjuhtumis võib esmapilgul õigeks tunduda. Kuid tegelik küsimus on see, kas test tegelikult kontrollib õiget tulemust.

On hea harjumus testimisel arendada: keskenduda rohkem sellele, mida test tõestab, kui sellele, kuidas see töötab.

Hoiusta mitmekihilist testikatvust

Üksainus testikiht ei saa tagada, et süsteem on täielik. Ühikute testid, API-testid, integreerimistestid, lõpuni-lõpuni (E2E) testid, eksploratiivsed testid ja tootmise tagasiside avaldavad erinevaid riske.

Kui AI testib ainult ühte kihti, siis ei tohiks meeskonnad pidada oma süsteemi täielikult turvaliseks. Iga kiht tuleb testida oma tähtsuse järgi.

QA tulevik ei ole vähem inimlik

Paljud kardavad, et AI testimises muutub see inimtööta tegevuseks. Kuid tegelikult toimub vastupidine.

Kuna AI üle võtab korduvaid ülesandeid, muutub inimlik sekkumine väärtuslikumaks. Riskide tuvastamine, ebaselguste eemaldamine, eelduste küsimine, keerukate ääretujuhtumite testimine ja küsimus „Kas süsteem on turvaline, sest test läbis?“ – kõik see nõuab inimintellekti.

See ei ole vähema töö kohta, vaid parema kvaliteedi kohta. Tulevikus parimad meeskonnad ei ole need, kes loovad lõputult teste. Nad on need, kes suudavad kiiresti ja hoolikalt töötada, kuid küsida vajadusel.

Sest süsteemide vigu on alati näha. Kuid üleuskumine põhjustab sageli, et me neid ignoreerime.

Õppetunnid teie järgmise sammu jaoks

AI saab kindlasti kiirendada QA-protsesse. See aitab meeskondadel luua teste, vähendada korduvaid ülesandeid ja kiiremini reageerida muutustele.

Kuid see järelevalvamatu kiirus võib põhjustada uue liiki kvaliteediprobleeme. Kui AI-ga loodud testid teevad meid täielikuks tundma, kui glantsid kontrollpaneelid panevad meid uskuma neis, kui fancy aruanded saavad eelisõiguse rangele hindamisele, siis ei ole QA tegelikult robustne. Pigem muutub see lihtsalt pettumisohus.

Kõige turvalisemad meeskonnad on need, kes meenutavad lihtsat fakti: testi läbimine ei ole absoluutne tõend süsteemi turvalisuse kohta. See on ainult näitaja, ja selle hindamiseks tuleb ikka kasutada inimintellekti.

Seepärast ei ole AI tegelik oht QA-s vigade tekkimine, vaid pigem see vale julge tunne, mille see annab.