টেস্টিংয়ে AI-এর আসল ঝুঁকি: বাগ নয়, মিথ্যা আত্মবিশ্বাস

ড্যাশবোর্ড সবুজ আলোতে জ্বলছিল। সমস্ত স্মোক টেস্ট পাস হয়েছে। AI সহায়ক নতুন টেস্ট কেস তৈরি করেছে, পুরানোগুলি পরিষ্কার করেছে এবং কয়েক মিনিটের মধ্যেই রিপোর্ট করেছে কীভাবে টেস্টিং কভারেজ উন্নত হয়েছে। দলটি শুক্রবার আত্মবিশ্বাসের সাথে লঞ্চের দিকে এগিয়ে গেছে।

এখন, সোমবার সকাল।

সাপোর্টে টিকিট এসেছে। যে গ্রাহকরা তাদের সংরক্ষিত ঠিকানা দিয়ে চেকআউট করতে পারেননি। তাদের সংরক্ষিত ঠিকানা কীভাবে ভেঙে গেল? একটি সাধারণ মোবাইল ডিভাইসে UI সম্পূর্ণভাবে ভাঙা দেখাচ্ছে। একটি গুরুত্বপূর্ণ API-তে শক্তিশালী এজ কেস হ্যান্ডলিং ছিল না। একসাথে নিলে, এই সমস্ত সমস্যা একটি বড় হুমকির দিকে ইঙ্গিত করে: একটি দলের বাহ্যিক ইনপুটের উপর অন্ধভাবে নির্ভর করার ইচ্ছা, সবকিছু ঠিক আছে বলে ধরে নেওয়া।

এটাই QA-তে AI-এর আনা প্রকৃত বিপদ।

বিষয়টি এমন নয় যে AI আমাদের টেস্টে বাগ নিয়ে আসবে। সমস্ত সফটওয়্যারে বাগ থাকে। সমস্ত QA দল সেগুলি চিহ্নিত ও সমাধান করতে পারদর্শী। তবে, AI-এর বড় হুমকি হল যে এটি একটি দলকে বিশ্বাস করাতে পারে যে তাদের টেস্টিং সম্পূর্ণ, এমনকি যখন তা নয়। টেস্টিংয়ে AI ব্যবহারের সাথে, একটি QA দল একটি মিথ্যা নিরাপত্তার অনুভূতি পেতে পারে যে সবকিছু সঠিক।

এই মিথ্যা আত্মবিশ্বাস অত্যন্ত ব্যয়বহুল হতে পারে। এই অতিরিক্ত আত্মবিশ্বাস বিশাল আর্থিক দায়বদ্ধতার দিকে নিয়ে যেতে পারে। এমনকি সম্পূর্ণভাবে টেস্ট করা AI সিস্টেমগুলিও কখনও কখনও বাস্তব-জগতের জটিলতার মুখোমুখি হলে ব্যর্থ হতে পারে। ম্যাকডোনাল্ডস সম্প্রতি তার ড্রাইভ-থ্রু কাউন্টারে পরীক্ষা করা একটি IBM AI সিস্টেম বন্ধ করে দিয়েছে কারণ এটি বারবার অর্ডারে ভুল করেছে। এটি একটি স্মরণিকা যে নির্ভরযোগ্য প্রযুক্তিতেও গুরুতর ত্রুটি থাকতে পারে।

QA-তে মিথ্যা আত্মবিশ্বাস সত্যিই কী বোঝায়

প্রকৃত সমস্যা ঘটে যখন একটি দল নিশ্চিত হয় যে টেস্টগুলি একটি নির্দিষ্ট সিস্টেমকে যথেষ্টভাবে পরীক্ষা করেছে। এই মিথ্যা নিরাপত্তার অনুভূতি এই থেকে আসে যে প্রাসঙ্গিক নিরাপত্তা ঝুঁকিগুলি হয় আবিষ্কৃত হয়নি বা কঠোরভাবে পরীক্ষা করা হয়নি।

এটি দীর্ঘদিন ধরে ঐতিহ্যবাহী অটোমেশন পদ্ধতিতে একটি সমস্যা হয়ে আসছে। এই পদ্ধতিগুলিতে, প্রচুর সংখ্যক টেস্ট চালানো হতে পারে, কিন্তু টেস্টিংয়ে খুব বেশি গভীরতা থাকে না। একটি পাইপলাইন রিপোর্ট বলছে যে সমস্ত চেক পাস হয়েছে (সবুজ) তার মানে এই নয় যে সিস্টেমটি নিজেই অবশ্যই নিখুঁতভাবে কার্যকরী থাকবে।

AI প্রয়োগ করার সময় অটোমেশন আরও জটিল হয়ে ওঠে। AI ভাষা মডেল সম্পর্কে জানার একটি বিষয় হল যে তারা এমনভাবে তথ্য উপস্থাপন করতে পারে যা আকর্ষণীয় মনে হয় কিন্তু আসলে বিভ্রান্তিকর। 

আমরা টেস্ট চলতে এবং এমনকি আরও ভাল টেস্ট কভারেজ দেখতে পারি, কারণ AI টেস্ট নির্মাণ এবং যেকোনো টেস্ট রানের ফলাফলের বিশ্লেষণে সাহায্য করে। এই সবই উপকারী।

কিন্তু সমস্ত সুবিধা পুরোপুরি নির্ভরযোগ্য নয়।

AI দ্বারা নির্মিত একটি টেস্ট ব্যবসায়িক লজিকের কোনো গুরুত্বপূর্ণ অংশ মিস করতে পারে। অথবা, এটি শুধুমাত্র সাধারণ পরিস্থিতি পরীক্ষা করার জন্য ডিজাইন করা হতে পারে। এই ধরনের একটি টেস্ট সম্পূর্ণরূপে পর্যাপ্ত মনে হবে। যদি ফলাফল পরিষ্কার এবং স্পষ্টভাবে প্রকাশ করা হয়, তাহলে দলটি সম্ভবত টেস্টটিকে পর্যাপ্ত হিসাবে দেখবে, গুরুতর ত্রুটিগুলি অনাবিষ্কৃত রেখে।

এই কারণেই টেস্টগুলি প্রায়ই দলগুলির জন্য মিথ্যা ধারণা তৈরির সুযোগ তৈরি করতে পারে।

আজকের দিনে, কৃত্রিম বুদ্ধিমত্তা ব্যবহার করে স্বয়ংক্রিয় সফটওয়্যার টেস্টের সাথে জড়িত যে কারও জন্য আরও গুরুত্বপূর্ণ প্রশ্ন হওয়া উচিত "AI কি আরও দক্ষতার সাথে টেস্ট তৈরি করে?" নয়। বরং, এটি হওয়া উচিত "AI দ্বারা নির্মিত টেস্টগুলি কি সত্যিই নির্ভরযোগ্য?"

কেন AI সমস্যাটিকে লক্ষ্য করা কঠিন করে তোলে

একটি খারাপ ম্যানুয়াল টেস্ট দ্রুত চিহ্নিত করা যায়। সঠিকভাবে লেখা হয়নি এমন স্ক্রিপ্টেড টেস্টগুলি প্রায়ই ভুল করে।

​কিন্তু যখন কৃত্রিম বুদ্ধিমত্তা (AI) দ্বারা নির্মিত টেস্টগুলি ব্যর্থ হয়, তখন এক নজরে বোঝা কঠিন। তারা এমন দাবি করতে পারে যা খুব সঠিক বলে মনে হয় এবং নাম ও পরিস্থিতি যা বাস্তবসম্মত মনে হয়। কিন্তু তারা নীরবে সবচেয়ে গুরুত্বপূর্ণ কারণগুলি বাদ দিতে পারে। তারা একটি বৈশিষ্ট্যের প্রকৃত উদ্দেশ্যকে ভুলভাবে ব্যাখ্যা করতে পারে। তারা একই ধারণাগুলি ভিন্নভাবে উপস্থাপন করতে পারে। AI পর্যাপ্ত প্রমাণ ছাড়াই একটি সফটওয়্যার রিলিজ সম্পর্কে অতিরিক্ত আত্মবিশ্বাসী রিপোর্টও তৈরি করতে পারে।

​এটি বাইরে থেকে দেখা মসৃণতা এবং ভেতরের গুণমানের মধ্যে একটি বিপজ্জনক ব্যবধান তৈরি করে।

​গুণমান নিশ্চিতকরণে (QA), আমাদের আত্মবিশ্বাস টেস্টের ট্রেসেবিলিটি, কভারেজের গভীরতা, ঝুঁকি মূল্যায়ন এবং পর্যবেক্ষণযোগ্য ফলাফল থেকে আসা উচিত। AI দ্বারা উৎপাদিত ডেটা দেখতে কতটা সুন্দর তা থেকে নয়।

আধুনিক QA-তে AI মিথ্যা আত্মবিশ্বাস তৈরি করে পাঁচটি উপায়

সাধারণ পরিস্থিতির অতিরিক্ত টেস্টিং

AI যেখানে নিয়মিত প্যাটার্ন থাকে সেখানে দক্ষ। তাই, এটি সহজেই স্বাভাবিক প্রবাহ, প্রত্যাশিত ইনপুট এবং সাধারণ ব্যবহারকারীর আচরণের প্রতি আকৃষ্ট হয়।

কিন্তু গুরুতর সফটওয়্যার ত্রুটি প্রায়ই অন্যান্য জায়গায় লুকিয়ে থাকে:

• স্টেট ট্রানজিশন: এক স্টেট থেকে অন্য স্টেটে পরিবর্তনের সময়।
• টাইমিং সমস্যা: প্রক্রিয়াগুলির টাইমিংয়ে ত্রুটি।
• পুনঃচেষ্টা এবং বাধা: যখন ব্যর্থ লেনদেন পুনরায় চেষ্টা করা হয় বা বাধাগ্রস্ত হয় তখন সমস্যা।
• অনুমতির সীমানা: অনুমতির সীমানায় নিরাপত্তা ফাঁক।
• আংশিক ব্যর্থতা: যখন সিস্টেমের শুধুমাত্র কিছু অংশ সম্পূর্ণভাবে ক্র্যাশ না করেই ব্যর্থ হয়।
• অসামঞ্জস্যপূর্ণ বাস্তব-জগতের ইনপুট: বাস্তব জগতে গ্রাহকদের দ্বারা প্রদত্ত এলোমেলো তথ্য। 

যদি AI-উৎপাদিত টেস্টগুলি শুধুমাত্র একটি পণ্য ডিজাইনার দ্বারা কল্পনা করা সাধারণ পরিস্থিতি অনুসরণ করে, তাহলে তারা ঝুঁকিপূর্ণ পথগুলি অস্পৃশ্য রেখে দেবে। এটি শুধুমাত্র এই বিভ্রম তৈরি করতে সাহায্য করে যে টেস্টগুলি সম্পূর্ণ।

দুর্বল দাবি তৈরি করে 

একটি টেস্টের প্রকৃত মূল্য হল এটি সফটওয়্যার সম্পর্কে কী প্রমাণ করে। অনেক বেশি ভয়ানক টেস্ট অ্যাপ্লিকেশনে কাজের একটি বিশাল পরিধি কভার করে, কিন্তু এই কাজগুলি ব্যবসায়ের জন্য সফল হয় কিনা তা সঠিকভাবে পরীক্ষা করে না। একটি টেস্ট কেবল একটি আন্দোলন যেখানে এটি শুধুমাত্র বোতাম ক্লিক করে, ক্ষেত্র পূরণ করে, আরও বোতাম ক্লিক করে, স্ক্রিন দেখে এবং কিছু পপ আপ হতে দেখে।

AI এই ধরনের হালকা স্বয়ংক্রিয় টেস্ট একজন মানুষের চেয়ে অনেক দ্রুত চালাতে পারে। তবে, যদি আপনার টেস্ট শর্তগুলি (দাবি) খুব সাধারণ, দুর্বলভাবে সংজ্ঞায়িত বা ব্যবসায়িক ব্যবহারের ক্ষেত্রে অপ্রাসঙ্গিক হয়, তাহলে কেবল একটি টেস্ট পাস চালানো একটি সফটওয়্যার রিলিজের জন্য খুব বেশি নিরাপত্তা প্রদান করে না। একটি চেকআউটে একটি টেস্ট পাস কেবল একটি সাফল্যের ব্যানার দেখাতে পারে এবং একটি অর্ডার সঠিকভাবে প্রক্রিয়া করা হয়েছে কিনা (ট্যাক্স, মোট, ইত্যাদি), একটি ইমেইল পাঠানো হয়েছে কিনা বা ইনভেন্টরি হ্রাস পেয়েছে কিনা তা নিশ্চিত করে না।

আরও বেশি টেস্ট কেস এবং আরও বেশি ত্রুটি

একটি দল হাতে লেখা ৪০টি টেস্ট কেস পরীক্ষা করতে পারে। কিন্তু তারা AI ব্যবহার করে দ্রুত তৈরি করা ৪০০টির জন্য একই পদ্ধতি গ্রহণ নাও করতে পারে। এটি AI-ভিত্তিক গুণমান নিশ্চিতকরণের (QA) সবচেয়ে বড় ফাঁদগুলির মধ্যে একটি: সংখ্যা বৃদ্ধি পাওয়ার সাথে সাথে সাবধানে টেস্টিং স্বাভাবিকভাবেই হ্রাস পায়।

আরও বেশি টেস্ট কেস থাকা আমাদের এক ধরনের মনোবৈজ্ঞানিক আত্মবিশ্বাস দিতে পারে। যখন সংখ্যা বৃদ্ধি পায়, আমরা অনুভব করি যে টেস্ট স্যুট অত্যন্ত ব্যাপক এবং রিপোর্টগুলি ত্রুটিহীন। কিন্তু টেস্ট কেসের সংখ্যা বৃদ্ধি তাদের গুণমানের বিকল্প হতে পারে না।

সঠিক ঝুঁকি ম্যাপিং এবং প্রয়োজনীয়তা ট্রেসেবিলিটি ছাড়া, AI শুধুমাত্র অনুমান রেকর্ড করতে সাহায্য করবে সিস্টেমের প্রকৃত গুণমান পরীক্ষা করার পরিবর্তে।

সবুজ আলোতে অন্ধ বিশ্বাস তৈরি করে

যখন পাইপলাইন রিপোর্ট সবসময় সবুজ দেখায়, এটি দলগুলিকে একটি শক্তিশালী আত্মবিশ্বাসের অনুভূতি দেয় এবং দ্রুত সিদ্ধান্ত নিতে উৎসাহিত করে। এটি কাজ সম্পন্ন করার বাধা দূর করে, তাই এই নিরাপত্তার অনুভূতি সহজেই ছড়িয়ে পড়ে যখন দলগুলি AI ব্যবহার করে তাদের নিজস্ব টেস্ট তৈরি, সংশোধন এবং অগ্রাধিকার দিতে শুরু করে। তাদের প্রবৃত্তি ফলাফল পরীক্ষা এবং যাচাই করা থেকে শুধু সিস্টেমটিকে অন্ধভাবে বিশ্বাস করার দিকে সরে যায়। পৃষ্ঠে, এটি ছোট মনে হয়, কিন্তু এটি চিরতরে QA সংস্কৃতি পরিবর্তন করতে পারে। প্রশ্নটি "এই টেস্ট কোন ঝুঁকি কভার করে?" থেকে "AI কি এর জন্য একটি টেস্ট চালিয়েছে?" হয়ে যায়। এই মুহূর্তে, মানুষ সবকিছু ঠিক আছে বলে ধরে নেয় এবং গুণমান নিয়ে প্রশ্ন করা বন্ধ করে দেয়।

এমনকি অন্ধ ভুলগুলিকেও বুদ্ধিমান মনে করায়

আধুনিক AI সিস্টেমের সবচেয়ে বিপজ্জনক বৈশিষ্ট্যগুলির মধ্যে একটি হল যে তারা সবচেয়ে সুস্পষ্ট ভুলগুলিকেও দুর্দান্ত সত্যতার সাথে উপস্থাপন করতে পারে। এটি গুণমান নিশ্চিতকরণে (QA) অত্যন্ত গুরুত্বপূর্ণ।

একটি AI টেস্ট যদি একটি প্রয়োজনীয়তার ভুল বোঝাবুঝি বা অসম্পূর্ণ তথ্য দিয়ে লেখা হয়, তার আউটপুট অত্যন্ত সঠিক এবং পালিশ করা হবে যাতে মনে হয় এটি সঠিকভাবে লেখা হয়েছে। একটি সাধারণ টেস্ট দ্রুত ভুল খুঁজে পেতে সক্ষম হবে না। এখানে বিপদ শুধুমাত্র ভুলের মধ্যে নয়, কিন্তু ভুলটিকে কত সহজে বিশ্বাসযোগ্য করা যায় তাতেও।

একটি সুস্পষ্ট ভুল দ্রুত সংশোধন করা যেতে পারে। কিন্তু একটি মিথ্যা উপসংহার যা বিশ্বাসযোগ্য মনে হয় তা পরীক্ষা ছাড়াই রিলিজ হওয়ার সম্ভাবনা রয়েছে।

স্মার্ট QA দলগুলি ভিন্নভাবে কী করে

এর মানে এই নয় যে AI সম্পূর্ণভাবে এড়িয়ে যাওয়া উচিত।

সমাধান হল AI-এর কাছে আপনার বিচার ছেড়ে না দিয়ে এটি ব্যবহার করা। সেরা গুণমান নিশ্চিতকরণ (QA) দলগুলি AI-কে একটি সহায়ক হিসাবে দেখে, অন্ধভাবে বিশ্বাস করার কিছু হিসাবে নয়। যদিও তারা গতি বাড়ানোর জন্য এটি ব্যবহার করে, তারা এটিকে চূড়ান্ত বিশ্বাস দেয় না। অর্থাৎ, তারা এমন একটি কাজের শৈলী অনুসরণ করে যেখানে তারা শুধুমাত্র AI দ্বারা প্রদত্ত আউটপুট যাচাই করার পরে বিশ্বাস করে।

দেখা যাক এটি বাস্তবে কীভাবে কাজ করে।

টেস্ট তৈরি করার আগে ঝুঁকি বুঝুন

টেস্ট কেস তৈরি করার আগে, আপনার ব্যবসায় বা ব্যবহারকারীকে প্রভাবিত করতে পারে এমন প্রধান সমস্যাগুলি স্পষ্টভাবে সংজ্ঞায়িত করা উচিত।

আর্থিক লেনদেন, আইনি বিষয় (সম্মতি), পরিচয়, অনুমতি এবং গ্রাহক বিশ্বাসের সাথে সম্পর্কিত এলাকাগুলিতে প্রথম মনোযোগ দেওয়া উচিত। কোন ত্রুটিগুলি খুব কমই ঘটে কিন্তু অনেক ক্ষতি করে? কোথায় ত্রুটিগুলি সহজেই অলক্ষ্য থাকে?

AI এই ধরনের এলাকায় নতুন ধারণা প্রদান করতে পারে। কিন্তু কোথায় আরও ঝুঁকি রয়েছে তা সিদ্ধান্ত নেওয়া মানুষের উপর নির্ভর করে।

টেস্ট কী দাবি করে তা পরীক্ষা করুন, শুধু পদক্ষেপগুলি নয়

একটি AI-উৎপাদিত টেস্ট কেসের প্রতিটি ধাপ প্রথম দর্শনে সঠিক মনে হতে পারে। কিন্তু প্রকৃত প্রশ্ন হল টেস্টটি আসলে সঠিক ফলাফল পরীক্ষা করছে কিনা।

টেস্টিং করার সময় একটি সহজ অভ্যাস গড়ে তোলা ভাল: টেস্টটি কীভাবে কাজ করে তার চেয়ে এটি কী প্রমাণ করে তার উপর বেশি মনোযোগ দিন।

স্তরযুক্ত টেস্ট কভারেজ বজায় রাখুন

একা একটি টেস্টিং স্তর সিস্টেমটি সম্পূর্ণ কিনা তা নিশ্চিত করতে পারে না। ইউনিট টেস্টিং, API, ইন্টিগ্রেশন, এন্ড-টু-এন্ড (E2E), অনুসন্ধানমূলক টেস্টিং এবং প্রোডাকশন ফিডব্যাক সবই বিভিন্ন ধরনের ঝুঁকি প্রকাশ করে।

যদি AI শুধুমাত্র একটি স্তর পরীক্ষা করে, দলগুলির উচিত নয় যে তাদের সিস্টেম সম্পূর্ণ নিরাপদ বলে মনে করা। প্রতিটি স্তর তার নিজস্ব গুরুত্ব সহ পরীক্ষা করা উচিত।

QA-এর ভবিষ্যত কম মানুষ নয়

অনেকে ভয় পায় যে টেস্টিংয়ে AI একটি মানুষবিহীন প্রচেষ্টা হয়ে উঠবে। কিন্তু বাস্তবে, বিপরীত ঘটছে।

AI যখন পুনরাবৃত্তিমূলক কাজগুলি দখল করে, মানুষের হস্তক্ষেপ আরও মূল্যবান হয়ে ওঠে। ঝুঁকি চিহ্নিত করা, অস্পষ্টতা দূর করা, ধারণা প্রশ্ন করা, জটিল এজ কেস পরীক্ষা করা এবং  জিজ্ঞাসা করা "একটি টেস্ট পাস হওয়ার কারণে সিস্টেম কি সুরক্ষিত?" এই সবই মানুষের বুদ্ধিমত্তার প্রয়োজন।

এটি কম কাজের বিষয় নয়, বরং আরও ভাল গুণমানের বিষয়। ভবিষ্যতের সেরা দলগুলি তারা নয় যারা অসংখ্য টেস্ট তৈরি করে। তারা হল যারা দ্রুত এবং সতর্কতার সাথে কাজ করতে পারে, কিন্তু প্রয়োজনে প্রশ্ন করে।

কারণ সিস্টেমে বাগ সবসময় দৃশ্যমান। কিন্তু অতিরিক্ত আত্মবিশ্বাস প্রায়ই আমাদের সেগুলি উপেক্ষা করতে পরিচালিত করে।

আপনার পরবর্তী পদক্ষেপের জন্য শিক্ষা

AI অবশ্যই QA প্রক্রিয়াগুলি ত্বরান্বিত করতে পারে। এটি দলগুলিকে টেস্ট তৈরি করতে, পুনরাবৃত্তিমূলক কাজ কমাতে এবং পরিবর্তনের প্রতি আরও দ্রুত সাড়া দিতে সাহায্য করতে পারে।

কিন্তু এই অতত্ত্বাবধায়িত গতি একটি নতুন ধরনের গুণমানের সমস্যার দিকে নিয়ে যেতে পারে। যখন AI-উৎপাদিত টেস্টগুলি আমাদের সম্পূর্ণ অনুভব করায়, যখন চকচকে ড্যাশবোর্ড আমাদের সেগুলিতে বিশ্বাস করায়, যখন অভিজাত রিপোর্ট কঠোর মূল্যায়নের চেয়ে অগ্রাধিকার পায়, তখন QA সত্যিকার অর্থে শক্তিশালী নয়। বরং, এটি সহজেই বোকা বানানো হয়।

সবচেয়ে নিরাপদ দলগুলি হল তারা যারা মনে রাখে এই সহজ সত্যটি যে শুধুমাত্র একটি টেস্ট পাস হওয়ার কারণে এটি সিস্টেমটি সুরক্ষিত তার পরম প্রমাণ নয়। এটি শুধুমাত্র একটি ইঙ্গিত, এবং সেই ইঙ্গিতটি মূল্যায়ন করতে এখনও মানুষের বুদ্ধিমত্তা ব্যবহার করা প্রয়োজন।

সুতরাং, QA-তে AI যে প্রকৃত হুমকি দেয় তা বাগ নয়। বরং, এটি যে মিথ্যা আত্মবিশ্বাস দেয়।