Validation Là Gì – Verification And Validation Là Gì

Tìm hiểu validation là gì chi tiết qua bài viết này.

Validation là gì

Validation là quá trình nhìn nhận mẫu mẫu sản phẩm ở đầu cuối để kiểm tra xem ứng dụng có phân phối được nhu yếu nhiệm vụ không? Hoạt động validation bao gồm smoke testing, functional testing, regression testing, systems testing etc…

Tìm hiểu sự không giống nhau giữa Verification và Validation:

Verification:

1. Đánh giá những sản phẩm trung gian để kiểm tra xem nó có phân phối những nhu yếu cụ thể của từng giai đoạn không.
2. Kiểm tra xem sản phẩm giành được phong cách thiết kế xây dựng đúng theo nhu yếu và đặc thù kỹ thuật thiết kế không.
3. Kiểm tra xem “Chúng tôi xây dựng sản phẩm đúng không”?
4. Điều này được thực thi mà không cần chạy phần mềm.
5. Bao gồm tổng thể những kỹ thuật test tĩnh Ví dụ bao gồm những bài đánh giá, kiểm tra và hướng dẫn

Validation:

1. Đánh giá sản phẩm sau cuối để kiểm tra xem nó có cung ứng được nhu yếu nghiệp vụ không.
2. Xác định xem ứng dụng có tương thích với nhu yếu sử dụng và cung ứng nhu yếu nghiệp vụ không.
3. Kiểm tra “Chúng tôi xây dựng đúng sản phẩm”?
4. Được thực hiện cùng với việc chạy phần mềm.
5. Bao gồm tổng thể những kỹ thuật test động Ví dụ bao gồm tất cả những loại test như smoke test, regression test, functional test, systems test và UAT

Verification và Validation theo các tiêu chuẩn khác nhau:

ISO / IEC 12207:2008:

Các hoạt động giải trí Verification • Xác minh yêu cầu: tham gia eview các yêu cầu. • Xác minh thiết kế: tham gia đánh giá của tổng thể những tài liệu thiết kế bao gồm HLD và LDD • Kiểm tra code: thực thi review code • Xác minh tài liệu: kiểm tra hướng dẫn sử dụng và những tài liệu tương quan khác.

Các hoạt động giải trí Validation • Chuẩn bị những tài liệu test requirement, test case và những thông số test khác để nghiên cứu và phân tích các tác dụng test. • Đánh giá rằng yêu những test requirement, những test case và các thông số kỹ thuật kỹ thuật khác phản ánh yêu cầu và tương thích để sử dụng. • Test những giá trị biên, stress và những công dụng • Test những thông tin lỗi và trong trường hợp có bất kể lỗi nào, ứng dụng sẽ kết thúc • Kiểm tra xem ứng dụng có phân phối các nhu yếu nhiệm vụ và tương thích để sử dụng hay không.

CMMI:

Các hoạt động Verification • Thực hiện peer reviews. • Xác minh các work product được lựa chọn. • Chuẩn hóa tiến trình bằng phương pháp thiết lập những qui tắc để lên kế hoạch và thực thi các bài đánh giá.

Các hoạt động giải trí Validation • Xác nhận rằng các loại sản phẩm và các component của sản phẩm là tương thích với môi trường. • Khi validation được thực hiện, nó được theo dõi và kiểm soát. • Rút ra bài học kinh nghiệm tay nghề kinh nghiệm và thu thập thông tin cải tiến. • Thiết lập một quy trình tiến độ nhất định.

IEEE 1012:

Mục tiêu của hoạt động giải trí Verification và Validation như sau:

• Phát hiện và sửa lỗi sớm
• Khuyến khích và tăng cường sự can thiệp của quản trị vào bên trong qui trình và rủi ro đáng tiếc sản phẩm.
• Cung cấp những biện pháp tương hỗ so với vòng đời phần mềm, nhằm tăng cường sự tuân thủ những nhu yếu về schedule và budget

Task V&V trong các tiến trình khác nhau của vòng đời phát triển

Một vòng đời phát triển có các giai đoạn khác nhau. Verification và validation được thực thi trong từng giai đoạn của vòng đời. Chúng ta hãy cùng tìm hiểu

#1. V & V tasks – Lập kế hoạch:

• Xác minh hợp đồng
• Đánh giá tài liệu khái niệm
• Phân tích rủi ro

#2. V & V tasks – Phân tích yêu cầu:

• Đánh giá những nhu yếu phần mềm
• Đánh giá / nghiên cứu và phân tích các giao diện
• Lập kế hoạch systems test
• Lập kế hoạch Acceptance test

#3. V&V tasks – Giai đoạn thiết kế:

• Đánh giá thiết kế phần mềm
• Đánh giá / Phân tích giao diện (UI)
• Lập kế hoạch Integration test
• Lập kế hoạch Component test
• Tạo test design

#4. V&V Tasks – Giai đoạn triển khai:

• Đánh giá source code
• Đánh giá tài liệu
• Tạo test case
• Tạo test proceduce
• Thực hiện các component test case

#5. V&V Tasks – Giai đoạn test:

• Thực hiện những system test case
• Thực hiện những acceptance test case
• Update tracebility metrics
• Phân tích rủi ro

#6. V&V Tasks – Giai đoạn setup và kiểm tra:

• Kiểm tra việc cài đặt và cấu hình
• Kiểm tra lần cuối cài đặt candidate build (bản build phát hành nội bộ)
• Tạo test report cuối cùng

#7. V&V Tasks – Giai đoạn hoạt động:

• Đánh giá những hạn chế mới
• Đánh giá những đề xuất thay đổi

#8. V&V Tasks – Giai đoạn bảo trì:

• Đánh giá những bất thường
• Đánh giá migration
• Đánh giá tính năng retrial
• Đánh giá những đề xuất kiến nghị thay đổi
• Xác nhận các yếu tố của production

Validation loss là gì

Đây là một câu truyện của chính tôi khi lần đầu biết đến Machine Learning.

Năm thứ ba đại học, một thầy giáo có ra mắt với lớp tôi về Neural Networks. Lần tiên phong nghe thấy khái niệm này, chúng tôi hỏi thầy mục đích của nó là gì. Thầy nói, về cơ bản, từ dữ liệu cho trước, tất cả chúng ta cần tìm một hàm số để biến những những điểm đầu vào thành những điểm đầu ra tương ứng, không cần chính xác, chỉ cần xấp xỉ thôi.

Lúc đó, vốn là một học sinh chuyên toán, làm việc nhiều với đa thức ngày cấp ba, tôi đã quá tự tin vấn đáp ngay rằng Đa thức Nội suy Lagrange hoàn toàn có thể làm được điều đó, miễn là những điểm đầu vào không giống nhau đôi một! Thầy nói rằng “những gì ta biết chỉ là nhỏ xíu so với những gì ta chưa biết”. Và đó là những gì tôi muốn khởi đầu trong bài viết này.

Nhắc lại một chút về Đa thức nội suy Lagrange: Với \(N\) cặp điểm tài liệu \((x_1, y_1), (x_2, y_2), \dots, (x_N, y_N)\) với những \(x_i\) kháu nhau đôi một, luôn tìm ra một đa thức \(P(.)\) bậc không vượt quá \(N-1\) làm thế nào để cho \(P(x_i) = y_i, ~\forall i = 1, 2, \dots, N\). Chẳng phải điều đó giống với việc ta đi tìm một quy mô phù hợp (fit) với tài liệu trong bài toán Supervised Learning hay sao? Thậm chí điều này còn tốt hơn vì trong Supervised Learning ta chỉ việc xấp xỉ thôi.

Sự thật là nếu một mô hình quá fit với tài liệu thì nó sẽ gây nên phản tác dụng! Hiện tượng quá fit này trong Machine Learning được gọi là overfitting, là điều mà khi thiết kế xây dựng mô hình, chúng ta luôn cần tránh. Để có cái nhìn tiên phong về overfitting, chúng ta cùng xem Hình dưới đây. Có 50 điểm dữ liệu được tạo bằng một đa thức bậc ba thêm vào đó nhiễu. Tập tài liệu này được chia thành hai, 30 điểm tài liệu red color cho training data, 20 điểm dữ liệu màu vàng cho test data. Đồ thị của đa thức bậc ba này được cho bởi đường màu xanh da trời lục. Bài toán của tất cả tất cả chúng ta là giả sử ta chưa chắc chắn mô hình ban đầu mà chỉ biết những điểm dữ liệu, hãy tìm một mô hình “tốt” để diễn đạt tài liệu đã cho.

Với những gì chúng ta đã biết từ bài Linear Regression, với loại tài liệu này, chúng ta có thể áp dụng Polynomial Regression. Bài toán này trọn vẹn hoàn toàn có thể được xử lý bằng Linear Regression với tài liệu lan rộng ra cho một cặp điểm \((x, y)\) là \((\mathbf{x}, y)\) với \(\mathbf{x} = [1, x, x^2, x^3, \dots, x^d]^T\) cho đa thức bậc \(d\). Điều quan trọng là chúng ta cần tìm bậc \(d\) của đa thức cần tìm.

Rõ ràng là một đa thức bậc không vượt quá 29 trọn vẹn có thể fit được hoàn toàn với 30 điểm trong training data. Chúng ta cùng xét vài giá trị \(d = 2, 4, 8, 16\). Với \(d = 2\), quy mô không thật tốt vì quy mô dự đoán quá khác so với mô hình thực. Trong trường hợp này, ta nói mô hình bị underfitting. Với \(d = 8\), với những điểm tài liệu trong khoảng chừng của training data, mô hình Dự kiến và mô hình thực là khá giống nhau. Tuy nhiên, về phía phải, đa thức bậc 8 cho tác dụng hoàn toàn ngược với xu thế của dữ liệu. Điều tương tự như xảy ra trong trường hợp \(d = 16\). Đa thức bậc 16 này quá fit tài liệu trong mức đang xét, và quá fit, tức không được mượt trong khoảng chừng dữ liệu training. Việc quá fit trong trường hợp bậc 16 không đảm bảo vì mô hình đang cố gắng nỗ lực diễn đạt nhiễu hơn là dữ liệu. Hai trường hợp đa thức bậc cao này được gọi là Overfitting.

Nếu bạn nào biết về Đa thức nội suy Lagrange thì có thể hiểu được hiện tượng kỳ lạ sai số lớn với những điểm nằm ngoài khoảng của những điểm đã cho. Đó chính là lý do chiêu thức đó có từ “nội suy”, với những trường hợp “ngoại suy”, kết quả thường không chính xác.

Với \(d = 4\), ta được quy mô dự đoán khá giống với quy mô thực. Hệ số bậc cao nhất tìm kiếm được rất gần với 0 (xem tác dụng trong source code), vì thế đa thức bậc 4 này khá gần với đa thức bậc 3 ban đầu. Đây chính là một quy mô tốt.

Overfitting là hiện tượng quy mô tìm được quá khớp với dữ liệu training. Việc quá khớp này còn hoàn toàn có thể dẫn đến việc Dự kiến nhầm nhiễu, và chất lượng quy mô không hề tốt trên tài liệu test nữa. Dữ liệu test được giả sử là không được biết trước, và không được sử dụng để xây dựng những quy mô Machine Learning.

Về cơ bản, overfitting xẩy ra khi mô hình quá phức tạp để mô phỏng training data. Điều này đặc biệt xảy ra khi lượng dữ liệu training quá nhỏ trong khi độ phức tạp của quy mô quá cao. Trong ví dụ trên đây, độ phức tạp của quy mô có thể được đánh giá là bậc của đa thức cần tìm. Trong Multi-layer Perceptron, độ phức tạp của quy mô có thể được xem là số lượng hidden layers và số lượng units trong những hidden layers.

Vậy, có những kỹ thuật nào giúp tránh Overfitting?

Trước hết, chúng ta cần một vài đại lượng để nhìn nhận chất lượng của mô hình trên training data và test data. Dưới đấy là hai đại lượng đơn giản, với giả sử \(\mathbf{y}\) là đầu ra thực sự (có thể là vector), và \(\mathbf{\hat{y}}\) là đầu ra Dự kiến bởi mô hình:

Train error: Thường là hàm mất mát vận dụng lên training data. Hàm mất mát này cần phải có một thừa số \(\frac{1}{N_{\text{train}}} \) để tính giá trị trung bình, tức mất mát trung bình trên mỗi điểm dữ liệu. Với Regression, đại lượng này thường được định nghĩa: \[ \text{train error}= \frac{1}{N_{\text{train}}} \sum_{\text{training set}} \|\mathbf{y} – \mathbf{\hat{y}}\|_p^2 \] với \(p\) thường bằng 1 hoặc 2.

Với Classification, trung bình cộng của cross entropy có thể được sử dụng.

Test error: Tương tự như trên nhưng vận dụng quy mô tìm được vào test data. Chú ý rằng, khi kiến thiết xây dựng mô hình, ta không được sử dụng thông tin trong tập dữ liệu test. Dữ liệu test chỉ được sử dụng để nhìn nhận mô hình. Với Regression, đại lượng này thường được định nghĩa: \[ \text{test error}= \frac{1}{N_{\text{test}}} \sum_{\text{test set}} \|\mathbf{y} – \mathbf{\hat{y}}\|_p^2 \]

với \(p\) in như \(p\) trong phương pháp tính train error phía trên.

Việc lấy trung bình là quan trọng vì lượng tài liệu trong hai tập hợp training và test hoàn toàn có thể chênh lệch rất nhiều.

Một quy mô được xem là tốt (fit) nếu cả train error và test error đều thấp. Nếu train error thấp nhưng test error cao, ta nói quy mô bị overfitting. Nếu train error cao và test error cao, ta nói quy mô bị underfitting. Nếu train error cao nhưng test error thấp, tôi chưa chắc chắn tên của mô hình này, vì cực kỳ may mắn thì hiện tượng kỳ lạ này mới xảy ra, hoặc có chỉ khi tập dữ liệu test quá nhỏ.

Chúng ta cùng đi vào chiêu thức đầu tiên

Validation testing là gì

Kiểm thử hay nói một cách khác là testing, là quá trình nhìn nhận một mạng lưới hệ thống hay những thành phần của nó với mục đích tìm xem liệu hệ thống có cung ứng các yêu cầu được đã được chỉ định hay không. Nói một cách đơn giản, kiểm thử được triển khai trên một mạng lưới hệ thống để xác định bất kể lỗ hổng, những lỗi hoặc những nhu yếu đang bị thiếu hay trái ngược với các yêu cầu thực tế đã được đề ra.

Theo tiêu chuẩn ANSI / IEEE 1059, kiểm thử hoàn toàn có thể được định nghĩa là quy trình nghiên cứu và phân tích các thành phần của ứng dụng để phát hiện sự độc lạ giữa những điều kiện kèm theo kèm theo của ứng dụng đang tồn tại thực tế và những điều kiện được yêu cầu (đó là defects/ errors/ bugs) và từ đó có thể nhìn nhận được chất lượng của chất lượng của phần mềm.

Verification and validation là gì

Validation là quy trình review mẫu sản phẩm sau cùng để phỏng vấn xem ứng dụng có đáp ứng nhu yếu được yêu thương cầu nhiệm vụ không? Hoạt động validation bao toàn bộ smoke testing, functional testing, regression testing, systems testing etc… Để dễ nắm bắt hơn, bọn họ cùng coi qua lấy ví như sau:

Verification là gì

+ Theo quy mô trưởng thành năng lượng (CMM), tất cả chúng ta hoàn toàn có thể định nghĩa đánh giá và thẩm định và đánh giá là quy trình kiểm tra những ứng dụng trong hoặc ở cuối của quá trình tăng trưởng để xác lập xem nó phân phối các nhu yếu và pháp luật không.

+ Một mẫu sản phẩm có thể đạt nhu yếu trong lúc thẩm định, vì nó được thực hiện trên giấy và không chạy hoặc công dụng ứng dụng nào được yêu cầu. Tuy nhiên, khi cùng thuở nào điểm đó mẫu sản phẩm đã được đánh giá và thẩm định trong giấy tờ nhưng tiếp sau đó các sản phẩm chạy có thể thất bại trong khi kiểm định. Điều này hoàn toàn hoàn toàn có thể xẩy ra vì lúc một mẫu loại sản phẩm hoặc ứng dụng được thiết kế kiến thiết xây dựng theo 1 số ít đặc thù kỹ thuật nhưng những thông số kỹ thuật kỹ thuật không chính xác cho nên vì thế họ không thể xử lý những nhu yếu của người sử dụng.

+ Ưu điểm của kiểm định phần mềm:

• Trong quy trình kiểm định nếu một số khiếm khuyết bị bỏ qua tiếp sau đó trong quy trình đánh giá và thẩm định nó có thể được phát hiện thì là lỗi.
• Nếu trong quy trình kiểm định 1 số đặc thù kỹ thuật bị hiểu nhầm và việc tăng trưởng đã xẩy ra sau đó trong quy trình thẩm định khi thực thi công dụng đây là sự độc lạ giữa tác dụng trong thực tiễn và hiệu quả mong đợi có thể được hiểu.
• Thẩm định được triển khai trong thời gian kiểm thử như kiểm thử chức năng, kiểm thử tích hợp, kiểm thử hệ thống, kiểm thử tải, kiểm thử tương thích, …
• Thử nghiệm giúp trong việc xây dựng những sản phẩm đúng theo yêu cầu của khách hàng và phân phối nhu cầu của họ.

+ Thẩm định là bước cơ bản được thực thi bởi những kiểm thử viên trong quãng quá trình kiểm thử. Trong quá trình thẩm định loại sản phẩm nếu một vài rơi lệch được tìm thấy trong tác dụng thực tiễn từ hiệu quả mong đợi thì tiếp sau đó một lỗi sẽ tiến hành báo cáo giải trình hoặc một sự cố sẽ được đề cập. Không phải hầu hết những sự cố đều là lỗi. Nhưng tất cả những lỗi đều là sự việc cố. Sự cố cũng luôn hoàn toàn có thể là kiểu ‘câu hỏi’ những nơi đâu những công dụng của loại sản phẩm không rõ ràng dành cho những kiểm thử viên.

+ Do đó, thẩm định và đánh giá giúp đề ra những chức năng đúng mực của những tính năng và giúp các kiểm thử viên hiểu được sản phẩm một cách tốt hơn. Nó giúp việc tạo những sản phẩm thân thiện hơn đối với những người sử dụng.

• Utopia Là Gì – Euphoria Là Gì

• Tốt Là Gì – Tốt Đẹp Là Gì

• Tn Là Gì – Tn Là Viết Tắt Của Từ Gì Trong Tiếng Anh

• Tidy Là Gì – Tidies Nghĩa Là Gì

• Thế Là Gì – Phép Thế Là Gì

• Taekwondo Là Gì – Taekwondo Có Mấy Đai

• Sugar Là Gì – Sugar Baby Có Nghĩa La Gì