Vì sao bằng chứng khoa học có độ tin cậy khác nhau?

Bằng chứng khoa học là thông tin thu được từ quan sát, đo lường hoặc thí nghiệm và được sử dụng để đánh giá một giả thuyết hay một kết luận khoa học. Điểm quan trọng là một quan sát tự nó chưa nhất thiết là bằng chứng mạnh. Giá trị của nó phụ thuộc vào việc quan sát đó có đáng tin, có liên quan đến câu hỏi đang xét và có loại trừ được những cách giải thích cạnh tranh hay không.

Chẳng hạn, một người quan sát thấy hai hiện tượng xảy ra cùng lúc có thể cung cấp dữ liệu về sự đồng thời, nhưng chưa đủ để chứng minh hiện tượng thứ nhất gây ra hiện tượng thứ hai. Để biến quan sát thành bằng chứng có sức thuyết phục cao hơn, nhà nghiên cứu cần xem xét các yếu tố như thiết kế nghiên cứu, biến gây nhiễu, cách lấy mẫu, độ chính xác của phép đo và khả năng lặp lại kết quả.

Vì vậy, có thể phân biệt:

·         Quan sát: điều được ghi nhận từ thế giới thực

·         Dữ liệu: thông tin được thu thập và tổ chức từ các quan sát hoặc phép đo

·         Bằng chứng: dữ liệu được đánh giá trong mối quan hệ với một giả thuyết hoặc câu hỏi cụ thể

·         Kết luận khoa học: nhận định được hình thành sau khi cân nhắc bằng chứng, phương pháp và mức độ không chắc chắn

Sự phân biệt này giải thích vì sao hai quan sát đều có thể "đúng" nhưng không nhất thiết có sức nặng bằng nhau khi dùng để hỗ trợ một kết luận.

Vì sao cùng là quan sát nhưng sức mạnh bằng chứng có thể khác nhau?

Giá trị của một quan sát phụ thuộc trước hết vào cách quan sát được tạo ra. Một phép đo được thực hiện bằng phương pháp đã kiểm định, trên mẫu phù hợp và với sai số được kiểm soát thường cung cấp nền tảng đáng tin cậy hơn một nhận xét tình cờ hoặc không có quy trình kiểm soát.

Một quan sát cũng mạnh hơn khi nó giúp phân biệt giữa các giả thuyết cạnh tranh. Nếu một kết quả có thể được giải thích dễ dàng bằng nhiều nguyên nhân khác nhau, bằng chứng đó có khả năng phân biệt thấp. Ngược lại, nếu một kết quả khó xảy ra dưới giả thuyết đối lập nhưng phù hợp với giả thuyết đang kiểm tra, giá trị chứng cứ của nó cao hơn.

Có thể hình dung sức mạnh của bằng chứng qua chuỗi:

Chất lượng dữ liệu → khả năng loại trừ sai lệch → khả năng kiểm tra giả thuyết → mức độ nhất quán → độ tin cậy của kết luận

Do đó, không nên đánh giá bằng chứng chỉ bằng câu hỏi "có quan sát thấy hay không?". Câu hỏi quan trọng hơn là:

Quan sát đó được tạo ra như thế nào, có thể sai ở đâu và nó thực sự cho phép ta kết luận đến mức nào?

Những yếu tố quyết định độ tin cậy của một quan sát

Độ chính xác của phép đo

Nếu công cụ hoặc phương pháp đo có sai số lớn, kết quả quan sát sẽ chứa nhiều bất định. Một kết quả đo chính xác đến đâu phải được xem xét cùng với độ phân giải, sai số đo và điều kiện thực hiện.

Ví dụ, nếu hai phương pháp cho kết quả khác nhau nhưng một phương pháp có độ không chắc chắn lớn hơn nhiều, việc chỉ so sánh hai con số mà bỏ qua sai số có thể dẫn đến kết luận sai.

Cách chọn mẫu

Một quan sát chỉ đại diện tốt cho quần thể mục tiêu khi mẫu được lựa chọn phù hợp. Mẫu quá nhỏ, không đại diện hoặc được chọn theo cách tạo thiên lệch có thể khiến kết quả không thể khái quát rộng.

Điều này tạo ra một giới hạn quan trọng: kết quả quan sát được trên một nhóm cụ thể không tự động đúng với mọi nhóm hoặc mọi hoàn cảnh.

Kiểm soát biến gây nhiễu

Một hiện tượng có thể xuất hiện cùng lúc với nhiều yếu tố khác. Nếu không kiểm soát được các yếu tố này, rất khó xác định yếu tố nào thực sự giải thích kết quả.

Đây là lý do bằng chứng về tương quan thường không đủ để chứng minh quan hệ nhân quả. Hai biến có thể cùng thay đổi vì một biến thứ ba, vì xu hướng chung hoặc đơn giản do một mối liên hệ không mang tính nhân quả.

Độ lặp lại

Một kết quả chỉ xuất hiện một lần thường có ít cơ sở hơn một kết quả được tái lập trong những điều kiện phù hợp.

Tuy nhiên, "lặp lại" không có nghĩa là chỉ cần thu được cùng một con số nhiều lần. Cần xem xét liệu các phép lặp có độc lập hay không, phương pháp có được giữ phù hợp hay không và kết quả có nhất quán khi điều kiện thay đổi hợp lý hay không.

Sai lệch trong quá trình nghiên cứu

Sai lệch có thể xuất hiện ở nhiều giai đoạn: chọn mẫu, đo lường, phân tích, báo cáo hoặc diễn giải kết quả. Một nghiên cứu có rất nhiều dữ liệu nhưng tồn tại sai lệch hệ thống vẫn có thể cung cấp bằng chứng yếu.

Đây là điểm quan trọng: nhiều dữ liệu không đồng nghĩa với bằng chứng mạnh nếu dữ liệu được tạo ra theo một quy trình có sai lệch.

Các loại thiết kế nghiên cứu không có cùng sức mạnh cho mọi câu hỏi

Không có một "thang điểm bằng chứng" duy nhất áp dụng cho mọi câu hỏi khoa học. Sức mạnh của thiết kế nghiên cứu phải được đánh giá theo loại câu hỏi cần trả lời.

Nếu câu hỏi là "Điều gì đang xảy ra?", nghiên cứu mô tả hoặc quan sát có thể là lựa chọn phù hợp. Nếu câu hỏi là "Hai yếu tố có liên hệ với nhau không?", nghiên cứu quan sát có thể cung cấp bằng chứng quan trọng. Nhưng nếu câu hỏi là "Yếu tố A có gây ra B không?", thiết kế có khả năng kiểm soát hoặc phân bổ nguyên nhân sẽ thường có lợi thế hơn để suy luận nhân quả.

Vì vậy, không nên hiểu đơn giản rằng:

Thí nghiệm > quan sát > trường hợp cá biệt

theo mọi hoàn cảnh.

Một nghiên cứu quan sát được thiết kế tốt có thể cung cấp bằng chứng rất giá trị cho một câu hỏi mà thí nghiệm không khả thi hoặc không phù hợp. Ngược lại, một thí nghiệm được thiết kế kém vẫn có thể tạo ra bằng chứng yếu.

Vấn đề cốt lõi là độ phù hợp giữa phương pháp và câu hỏi.

Vì sao một quan sát chưa đủ để chứng minh nguyên nhân?

Một trong những hiểu lầm phổ biến nhất về bằng chứng khoa học là đồng nhất "thấy A xảy ra sau B" với "A gây ra B".

Giả sử một nhóm người sử dụng một phương pháp và sau đó kết quả của họ được cải thiện. Quan sát này phù hợp với giả thuyết rằng phương pháp có tác dụng, nhưng vẫn còn nhiều khả năng khác: những người tham gia có thể đồng thời thay đổi hành vi, nhóm được quan sát có thể vốn đã khác nhóm đối chứng, hoặc một yếu tố khác xuất hiện cùng thời điểm.

Muốn lập luận nhân quả mạnh hơn, nghiên cứu phải tìm cách loại bỏ hoặc kiểm soát những cách giải thích thay thế đó.

Đây cũng là lý do đối chứng, ngẫu nhiên hóa, làm mù, điều chỉnh biến gây nhiễu và thiết kế thực nghiệm phù hợp có giá trị trong những câu hỏi nhân quả. Chúng không làm cho kết luận trở thành tuyệt đối, nhưng giúp giảm số lượng lời giải thích cạnh tranh còn khả dĩ.

Vì thế, một bằng chứng mạnh không chỉ nói:

"Hiện tượng này đã được quan sát."

Nó còn phải giúp trả lời:

"Có lý do gì để cho rằng cách giải thích này phù hợp hơn những cách giải thích khác?"

Bằng chứng mạnh vẫn có giới hạn và độ không chắc chắn

Ngay cả bằng chứng chất lượng cao cũng không biến một kết luận khoa học thành chân lý tuyệt đối. Khoa học thường đưa ra kết luận với một mức độ chắc chắn nhất định dựa trên dữ liệu hiện có.

Có ít nhất bốn giới hạn cần xem xét:

·         Độ không chắc chắn: kết quả đo hoặc ước lượng luôn có mức sai số nhất định

·         Giới hạn ngoại suy: kết quả có thể chỉ đúng trong quần thể, thời gian hoặc điều kiện đã nghiên cứu

·         Giới hạn phương pháp: mỗi thiết kế nghiên cứu có những loại sai lệch mà nó khó loại bỏ hoàn toàn

·         Giới hạn của câu hỏi: bằng chứng mạnh cho một câu hỏi không nhất thiết mạnh cho một câu hỏi khác

Do đó, một kết luận khoa học tốt không chỉ nêu "điều gì đúng", mà còn chỉ ra đúng trong điều kiện nào và chưa thể kết luận điều gì.

Đây là lý do các tổng quan hệ thống, phân tích gộp và tổng hợp nhiều nghiên cứu thường hữu ích khi câu hỏi cần đánh giá toàn bộ một dòng bằng chứng. Chúng có thể cho thấy mức độ nhất quán giữa các nghiên cứu và giúp đánh giá độ chắc chắn của kết luận, nhưng bản thân chúng cũng phụ thuộc vào chất lượng và tính phù hợp của những nghiên cứu được đưa vào.

Cách đánh giá sức mạnh của một bằng chứng khoa học

Khi gặp một tuyên bố dựa trên quan sát hoặc nghiên cứu, có thể kiểm tra theo một trình tự đơn giản:

1.    Quan sát cái gì? Xác định chính xác biến hoặc hiện tượng được đo

2.    Đo bằng cách nào? Kiểm tra phương pháp, công cụ và độ không chắc chắn

3.    Quan sát trên ai hoặc trong điều kiện nào? Đánh giá mẫu và phạm vi áp dụng

4.    Có yếu tố gây nhiễu không? Tìm những cách giải thích thay thế

5.    Thiết kế có phù hợp với câu hỏi không? Đặc biệt phân biệt câu hỏi mô tả, tương quan và nhân quả

6.    Kết quả có được tái lập không? Xem xét tính nhất quán giữa các nghiên cứu hoặc lần đo phù hợp

7.    Bằng chứng cho phép kết luận đến đâu? Không suy diễn vượt quá dữ liệu

8.    Có bằng chứng độc lập hỗ trợ không? Một kết luận được nhiều nguồn bằng chứng phù hợp hỗ trợ thường có cơ sở vững hơn một quan sát đơn lẻ

Điểm cuối cùng đặc biệt quan trọng. Sức mạnh của bằng chứng khoa học thường không nằm ở một quan sát gây ấn tượng, mà ở sự hội tụ của nhiều bằng chứng được tạo ra bằng những phương pháp phù hợp và có khả năng kiểm tra lẫn nhau.

Nói cách khác, câu hỏi đúng không phải là "Quan sát này có thật không?" mà là "Quan sát này cung cấp bao nhiêu thông tin đáng tin cậy cho câu hỏi cụ thể đang được đặt ra?"

Bằng chứng khoa học vì thế có độ tin cậy khác nhau không phải vì mọi quan sát đều "thật" hoặc "giả", mà vì chúng khác nhau về chất lượng đo lường, thiết kế nghiên cứu, khả năng kiểm soát sai lệch, mức độ tái lập, phạm vi áp dụng và khả năng loại trừ các cách giải thích cạnh tranh. Hiểu được những yếu tố này giúp phân biệt một dữ liệu đơn thuần với một bằng chứng thực sự có sức nặng khoa học.