Dữ liệu lớn

1. Big Data Chuyển Trọng Tâm Từ Mẫu Lấy Dữ Liệu Sang Bộ Dữ Liệu Toàn Diện

Việc sử dụng toàn bộ dữ liệu giúp ta nhìn thấy những chi tiết mà trước đây không thể khi chỉ có dữ liệu nhỏ lẻ.

Từ một phần đến toàn bộ. Big data đánh dấu sự chuyển đổi từ việc dựa vào mẫu lấy dữ liệu sang phân tích bộ dữ liệu toàn diện. Thống kê truyền thống dựa vào mẫu do hạn chế trong thu thập và xử lý dữ liệu. Tuy nhiên, với sự tiến bộ của công nghệ, giờ đây ta có thể phân tích lượng dữ liệu khổng lồ, mang lại cái nhìn chi tiết và chính xác hơn về các hiện tượng.

Độ chi tiết và tỉ mỉ. Phân tích toàn bộ dữ liệu cho phép khám phá sâu hơn các phân nhóm và thị trường ngách mà phương pháp lấy mẫu thường bỏ sót. Mức độ chi tiết này rất quan trọng để phát hiện bất thường, hiểu sở thích đặc thù và đưa ra dự đoán chính xác. Ví dụ, Google Flu Trends sử dụng hàng tỷ truy vấn tìm kiếm để dự đoán sự lây lan của bệnh cúm ở cấp thành phố, điều không thể thực hiện với bộ dữ liệu nhỏ hơn.

Hạn chế của lấy mẫu. Mặc dù lấy mẫu ngẫu nhiên là một phương pháp tắt hiệu quả, nó vẫn có những điểm yếu cố hữu. Độ chính xác phụ thuộc vào việc đảm bảo tính ngẫu nhiên, điều khó đạt được, và không dễ mở rộng để bao gồm các phân nhóm nhỏ. Bằng cách sử dụng bộ dữ liệu toàn diện, ta có thể vượt qua những hạn chế này và mở ra những khả năng phân tích mới.

2. Đón Nhận Sự Lộn Xộn: Dữ Liệu Không Hoàn Hảo Vẫn Mang Lại Hiểu Biết Sâu Sắc

Khi nới lỏng tiêu chuẩn về sai số cho phép, ta có thể tiếp cận được nhiều dữ liệu hơn.

Đổi chính xác lấy quy mô. Trong thế giới big data, việc chấp nhận sự lộn xộn có thể là một điểm mạnh. Trong khi phân tích truyền thống nhấn mạnh chất lượng và độ chính xác của dữ liệu, big data thừa nhận rằng khối lượng thông tin lớn có thể bù đắp cho những sai sót cá biệt. Sự đánh đổi này cho phép ta làm việc với dữ liệu thực tế, vốn thường không đầy đủ, không nhất quán và không có cấu trúc.

Nhiều hơn là tốt hơn. Thí nghiệm của các nhà nghiên cứu Microsoft về kiểm tra ngữ pháp cho thấy một thuật toán đơn giản với một tỷ từ hoạt động tốt hơn thuật toán phức tạp với một triệu từ. Hệ thống dịch của Google hoạt động hiệu quả vì sử dụng bộ dữ liệu lớn hơn nhưng cũng lộn xộn hơn: toàn bộ Internet toàn cầu và nhiều hơn thế nữa.

Sự lộn xộn trong thực tế. Dự án Billion Prices, theo dõi lạm phát theo thời gian thực bằng cách thu thập dữ liệu từ các nhà bán lẻ trực tuyến, chấp nhận sự lộn xộn để đổi lấy quy mô và tính kịp thời. Tương tự, hệ thống gắn thẻ trên các nền tảng như Flickr chấp nhận sự không chính xác để tạo ra cách tổ chức nội dung phong phú và linh hoạt hơn. Bằng cách chấp nhận sự lộn xộn, ta có thể khai phá những hiểu biết mới và tạo ra dịch vụ giá trị mà phương pháp truyền thống không thể làm được.

3. Tương Quan Quan Trọng Hơn Nguyên Nhân: Biết “Cái Gì” Đôi Khi Đã Đủ

Trong thế giới big data, ta không cần phải quá chú trọng vào nguyên nhân; thay vào đó, ta có thể phát hiện các mẫu và mối tương quan trong dữ liệu mang lại những hiểu biết mới và quý giá.

Sức mạnh của dự đoán. Big data chuyển trọng tâm từ việc hiểu tại sao điều gì đó xảy ra sang dự đoán điều gì sẽ xảy ra. Bằng cách xác định các mối tương quan mạnh, ta có thể đưa ra dự đoán chính xác ngay cả khi không biết nguyên nhân sâu xa. Cách tiếp cận này đã làm thay đổi thương mại điện tử, y tế và nhiều lĩnh vực khác.

Ví dụ về dự đoán dựa trên tương quan:

• Hệ thống đề xuất của Amazon gợi ý sản phẩm dựa trên lịch sử mua hàng, không phải vì hiểu tại sao khách hàng thích món hàng đó.
• Walmart dự trữ Pop-Tarts trước bão dựa trên dữ liệu bán hàng lịch sử, không phải vì hiểu lý do tâm lý đằng sau mối tương quan.
• Điểm Tuân Thủ Thuốc của FICO dự đoán khả năng người dùng uống thuốc dựa trên các yếu tố như sở hữu nhà và thời gian làm việc, không phải vì hiểu niềm tin sức khỏe cá nhân.

Hạn chế của nguyên nhân. Con người thường có xu hướng tìm kiếm lời giải thích nguyên nhân, nhưng điều này có thể dẫn đến thiên kiến và kết luận sai lầm. Ngược lại, phân tích tương quan giúp ta phát hiện các mẫu và mối quan hệ mà trước đây có thể chưa từng nghĩ tới. Bằng cách chấp nhận “cái gì” thay vì “tại sao,” ta mở ra những hiểu biết mới và đưa ra quyết định hiệu quả hơn.

4. Dữ Liệu Hóa: Biến Những Điều Vô Hình Thành Dữ Liệu Có Thể Đo Lường

Dữ liệu hóa là quá trình biến thông tin về mọi thứ trên đời — kể cả những thứ trước đây ta không xem là thông tin — thành dạng dữ liệu có thể định lượng.

Định lượng thế giới. Dữ liệu hóa là quá trình chuyển đổi thông tin về mọi thứ, kể cả những thứ không được xem là dữ liệu truyền thống, thành dạng có thể đo lường được. Điều này cho phép ta phân tích và sử dụng thông tin theo cách mới, như phân tích dự đoán. Nó khai mở giá trị tiềm ẩn, ngầm chứa trong thông tin.

Ví dụ về dữ liệu hóa:

• Hệ thống của Giáo sư Koshimizu biến tư thế ngồi thành dữ liệu để nhận diện kẻ trộm xe.
• Maury chuyển các nhật ký tàu cũ thành dữ liệu để tạo bản đồ hàng hải.
• Google biến các truy vấn tìm kiếm thành dữ liệu để dự đoán dịch cúm.

Dữ liệu hóa khác với số hóa. Dữ liệu hóa khác với số hóa, vốn chỉ là quá trình chuyển đổi thông tin analog sang dạng số. Dữ liệu hóa đi xa hơn khi biến thông tin thành dạng có cấu trúc, định lượng, có thể phân tích và sử dụng cho mục đích mới.

5. Giá Trị Dữ Liệu Nằm Ở Việc Tái Sử Dụng Và Khai Phá Tiềm Năng Tiềm Ẩn

Mỗi bộ dữ liệu đều có giá trị nội tại, tiềm ẩn chưa được khám phá, và cuộc đua đang diễn ra để phát hiện và khai thác toàn bộ giá trị đó.

Vượt ra ngoài mục đích ban đầu. Giá trị của dữ liệu không còn giới hạn trong mục đích sử dụng ban đầu. Trong kỷ nguyên big data, giá trị thực sự của dữ liệu nằm ở khả năng tái sử dụng và khai phá tiềm năng tiềm ẩn. Điều này đòi hỏi thay đổi tư duy, từ xem dữ liệu như tài nguyên tĩnh sang nhận thức nó là tài sản động.

Ví dụ về tái sử dụng dữ liệu:

• Google tái sử dụng truy vấn tìm kiếm để dự đoán dịch cúm và cải thiện dịch thuật ngôn ngữ.
• UPS tái sử dụng dữ liệu cảm biến từ xe để dự đoán sự cố động cơ và tối ưu hóa lộ trình.
• Aviva tái sử dụng báo cáo tín dụng và dữ liệu tiếp thị tiêu dùng để đánh giá rủi ro sức khỏe.

Giá trị lựa chọn của dữ liệu. Giá trị thực sự của dữ liệu là tổng hợp tất cả các cách có thể sử dụng nó trong tương lai. Giá trị “lựa chọn” này có thể được khai mở qua phân tích sáng tạo, kết hợp với các bộ dữ liệu khác và tạo ra dịch vụ mới. Nhận thức và tận dụng tiềm năng này giúp tổ chức tạo ra giá trị kinh tế lớn và giành lợi thế cạnh tranh.

6. Big Data Định Hình Lại Ngành Nghề Và Làm Giảm Giá Trị Của Chuyên Môn

Chuyên môn trong lĩnh vực cụ thể trở nên kém quan trọng hơn trong thế giới mà xác suất và tương quan chiếm ưu thế.

Thay đổi quyền lực. Big data đang định hình lại các ngành nghề bằng cách thách thức quan niệm truyền thống về chuyên môn và ra quyết định. Trong thế giới mà xác suất và tương quan là trọng tâm, chuyên môn cụ thể trở nên ít quan trọng hơn. Sự thay đổi này làm lung lay các hệ thống quyền lực cũ và trao quyền cho những người mới.

Hiệu ứng Moneyball. Bộ phim Moneyball minh họa cách phân tích dựa trên dữ liệu có thể vượt qua chuyên môn truyền thống. Các tuyển trạch viên bóng chày bị thay thế bởi các nhà thống kê sử dụng dữ liệu để tìm kiếm cầu thủ bị đánh giá thấp và xây dựng đội chiến thắng.

Chuyên môn cụ thể kém quan trọng hơn. Sự trỗi dậy của big data buộc phải điều chỉnh quan niệm truyền thống về quản lý, ra quyết định, nhân sự và giáo dục. Các chuyên gia trong lĩnh vực sẽ không biến mất, nhưng họ phải đối mặt với những gì phân tích big data chỉ ra.

7. Quyền Riêng Tư, Xu Hướng Và Nguy Cơ Từ Quyền Lực Dữ Liệu Không Kiểm Soát

Hầu hết các tổ chức của chúng ta được xây dựng trên giả định rằng quyết định con người dựa trên thông tin nhỏ, chính xác và có tính nhân quả.

Mặt tối của dữ liệu. Dù big data mang lại nhiều lợi ích, nó cũng đặt ra những rủi ro lớn về quyền riêng tư, tự do và công bằng. Quyền lực dữ liệu không kiểm soát có thể dẫn đến giám sát gia tăng, phạt dựa trên xu hướng và sự thống trị của dữ liệu.

Từ quyền riêng tư đến xác suất. Nguy cơ chuyển từ quyền riêng tư sang xác suất: các thuật toán sẽ dự đoán khả năng một người bị đau tim, vỡ nợ thế chấp hay phạm tội. Điều này đặt ra vấn đề đạo đức về vai trò của ý chí tự do so với sự thống trị của dữ liệu.

Sự thống trị của dữ liệu. Chúng ta có nguy cơ trở thành nạn nhân của sự thống trị dữ liệu, khi ta thần tượng hóa thông tin, kết quả phân tích và cuối cùng sử dụng sai mục đích. Xã hội đã có hàng thiên niên kỷ kinh nghiệm trong việc hiểu và giám sát hành vi con người. Nhưng làm sao để điều chỉnh một thuật toán?

8. Trách Nhiệm, Quyền Chủ Động Của Con Người Và Kiểm Toán Thuật Toán: Quản Trị Big Data

Những nguyên tắc mới cần được thiết lập cho kỷ nguyên big data, điều này sẽ được trình bày trong Chương Chín.

Nguyên tắc mới cho thời đại mới. Kỷ nguyên big data đòi hỏi những quy tắc và nguyên tắc mới để bảo vệ quyền cá nhân và đảm bảo công bằng. Những nguyên tắc này phải dựa trên các giá trị hiện có nhưng cũng nhận diện thách thức đặc thù của big data.

Sử dụng có trách nhiệm. Chuyển trọng tâm từ sự đồng thuận cá nhân sang trách nhiệm của người dùng dữ liệu là điều cần thiết để bảo vệ quyền riêng tư. Người dùng dữ liệu phải chịu trách nhiệm về hành động của mình và có biện pháp giảm thiểu tác hại tiềm tàng.

Quyền chủ động của con người. Ta phải đảm bảo quyền chủ động của con người bằng cách đảm bảo các phán đoán dựa trên hành động thực tế, không phải dự đoán thống kê. Điều này đòi hỏi định nghĩa lại công lý để bảo vệ tự do và trách nhiệm cá nhân.

Kiểm toán thuật toán. Cần có các tổ chức và chuyên gia mới để kiểm toán và giải thích các thuật toán phức tạp, đảm bảo tính minh bạch và trách nhiệm. Những “chuyên gia thuật toán” này sẽ đóng vai trò then chốt trong việc ngăn chặn việc sử dụng sai big data.