Bài viết Xây dựng nền tảng lưu trữ và phân tích dữ liệu lớn với Apache Hadoop và Spark trình bày việc triển khai xây dựng nền tảng lưu trữ dữ liệu lớn sử dụng Apache Hadoop trên một cụm (cluster) các máy tính và Apache Spark để phân tích dữ, trích rút các thông tin có ích (insights) từ tập dữ liệu lưu trữ trên các máy tính này. | NGHIÊN CỨU KHOA HỌC Xây dựng nền tảng lưu trữ và phân tích dữ liệu lớn với Apache Hadoop và Spark Building big data platform storage and analytics with Apache Hadoop and Spark Vũ Bảo Tạo1 Đặng Văn Nam2 Nông Thị Oanh2 Hoàng Thị Ngát1 Nguyễn Thị Ánh Tuyết1 Email taovb2006@ Trường Đại học Sao Đỏ 1 2 Trường Đại học Mỏ - Địa chất Hà Nội Ngày nhận bài 24 01 2022 Ngày nhận bài sửa sau phản biện 27 6 2022 Ngày chấp nhận đăng 30 9 2022 Tóm tắt Hiện nay dữ liệu đã và đang trở nên ngày càng quan trọng. Dữ liệu là yếu tố quyết định ảnh hưởng tới hầu hết các lĩnh vực như tài chính - ngân hàng y tế giáo dục nông nghiệp năng lượng . Tốc độ sinh dữ liệu ngày càng nhanh với khối lượng ngày càng lớn và thuật ngữ Dữ liệu lớn Big data cũng ra đời. Dữ liệu lớn là một trong những công nghệ chủ chốt của cuộc Cách mạng công nghiệp . Tuy nhiên việc lưu trữ và phân tích dữ liệu lớn cũng đòi hỏi những kiến thức và công nghệ phù hợp. Chúng ta không thể sử dụng các kỹ thuật lưu trữ và phân tích dữ liệu truyền thống với dữ liệu lớn được. Trong bài báo này nhóm tác giả sẽ trình bày việc triển khai xây dựng nền tảng lưu trữ dữ liệu lớn sử dụng Apache Hadoop trên một cụm cluster các máy tính và Apache Spark để phân tích dữ trích rút các thông tin có ích insights từ tập dữ liệu lưu trữ trên các máy tính này. Từ khóa Dữ liệu lớn phân tích dữ liệu lớn cụm máy tính Hadoop Spark. Abstract Data has become more and more important. Data is the decisive factor affecting almost all fields such as finance banking healthcare education agriculture energy The speed of data generation is getting faster and faster with increasing volume and the term Big data was also born. Big data is one of the key technologies of the Industrial Revolution . However storing and analyzing big data also requires the right knowledge and technology. We can t use traditional data storage and analysis techniques with big data. In this article the authors will present the implementation of building a big data storage .
