Môn học Xác suất thống kê gồm hai phần: Lý thuyết xác suất và Lý thuyết thống kê toán. Lý thuyết xác suất là ngành toán học nghiên cứu các mô hình toán học của các hiện tượng ngẫu nhiên. Lý thuyết xác suất bắt nguồn từ việc tính toán xác suất cho các trò chơi may rủi vào năm 1654 của một số nhà toán học trong đó có B. Pascal, P. Fermat, ấn phẩm đầu tiên về vấn đề này của C. Huygens (16291695) “ Tính toán trong các trò chơi may rủi” xuất bản năm 1657