- Python 编程语言基础
Python 是当今使用最广泛的编程语言之一。根据 2022 年 StackOverflow 开发者调查，它被评为最流行的编程语言之一。
以下是人们应该学习的基础知识列表：
- 基本数据类型：int、float、str、bool
- 变量和赋值运算符
- 控制流语句：if-else 语句、for 和 while 循环
- 功能与模块
- 列表、元组和数组
- 字典和集合
- 异常处理
- 面向对象编程 (OOP) 概念，例如类、对象、方法和继承
- 文件输入/输出操作
- 基本正则表达式
2. 统计和数学基础
学习Python编程语言后，您应该学习统计学和数学基础知识，以学习数据科学技术堆栈并成为一名熟练的数据科学家。
- 描述性统计： 集中趋势的度量（均值、中位数、众数）、变异性的度量（极差、标准差、方差）和形状的度量（偏度、峰度）。
- 可能性： 基本概率概念，例如条件概率、贝叶斯定理和随机变量。除了概率分布之外，估计、假设检验和贝叶斯方法也是必须的
- 推论统计： 估计、假设检验、p 值和置信区间等概念。
- 线性代数： 向量、矩阵和矩阵运算等概念对于理解线性回归和其他机器学习算法非常重要。
- 结石： 梯度、偏导数和优化等概念对于理解 ML 算法非常重要。
- 多变量微积分： 梯度、雅可比矩阵、海森矩阵和优化等概念对于理解神经网络和其他机器学习算法非常重要。
- 时间序列分析： 移动平均线、指数平滑、ARIMA 模型等概念
3. Jupyter Notebook环境中的数据整理和数据可视化
数据整理和数据操作是数据科学家培养的一项关键技能。 Python 拥有广泛的库来执行各种数据操作任务并可视化数据分布，以从数据集中找到关键见解。
人们应该掌握 Pandas、NumPy、seaborn、matplotlib、plotly、sklearn 和 scipy 等 Python 库，才能成为数据整理和可视化方面的专家。
以下是此步骤下的一些任务和库：
- 数据争论：这包括清理、转换和合并来自不同来源的数据等任务。数据科学家应该熟练使用 Pandas 和 NumPy 等库来完成这些任务。
- 数据探索： 这包括识别数据中的模式、异常值和异常等任务。数据科学家应该熟练使用 Matplotlib 和 Seaborn 等库进行数据可视化和探索。
- 数据转换： 这包括标准化、编码分类变量和缩放数据等任务。数据科学家应该熟练使用 sklearn 等库来完成这些任务。
- 特征工程： 这包括从现有数据创建新特征、选择最相关的特征以及处理丢失的数据。
- 数据可视化： 数据科学家应该熟练使用 Matplotlib 和 Seaborn 等库创建各种类型的可视化，例如折线图、条形图、散点图、热图等。
- 数据讲故事： 数据科学家应该能够以清晰且令人信服的方式向非技术利益相关者展示数据见解和发现。
4. SQL编程语言和MySQL数据库
除了 Python 之外，数据科学家还应该精通 SQL 编程语言来存储和操作关系数据库，以便处理大量数据。
以下是数据科学家需要掌握的关键 SQL 概念：
- 选择语句： 用于从数据库表中查询和检索数据。
- JOIN 子句： 用于根据多个表之间的相关列组合来自多个表的行。
- GROUP BY 子句： 用于根据一列或多列对行进行分组，并执行 SUM、COUNT 和 AVG 等聚合函数。
- WHERE 子句： 用于根据特定条件过滤行。
- 子查询和内连接： 用于组合多个表中的数据并过滤结果。
- 索引： 用于通过在表的一列或多列上创建索引来提高查询性能。
- CREATE 和 ALTER 语句：用于创建和修改表和其他数据库对象的结构。
- INSERT、UPDATE 和 DELETE 语句： 用于插入、更新和删除表中的数据。
- 先进的概念，如 窗口函数、公用表表达式 (CTE) 和存储过程
5. 使用 sci-kit learn 进行机器学习
机器学习无疑是跨行业数据科学流程不可或缺的一部分。一旦您很好地掌握了 python 编程语言及其库，那么您应该使用 sci-kit 学习库来学习实际的机器学习。
以下是一些关键概念和技能，可帮助您使用 scikit-learn 掌握机器学习：
- 监督学习： 回归和分类等概念，以及线性回归、逻辑回归和决策树等算法。
- 无监督学习： 聚类和降维等概念，以及 k 均值、层次聚类和 PCA 等算法。
- 模型评价： 训练和测试集、交叉验证等技术以及准确性、精确度、召回率和 F1 分数等指标。
- 超参数调整： 网格搜索和随机搜索等技术，以优化机器学习模型的性能。
- 特征选择和工程： 选择最相关的特征并从现有数据创建新特征的技术。
- 管道： 将机器学习过程的多个步骤（例如数据准备、特征选择和模型训练）链接到单个 scikit-learn 估计器中的技术
- 集成方法： bagging 和 boosting 等概念，以及随机森林和梯度提升等算法
- 神经网络： 了解 MLP 和其他神经网络架构的概念和用法
6. 使用 Keras 进行深度学习
深度学习是作为数据科学家应该学习的一项强大技术。作为一名数据科学家，您可能必须处理图像、文本、视频等非结构化数据，其中深度学习技术发挥着至关重要的作用。
以下是数据科学家应该使用 Keras 学习的一些关键深度学习技术：
- 人工神经网络： 前馈网络、反向传播和激活函数等概念。
- 卷积神经网络 (CNN)： 用于图像分类和对象识别任务
- 循环神经网络 (RNN)： 用于顺序数据，例如文本和时间序列
- 自动编码器： 用于无监督特征学习和降维
- 生成模型： 例如生成对抗网络（GAN）和变分自动编码器（VAE）
- 迁移学习： 使用预训练模型（例如 VGG 或 ResNet）来提高新任务性能的技术
- 超参数调整： 网格搜索和随机搜索等技术，以优化深度学习模型的性能。
- 张量板： 可视化深度学习模型的训练和性能
7. 自然语言处理（NLP）技术和概念
NLP 是机器学习的一个子领域，它利用对人类语言的分析、生成和理解，以便从中获得有意义的见解。
以下是数据科学家应该学习的一些关键 NLP 概念和技术：
- 文本预处理： 标记化、词干提取和词形还原等技术可将原始文本转换为易于分析的格式。
- 文本特征提取： 词袋、n 元语法和词嵌入等技术，将文本表示为数字特征，用于机器学习模型。
- 文本排序： 将文本分类为预定义类别的技术，例如情感分析和垃圾邮件检测。
- 命名实体识别： 从文本中识别和提取命名实体（例如人员、组织和位置）的技术。
- 词性标注： 识别句子中单词的词性（例如名词、动词和形容词）的技术。
- 文本生成： 根据给定输入生成新文本的技术，例如机器翻译和文本摘要。
- 文本转语音和语音转文本： 将语音转换为文本以及将文本转换为语音的技术。
- 基于注意力的模型、Transformers 和 BERT 等高级概念
8. 机器学习模型部署
大多数数据科学工作都需要开发高质量机器学习模型的高水平技能，但在部署模型方面拥有良好的理解和一些经验将使您成为数据科学家的优势。
- 模型服务： 在生产环境中提供机器学习模型的技术，例如使用 REST API 或专用模型服务器。
- 集装箱化： 将机器学习模型和依赖项打包到容器（例如 Docker）中的技术，以确保部署的一致性和可重复性。
- 云部署： 在云平台（例如 AWS SageMaker、Azure 机器学习和 Google Cloud ML Engine）上部署机器学习模型的技术。
9. 组合项目
学习完所有技能后，现在是时候构建作品集项目，向潜在的招聘人员展示您在学科领域的技能和专业知识了。
您可以实施的一些项目想法：
- 预测道路事故的严重程度
- 能源强度预测
- 野生蓝莓预测
- 患者生存预测
- 使用 NLP 技术检测网络欺凌
- 下一个词预测项目
10.面试准备和工作申请
现在，是时候准备数据科学家的面试并申请适合您的工作了。
以下是数据科学工作面试的一些技巧：
- 了解公司和工作：研究公司和您申请的具体职位，以了解他们的目标、价值观和工作类型。
- 温习关键技能：回顾并练习工作所需的关键技能，例如编程语言、统计分析和机器学习技术。
- 准备常见的面试问题：准备好回答常见的数据科学面试问题，例如“您对 X 技术的体验如何”或“您将如何解决这个问题”。
- 练习基于数据的问题：准备好回答基于数据的问题和数据分析问题，例如“您将如何分析此数据集”或“构建模型的方法是什么”。
- 能够解释你的工作：能够以清晰简洁的方式解释你过去的项目和你使用的方法。
- 展现您的热情：展现您对数据科学的热情以及在该领域学习和成长的意愿。
- 准备好提问：准备一系列深思熟虑的问题，向面试官询问有关您将与之合作的公司、职位和团队的信息。
