01 实操 人工
公司需要开发了一个XX系统，在文件夹中包含了XX.csv，其中每一行表示一个XX样本，最后一列为每个样本的标签，现需要设计模型与系统，请按照以下要求完成算法测试。根据要求完成以下任务，将完成的任务（包括但不限于截图、文档、程序等）保存：
（1）打开“XXXX.ipynb”；
（2）编写代码补全其中神经网络模型的设计部分；具体要求如下：一共3层神经网络（L1、L2、L3）；前两层都要完成线性计算、BatchNorm（B1、B2）、激活函数relu的计算，神经元数量分别为128和256；最后一层只需完成线性计。截取代码命名为”保存；
02 实操2 dw分类训练
模型生成
03 实操基础理论 数据增强
（1）图像数据增强方法
几何变换类：平移（将图像在平面内沿水平或垂直方向移动一定距离）、旋转（绕图像中心旋转一定角度，如 90°、180° 等）、缩放（按比例放大或缩小图像尺寸 ）。
颜色变换类：亮度调整（增加或降低图像整体亮度 ）、对比度调整（增大或减小图像像素间的对比度 ）、色彩抖动（随机改变图像的色调、饱和度和明度 ）。
其它类：噪声添加（向图像中加入高斯噪声、椒盐噪声等 ）、模糊处理（如高斯模糊、均值模糊 ）、裁剪（随机裁剪图像的部分区域 ）。
（2）流程图基本概念
①处：判断文件是否为图像文件。
②处：判断图像文件是否为.jpg 类型。
③处：判断图像文件是否为 RGB 模型。
（3）容易出现的问题：严格筛选致数据丢失、误筛。改进：添加格式转换，兼读文件头信息与色彩模式标识，精准判断格式和模型。
04 实操理论2 数据采集培训要求
数据采集培训大纲（以下为参考，自己要修改，与下面一致的会造成雷同）
基础认知：明晰数据采集概念、重要性与应用场景。
方法技巧：讲授多种采集方式，涵盖网络、传感器等，分享实操窍门。
工具运用：熟练掌握 Excel、Python 等工具用于数据获取与整理。
常见问题及解决方法（选2条背）
目标不明确
问题：未清晰界定采集数据的用途与范围，导致收集大量无关数据，遗漏关键信息。比如市场调研时，不清楚要分析用户哪类消费行为，盲目收集。
解决方法：项目启动前，组织跨部门会议，与业务、分析团队深入沟通，基于业务需求和分析目的，详细梳理数据需求清单，明确数据用途、范围、字段及预期成果。
样本偏差
问题：选取样本缺乏代表性，如调查城市居民出行方式，仅在高档社区采样，无法反映整体情况。
解决方法：运用科学抽样方法，像分层抽样，按城市区域、收入水平等分层后随机抽取；扩大样本覆盖范围，涵盖不同特征群体，必要时用统计方法评估样本代表性。
数据来源不可靠
问题：采用劣质数据源，像某些非官方网站数据，可能存在错误、过时或被篡改，影响数据质量。
解决方法：优先选用官方机构、权威数据库等可靠数据源；对新数据源，先小范围验证数据准确性，对比多个来源数据，分析差异。
采集方法不当
问题：不匹配数据特性与采集手段，如用访谈收集大规模用户行为数据，效率低且易有主观误差。
解决方法：依据数据类型（结构化、非结构化等）和规模，合理选择采集方法，如大规模行为数据用埋点技术，文本数据用网络爬虫；结合多种方法交叉验证数据。
技术故障
问题：采集工具或系统出现故障，如网络爬虫被网站反爬机制阻断，导致数据中断或丢失。
解决方法：定期维护采集工具和系统，升级软件版本；针对爬虫被阻，采用 IP 代理池、模拟人类浏览行为等策略绕过反爬；设置数据备份机制，实时或定时备份采集数据。
数据重复采集
问题：缺乏统一规划，不同部门或环节重复收集相同数据，浪费资源。
解决方法：建立企业级数据管理平台，梳理各部门数据需求，绘制数据地图，明确各数据归属与采集责任；制定数据共享规范，促进部门间数据流通。
隐私与合规问题
问题：采集敏感个人信息未获授权，或违反行业法规，面临法律风险。
解决方法：设立数据合规官，负责解读法规政策；采集前向用户明确告知数据用途、范围、存储方式，获用户同意；加密敏感数据，遵循 “最小必要” 原则采集。