Big Data 教程
大数据学习路径旨在帮助学习者掌握大规模数据处理。我们的教程涵盖了关键概念和工具，适合初学者和中级学习者。通过实践实验室和真实世界的代码示例，你将获得数据分析、处理和可视化的实践经验。我们的交互式实验区让你可以在无风险的环境中尝试大数据技术。
你的第一个 PySpark DataFrame
运行完整的 Spark 脚本，检查小型订单 DataFrame 及其模式，并预测新增一条记录后在新进程中的运行结果。
Big Data
使用 Kafka 消费者组分担工作
观察两个运行中的消费者如何共享分区、独立消费者组如何读取相同事件，以及一个成员离开后如何恢复分配。
Big DataLinuxShell
提交并检查 YARN 批处理作业
通过真实的 YARN 执行，对 HDFS 输入运行熟悉的商品 WordCount，检查应用状态和日志，并安全地验证和重新运行输出。
Big DataShellLinux
提交并重新运行 Spark 批处理应用
为 spark-submit 指定 master 和输入输出参数，检查真实退出状态与日志，并安全处理输入缺失和输出路径已存在的问题。
Big DataShell
跟踪 Kafka 消费者 offset 并重放事件
观察已提交的下一个 offset 和 lag，恢复有读取数量限制的具名消费者，并通过重置非活跃消费者组有意重放保留记录。
Big Data
理解 Map、Shuffle 和 Reduce
预测商品计数，通过小型教学工具查看 Map、Shuffle 和 Reduce，并使用 Hadoop 预置示例 JAR 在本地模式运行相同的 WordCount 算法。
Big DataLinuxShell
理解 Spark 执行与常见错误
将熟悉的转换与真实执行计划和事件日志联系起来，区分计算分区与目录分区，并修复两种常见表达式错误。
Big Data
了解你的 Hadoop 环境
了解 Hadoop 各组件如何协作，检查已配置的文件系统，对比本地路径与 HDFS 路径，并读取当前 HDFS 服务和存储节点的信息。
LinuxBig Data
写入并检查分区 Spark Parquet 数据
将预置订单存入按日期分区的 Parquet，重建并查询有类型记录，并在临时输出中比较覆盖与追加。
Big Data
你的第一个 Hadoop 实验
了解大数据的含义以及 Hadoop 的作用，然后在预配置环境中将零售文本文件上传到 HDFS，读回文件并核对内容。
Big DataLinuxShell
你的第一个 Hive 查询
了解 Apache Hive 在数据流程中的位置，探索预置零售表，并编写第一个 SQL 文件，选择和检查已付款订单记录。
Big DataShell
读取并修复基本 HDFS 权限
读懂 HDFS 所有者、所属组和权限模式，通过组共享数据集，并使用普通身份测试真实访问，无需让文件对所有人可写。
Big Data
发送并读取你的第一个 Kafka 事件
理解 Kafka 的事件传递职责，创建单分区主题，观察独立生产者和消费者终端，并重放保留的订单事件。
Big DataLinux
选择、筛选并转换 Spark 订单数据
使用有类型的列表达式选择字段、组合行条件、计算十进制订单金额，并比较已付款与待付款结果。
Big Data
将 Hive 查询结果保存为 ORC 表
将十进制每日销售报表持久化到 ORC，读回结果，并在临时表中比较可重复的覆盖与产生重复数据的追加。
Big Data
使用键和分区路由 Kafka 事件
发布带键订单事件，检查实际键、分区和偏移量，并在不假设全局记录顺序的情况下观察按订单路由。
Big Data
使用明确模式读取 Spark CSV
将纯字符串和类型推断的 CSV 读取方式与明确的七列模式比较，再对新收到的文件应用相同类型。
Big Data
将 JSON 事件读入 Spark DataFrame
使用明确类型读取静态 JSON Lines，选择订单事件，并展开简单的嵌套客户结构体，保持批处理模式。
Big Data
- 上一页
- 1
- 2
- 下一页