Go实战仿百度云盘-实现企业级分布式云存储系统

Go实战仿百度云盘-实现企业级分布式云存储系统
Go实战仿百度云盘-实现企业级分布式云存储系统 1

课程介绍(A000308):

本课程将通过Golang来实现一个支持断点续传和秒传的分布式云存储服务系统。课程中老师将手把手带你从快速构建“云存储”原型系统,到分块上传,到搭建访问阿里云,最后进行系统的微服务化,让你快速掌握架构传输性能和稳定性的优化过程。

课程目录:

  • 第1章 课程介绍【征途*扬帆起航】 试看2 节 | 20分钟
  • 导学将会告诉同学学习本门课程的必要性,以及收获那些技能,学习要求,学习技巧。课程介绍部分概括介绍文件传输涉及的应用场景(比如网盘),技术原理,以及传输服务架构设计等,以及学习本课程的一些前置知识点。 课程的章节流程大致可分为: (1)实现一个简易版云盘系统; (2)加入秒传和分块上传等功能; (3)接入开源存储…
  • 收起列表
    • 视频:1-1 导学 (08:26)试看
    • 视频:1-2 课程介绍 (11:04)试看
  • 第2章 实战-“云存储”系统原型 【实现一个超精简版云盘】 试看8 节 | 75分钟
  • 代码实战之前的架构说明,开发环境准备等; 接口逻辑的实现,包括上传文件,下载文件,查询以及更改文件元信息等功能; 结合Postman进行接口测试。
  • 收起列表
    • 视频:2-1 “云存储”系统原型之简单文件上传服务架构说明 (12:17)
    • 视频:2-2 编码实战:实现上传接口 (08:06)
    • 视频:2-3 编码实战:保存文件元信息 (11:08)
    • 视频:2-4 编码实战:实现单个文件查询信息接口 (08:40)
    • 视频:2-5 编码实战:实现多个文件查询信息接口 (09:37)
    • 视频:2-6 编码实战:实现文件下载接口 (08:05)
    • 视频:2-7 编码实战:实现文件修改接口+小结 (16:30)试看
    • 作业:2-8 对网盘类服务来说,影响其上传/下载服务并发性能的因素有哪些?
  • 第3章 “云存储”系统之基于MySQL实现的文件数据库【持久化云文件信息】8 节 | 55分钟
  • 系统架构升级说明; MySQL基于读写分离的主从原理及实战部署; MySQL表字段设计及基于海量数据的水平分表; Go管理MySQL, 实现文件metaData的持久化。
  • 收起列表
    • 图文:3-1 Docker入门基础文档
    • 视频:3-2 MySQL基础知识 (08:58)
    • 图文:3-3 Ubuntu中通过Docker安装配置MySQL主从节点
    • 视频:3-4 MySQL主从数据同步演示 (08:55)
    • 视频:3-5 文件表的设计及创建 (06:34)
    • 视频:3-6 编码实战:持久化元数据到文件表 (11:59)
    • 视频:3-7 编码实战:从文件表中获取元数据 (15:26)
    • 视频:3-8 本章小结 (02:21)
  • 第4章 “云存储”系统之基于用户系统实现的资源隔离及鉴权 【账号和应用收入息息相关】8 节 | 66分钟
  • 加入用户系统后架构升级说明; 快速实现用户注册/登录/信息查询功能; 快速实现用户资源隔离存储及安全鉴权功能。
  • 收起列表
    • 视频:4-1 帐号系统介绍与用户表设计 (05:46)
    • 视频:4-2 编码实战:实现用户注册接口 (12:27)
    • 视频:4-3 编码实战:实现用户登录接口 (18:46)
    • 视频:4-4 编码实战:实现用户信息查询接口 (14:57)
    • 视频:4-5 接口梳理小结 (04:11)
    • 作业:4-6 哪些方式适合安全鉴权
    • 视频:4-7 编码实战:快速实现访问鉴权接口+小结 (09:11)
    • 图文:4-8 关于静态资源访问404的问题【补漏】
  • 第5章 “云存储”系统之基于Hash计算实现秒传【可大幅提升拥有海量文件的云盘性能】6 节 | 53分钟
  • Hash算法的对比分析; 快速提升用户体验的文件秒传原理剖析; 秒传场景的唯一文件表与用户文件表的差异性; 秒传接口的快速实现。
  • 收起列表
    • 视频:5-1 Hash算法对比及秒传原理 (10:49)
    • 作业:5-2 秒传功能原理是什么?
    • 视频:5-3 用户文件表设计与创建 (03:37)
    • 视频:5-4 编码实战:升级改造上传接口 (10:13)
    • 视频:5-5 编码实战:基于用户查询文件Hash信息 (09:24)
    • 视频:5-6 编码实战:实现秒传功能接口+小结 (18:17)
  • 第6章 “云存储”系统之基于Redis实现分块上传及断点续传【可大幅提升传输速度】9 节 | 92分钟
  • 分块上传与断点续传原理; 分块上传通用接口设计; Redis快速缓存文件分块信息; Go实现可重用的Redis连接池; 分块上传通用接口逻辑实现。
  • 收起列表
    • 视频:6-1 分块上传与断点续传原理 (07:41)
    • 视频:6-2 编码实战:Go实现Redis连接池(存储分块信息) (12:56)
    • 视频:6-3 编码实战:实现初始化分块上传接口 (11:02)
    • 视频:6-4 编码实战:实现分块上传接口 (08:19)
    • 视频:6-5 编码实战:实现分块合并接口 (12:32)
    • 视频:6-6 分块上传场景测试+小结 (13:17)
    • 图文:6-7 文件断点下载原理
    • 视频:6-8 编码实战:分块上传接口升级(支持断点续传) (16:16)
    • 视频:6-9 编码实战:实现取消分块上传接口 (09:02)
  • 第7章 “云存储”系统之基于Ceph实现私有云存储服务 【自主管理集群,技术可控】6 节 | 47分钟
  • 开源分布式存储框架之Ceph介绍; 引入Ceph后的服务架构升级说明; Docker快速部署Ceph测试集群; 兼容AWS S3接口的详细介绍; Go实现Ceph的对象上传下载功能。
  • 收起列表
    • 视频:7-1 Ceph是什么 (09:38)
    • 视频:7-2 Ceph集群介绍及兼容亚马逊S3接口详解 (09:13)
    • 视频:7-3 编码实战:Go访问管理Ceph集群 (17:54)
    • 视频:7-4 编码实战:Go实现Ceph的文件上传下载+小结 (09:54)
    • 图文:7-5 Ubuntu下通过Docker快速搭建Ceph测试集群
    • 图文:7-6 Centos7下Docker部署Ceph集群(nautilus最新版)
  • 第8章 “云存储”系统之基于阿里云OSS实现海量数据上云 【低运维成本,大数据存储无忧】9 节 | 51分钟
  • OSS特性介绍,快速了解应用场景; OSS开发文档学习说明,快速上手入门; OSS控制台管理,集开发运维管理于一身; Go实现OSS上传/下载文件,开启海量数据上云之旅。
  • 收起列表
    • 视频:8-1 阿里云对象存储OSS简介 (03:53)
    • 作业:8-2 私有云存储和公有云存储的区别
    • 视频:8-3 阿里云对象存储OSS特点 (06:53)
    • 视频:8-4 阿里云对象存储OSS专业术语 (03:58)
    • 视频:8-5 阿里云对象存储OSS控制台管理 (05:37)
    • 视频:8-6 编码实战:OSS上传文件 (13:10)
    • 视频:8-7 编码实战:OSS下载文件 (07:29)
    • 视频:8-8 编码实战:OSS对象生命周期管理等常用功能 (06:44)
    • 视频:8-9 阿里云OSS本章小结 (02:18)
  • 第9章 “云存储”系统之基于RabbitMQ实现异步存储 【上传与转移解耦,提高稳定性】8 节 | 68分钟
  • 详细讲解文件上传完成后, 通过RabbitMQ队列服务,基于异步机制从上传节点转移到对象存储服务。
  • 收起列表
    • 图文:9-1 Ubuntu下通过Docker安装RabbitMQ
    • 视频:9-2 关于任务的同步与异步 (06:11)
    • 视频:9-3 RabbitMQ简介 (06:34)
    • 视频:9-4 RabbitMQ工作原理和转发模式 (11:09)
    • 视频:9-5 Docker安装RabbitMQ及UI管理 (09:55)
    • 视频:9-6 编码实战: 实现异步转移的MQ生产者 (11:16)
    • 视频:9-7 编码实战: 实现异步转移的MQ消费者 (17:44)
    • 视频:9-8 编码实战: 异步转移文件测试+小结 (04:59)
  • 第10章 “云存储”系统之架构微服务化【全面优化系统架构及性能】14 节 | 120分钟
  • 新增轻量级Gin web框架及改造演示; 新增gRPC网络通讯框架; 新增API网关, 实现限流及熔断等功能; 新增服务注册功能,实现服务自发现和负载均衡;
  • 收起列表
    • 图文:10-1 基于Docker部署服务注册发现中心consul集群
    • 视频:10-2 微服务基础概念与原理 (14:46)
    • 视频:10-3 云存储系统之微服务架构(1) (06:45)
    • 视频:10-4 云存储系统之微服务架构(2) (09:17)
    • 视频:10-5 Web框架Gin基础介绍 (08:43)
    • 视频:10-6 编码实战: 基于Gin改造用户service(1) (11:56)
    • 视频:10-7 编码实战: 基于Gin改造用户service(2) (05:53)
    • 视频:10-8 gRPC与Protobuf基础原理 (08:27)
    • 视频:10-9 RPC框架go-micro基础介绍 (08:21)
    • 作业:10-10 【开放性讨论】大家推荐哪些微服务框架/组件
    • 视频:10-11 编码实战: 改造账号系统service (12:18)
    • 视频:10-12 编码实战: 改造api网关service (15:09)
    • 视频:10-13 编码实战: 改造文件上传service (11:20)
    • 视频:10-14 综合测试演示+小结 (06:43)
  • 第11章 “云存储”系统之k8s&Docker容器化实战【容器化:应用上云部署的基石】8 节 | 45分钟
  • 本章带你实现应用的docker容器化,支持跨平台部署,是持续集成与部署的坚实基础。
  • 收起列表
    • 图文:11-1 Ubuntu18下通过kubeadm安装k8s(v1.14.1)集群
    • 图文:11-2 Ubuntu18下安装k8s(v1.14.1)可视化管理工具
    • 视频:11-3 Docker与Docker-Compose基础概念 (06:47)
    • 视频:11-4 基于容器的微服务反向代理利器Traefik (07:05)
    • 视频:11-5 基于Docker-compose与Traefik1.x的容器化部署演示 (08:46)
    • 视频:11-6 Kubernetes基础原理 (10:36)
    • 视频:11-7 基于Kubernetes的容器化部署演示 (11:34)
    • 图文:11-8 Kubernetes(1.14+)部署traefik2.0
  • 第12章 “云存储”系统之持续集成部署【快速部署更新,可视化管理】3 节 | 21分钟
  • 开发完成并构建容器镜像后, 如何基于git+jenkins+k8s完善持续部署(CI/CD)发布流程, 从而实现一个比较完整的高可用性的云存储系统。
  • 收起列表
    • 图文:12-1 ubuntu下离线安装harbor1.6
    • 视频:12-2 持续构建之基础概念 (08:51)
    • 视频:12-3 基于gitlab+jenkins+harbor的自动化部署配置演示 (11:53)
  • 第13章 课程总结1 节 | 12分钟
  • 对每一章内容进行总结,并给出课后联系内容,加强对课程的掌握程度。
  • 收起列表
    • 视频:13-1 课程总结之章节重点及技能树温习 (11:09)

文件目录:

Go实战仿百度云盘-实现企业级分布式云存储系统
│  │  filestore-server-master.tar.gz
│  │  filestore-server-master.gz
│  │  filestore-server-master.zip
│  │ 
│  ├─第10章 “云存储”系统之架构微服务化【全面优化系统架构及性能】
│  │      10-10 编码实战 改造账号系统service.mp4
│  │      10-11 编码实战 改造api网关service.mp4
│  │      10-12 编码实战 改造文件上传service.mp4
│  │      10-13 综合测试演示+小结.mp4
│  │      10-2 微服务基础概念与原理.mp4
│  │      10-3 云存储系统之微服务架构(1).mp4
│  │      10-4 云存储系统之微服务架构(2).mp4
│  │      10-5 Web框架Gin基础介绍.mp4
│  │      10-6 编码实战 基于Gin改造用户service(1).mp4
│  │      10-7 编码实战 基于Gin改造用户service(2).mp4
│  │      10-8 gRPC与Protobuf基础原理.mp4
│  │      10-9 RPC框架go-micro基础介绍.mp4
│  │     
│  ├─第11章 “云存储”系统之k8s&Docker容器化实战【容器化:应用上云部署的基石】
│  │      11-3 Docker与Docker-Compose基础概念.mp4
│  │      11-4 基于容器的微服务反向代理利器Traefik.mp4
│  │      11-5 基于Docker-compose与Traefik的容器化部署演示.mp4
│  │      11-6 Kubernetes基础原理.mp4
│  │      11-7 基于Kubernetes的容器化部署演示.mp4
│  │     
│  ├─第12章 “云存储”系统之持续集成部署【快速部署更新,可视化管理】
│  │      12-2 持续构建之基础概念.mp4
│  │      12-3 基于gitlab+jenkins+harbor的自动化部署配置演示.mp4
│  │     
│  ├─第13章 课程总结
│  │      13-1 课程总结之章节重点及技能树温习.mp4
│  │     
│  ├─第1章 课程介绍【征途扬帆起航】
│  │      1-1导学.mp4
│  │      1-2课程介绍.mp4
│  │     
│  ├─第2章 实战-“云存储”系统原型 【实现一个超精简版云盘】
│  │      2-1 “云存储”系统原型之简单文件上传服务架构说.mp4
│  │      2-2 编码实战:“云存储”系统之实现上传接口.mp4
│  │      2-3 编码实战:“云存储”系统之保存文件元信息.mp4
│  │      2-4 编码实战:“云存储‘系统之实现单个文件查询信息接口.mp4
│  │      2-5 编码实战:“云存储”系统之实现文件下载接口.mp4
│  │      2-6 编码实战:“云存储”系统之实现文件修改接口+小结.mp4
│  │     
│  ├─第3章 “云存储”系统之基于MySQL实现的文件数据库【持久化云文件信息】
│  │      3-1 MySQL基础知识.mp4
│  │      3-2 MySQL主从数据同步演示.mp4
│  │      3-3 文件表的设计及创.mp4
│  │      3-4 编码实战:“云存储”系统之持久化元数据到文.mp4
│  │      3-5 编码实战:“云存储”系统之从文件表中获取元数据.mp4
│  │      3-6  本章小结.mp4
│  │     
│  ├─第4章 “云存储”系统之基于用户系统实现的资源隔离及鉴权 【账号和应用收入息息相关】
│  │      4-1 帐号系统介绍与用户表设.mp4
│  │      4-2 编码实战:“云存储”系统之实现用户注册接口.mp4
│  │      4-3 编码实战:“云存储”系统之实现用户登录接口.mp4
│  │      4-4 编码实战:“云存储”系统之实现用户信息查询接口.mp4
│  │      4-5 接口梳理小结.mp4
│  │      4-6 编码实战:“云存储”系统之快速实现访问鉴权接口+小结.mp4
│  │     
│  ├─第5章 “云存储”系统之基于Hash计算实现秒传【可大幅提升拥有海量文件的云盘性能】
│  │      5-1 Hash算法对比及秒传原理.mp4
│  │      5-2 用户文件表设计与创建.mp4
│  │      5-3 编码实战:“云存储”系统之升级改造上传接口.mp4
│  │      5-4 编码实战:“云存储”系统之基于用户查询文件Hash信息.mp4
│  │      5-5 编码实战:“云存储”系统之实现秒传功能接口+小结.mp4
│  │     
│  ├─第6章 “云存储”系统之基于Redis实现分块上传及断点续传【可大幅提升传输速度】
│  │      6-1 分块上传与断点续传原理.mp4
│  │      6-2 编码实战:“云存储”系统之Go实现Redis连接池(存储分块信息).mp4
│  │      6-3 编码实战:“云存储”系统之实现初始化分块上传接口.mp4
│  │      6-4 编码实战:“云存储”系统之实现分块上传接口.mp4
│  │      6-5 编码实战:“云存储”系统之实现合并分块接口.mp4
│  │      6-6 分块上传场景测试+小结.mp4
│  │     
│  ├─第7章 “云存储”系统之基于Ceph实现私有云存储服务 【自主管理集群,技术可控】
│  │      7-1 Ceph是什么.mp4
│  │      7-2 Ceph集群介绍及兼容亚马逊S3接口详.mp4
│  │      7-3 编码实战:“云存储”系统之Go访问管理Ceph集.mp4
│  │      7-4 编码实战:“云存储”系统之Go实现Ceph的文件上传下载.mp4
│  │     
│  ├─第8章 “云存储”系统之基于阿里云OSS实现海量数据上云 【低运维成本,大数据存储无忧】
│  │      8-1 阿里云oss 简介.mp4
│  │      8-2 阿里云oss特点.mp4
│  │      8-3 阿里云oss专业术语.mp4
│  │      8-4 阿里云oss控制台管理.mp4
│  │      8-5 编码实战:阿里云oss上传文件.mp4
│  │      8-6 编码实战:oss下载文件.mp4
│  │      8-7 编码实战:oss其他功能.mp4
│  │      8-8 阿里云oss本章小结.mp4
│  │     
│  └─第9章 “云存储”系统之基于RabbitMQ实现异步存储 【上传与转移解耦,提高稳定性】
│          9-2 关于任务的同步与异步~1.mp4
│          9-3 RabbitMQ简介~1.mp4
│          9-4 RabbitMQ工作原理和转发模式~1.mp4
│          9-5 Docker安装RabbitMQ及UI管理~1.mp4
│          9-6 编码实战 实现异步转移的MQ生产者~1.mp4
│          9-7 编码实战 实现异步转移的MQ消费者~1.mp4
│          9-8 编码实战 异步转移文件测试+小结~1.mp4

本站所有资源均来自网络,版权归原作者所有,本站仅提供收集与推荐,若侵犯到您的权益,请【给我们反馈】,我们将在24小时内处理!

下载权限

查看
  • 免费下载
    评论并刷新后下载
    登录后下载

查看演示

  • {{attr.name}}:
您当前的等级为
登录后免费下载登录 小黑屋反思中,不准下载! 评论后刷新页面下载评论 支付以后下载 请先登录 您今天的下载次数(次)用完了,请明天再来 支付积分以后下载立即支付 支付以后下载立即支付 您当前的用户组不允许下载升级会员
您已获得下载权限 您可以每天下载资源次,今日剩余

给TA打赏
共{{data.count}}人
人已打赏
0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索