造云记(1):从零打造一个私人云(提纲)

Published: 17 Jul 2013

云计算日益热门,借项目之机实验一些关键性技术。记录一些实验过程与心得。

1.背景

1.1 硬件

  • 二个linode vps
  • 一个阿里云标准C套餐
  • 两台公司淘汰下来的2U服务器,一台1U服务器
  • 联通光纤+独立ip

1.2 目的

  • 实现完全自动化地部署
  • R Hadoop 大数据计算实验,跑Map reduce任务
  • 任意开服

1.3 测试数据

  • 微博2012年23G测试数据
  • 大脑结构数据

2. vagrant与veewee

2.1 vagrant基础

vagrant box 列表:

国内访问速度不行,我提供的dropbox镜像:

2.2 vagrant、lindoe vps与kvm等

vagrant加载linode vps镜像

vagrant与Cloud Foundry

2.3 制作包:veewee

3. 配置管理:chef

3.1 chef基础

3.2 chef的三种配置方式

  • chef-solo
  • chef-server
  • hosted chef

第一种方式的教程:

第三种方式的教程:

3.3 最常用的方式:chef-solo

3.4 最佳实践:knife solo+berkshelf+railsbox

最佳流程:

  • 第一步:knife solo

knife-solo

  • 第二步:berksfile文件

Berkshelf

  • 第三步:整合Vagrantfile文件

名词解释:

链接

常见错误

4. 撰写box:Railsbox实例

4.1 基础box:appbox

4.2 撰写与定制个人的box

我写的部署box项目:

一键部署:基础server安装+postgresql+rbenv+rails+nginx+unicorn

5. 使用railsbox部署阿里云、linode vps与openstack

5.1 部署rails app

5.2 部署R app

6. openstack部署

6.1 一键部署

chef社区提供的:

Search Results for openstack - Opscode Community

常用的一键部署项目:

国人写的:

6.2 openstack架构与基础

6.3 vagrant与openstack

6.4 openstack配套项目解析

图书:

7. hadoop

7.1 hadoop部署

chef社区提供的部署项目

7.2 hadoop与Python、R

python与hadoop

7.3 hadoop实例

8 R in Cloud

8.1 Revolution R

8.2 高性能R项目

概述:

图书:

snow、multicore

RHIPE

PHDR

9 其它



声明: 本文采用 CC BY-NC-ND 4.0授权。微信号Mindnote,欢迎订阅。扫码请点击