(转)Erlang的config文件读取效率问题

[Erl_Question19]Erlang的config文件读取效率问题 - 学贵有恒

时间 2014-08-23 11:30:00   博客园-原创精华区   
原文  http://www.cnblogs.com/zhongwencool/p/erlang_config_transform.html




方法
优点
缺点


1.把配置文件统一读取到存储介质中(ets表或mysql)

统一管理，可以方便跨节点分布Reload, Erlang Application就是把configuration 文件给读到一个叫ac_tab 的ets表

如果频繁大量的读取这个全局表，要考虑表的性能哦


2.把配置文件做为*.xml或*.config，用Erlang直接读取xml或config

配置成xml,会方便配置人员(前后端都是xml,容易上手) 配置成config,Erlang读取程序很简单

Erlang不适合读取xml 频繁去读一个硬盘文件明显非常不好


3.把配置文件转化为*.beam文件

查询效率高

几乎没有，当然除了分布式部署有点复杂


于是乎：自己做一个简单的配置转化（ 欢迎找Bug，费尽心思你也找不到，因为这代码本来没有Bug，哈哈  ） ：

你只要把config放到指定好文件的路径就可以使用：
%%转化get_config_dir()下所有的config文件
%%可检查各config文件的格式是不是key重复或格式是不是{key,Value}
1>configToBeam:config_to_beam().
check Config syntax error"test_duplicate_error.config":Reason:{error,
                                                               key_duplicate,
                                                               1}
check Config syntax error"test_format_error.config":Reason:{error,
                                                            format_error,
                                                            {2,3,test2}}
[{ok,test_best},
{error,"test_duplicate_error.config"},
{error,"test_format_error.config"}]

%%返回所有的{key,Value}
2>test_best:all().
[{4,test4},{3,test3},{2,test2},{1,test}]

%%返回对应Key的Value
3>test_best:lookup(2).
test2
%%如果不存在Key则返回undefined
4>test_best:lookup(12).
undefined

我的测试数据目录放在

1 code:root_dir()++"/config"
2
3 %%里面有4个文件：
4 %%test.txt 不以config的文件检查跳过
5 %%test_best.config 这个是正常配置
6 %%test_format_error.config 不是{key,Value}的配置
7 %%test_duplicate_error.config Key有重复的配置

源代码如下：

  1 %%%-------------------------------------------------------------------
  2 %%% @author [e-mail]
  3 %%% @doc   把对应的.config文件转为.beam文件并更新到内存
  4 %%%        configName:all()       return all key_value
  5 %%%        configName:lookup(Key) return value or undefined
  6 %%% 1.得到目录下文件集合
  7 %%% 2.遍历对每个文件进行转换
  8 %%%   2.1 把文件读入 检查格式
  9 %%%   2.2 把config转化为erl文件
10 %%%   2.2 把erl文件编译成beam文件
11 %%% 3.加载beam文件到内存
12 %%% @end
13 %%% Created : 22. Aug 2014 4:08 PM
14 %%%-------------------------------------------------------------------
15 -module(configToBeam).
16
17 -compile(export_all).
18 %% API
19 -export([config_to_beam/0,config_to_beam/1,get_config_dir/0]).
20
21 %% @doc 把指定目录下全部的config文件都转为.beam文件并加载到内存
22 config_to_beam() ->
23     AllConfigName = get_all_config_name(),
24     [begin
25          config_to_beam(ConfigName)
26      end||ConfigName <- AllConfigName].
27
28 %% @doc 把指定目录下名为ConfigName的config文件转为.beam文件并加载到内存
29 config_to_beam(ConfigName) ->
30     case check_syntax(ConfigName) of
31         {ok, TermList}  ->
32             term_to_beam(ConfigName -- ".config", TermList);
33         Reason ->
34             io:format("check Config syntax error~p:Reason:~p~n",[ConfigName, Reason]),
35             {Reason,ConfigName}
36     end.
37
38 %% @todo 改成你存放.config文件的目录
39 get_config_dir() ->
40     code:root_dir()++"/config".
41
42 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
43 %%%  Internal Function
44 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
45 term_to_beam(ModuleName,TermList) ->
46     Erl = term_to_erl(ModuleName,TermList),
47     ModuleName2 = ModuleName++".erl",
48     file:write_file(ModuleName2, Erl, [write, binary, {encoding, utf8}]),
49     compile:file(ModuleName2),
50     ModuleName3 = list_to_atom(ModuleName),
51     code:purge(ModuleName3),
52     code:load_file(ModuleName3),
53     {ok,ModuleName3}.
54
55 term_to_erl(ModuleName,TermList) ->
56     StrValue = lists:flatten(term_to_erl2(TermList,"")),
57     StrList = lists:flatten(io_lib:format("     ~w\n", [TermList])),
58     "
59     -module(" ++ ModuleName ++ ").
60     -export([all/0,lookup/1]).
61
62     all()->"++ StrList ++".
63
64     lookup(Key) ->
65       case Key of
66         " ++ StrValue ++ "
67         _ -> undefined
68     end.
69 ".
70
71 term_to_erl2([],Sum) ->
72     Sum;
73 term_to_erl2([{Key, Value}|Left],Acc) ->
74     term_to_erl2(Left,
75         io_lib:format("       ~w -> ~w;\n",[Key, Value])++Acc).
76
77 get_all_config_name() ->
78     {ok,AllFileName} = file:list_dir(get_config_dir()),
79     lists:filter(fun(FileName) ->
80         case lists:reverse(FileName) of
81             "gifnoc." ++_ -> true;
82             _ -> false
83         end
84     end,AllFileName).
85
86 check_syntax(ConfigName) ->
87     case file:consult(joint_path(ConfigName)) of
88         {ok, TermList = [_|_]} ->
89             check_fromat_duplicate(TermList, []);
90         Reason ->
91             {error, Reason}
92     end.
93
94 joint_path(ConfigName) ->
95     get_config_dir() ++"/" ++ ConfigName.
96
97 check_fromat_duplicate([], Acc) ->
98     {ok, Acc};
99 check_fromat_duplicate([{Key, _Value} = Term|Left], Acc) ->
100     case lists:keymember(Key, 1, Acc) of
101         true -> {error, key_duplicate, Key};
102         false -> check_fromat_duplicate(Left, [Term|Acc])
103     end;
104 check_fromat_duplicate([Term|_],_Acc) ->
105     {error,format_error,Term}.



生活好艰辛可是老子就是这么萌。。。。。。。。。。。。。。。。。。。。