使用QLC查询mnesia Fragmentated Tables会返回错误的结果

时间:2010-06-11 12:46:57

标签: mnesia

我是乌干达的乔什。我创建了一个mnesia碎片表(64个片段),并设法将其填充到9948723记录。每个片段都是disc_copies类型,有两个副本。 现在,使用qlc(查询列表理解),搜索记录的速度太慢,并且返回的结果不准确。

我发现这个开销是qlc使用mnesia的select函数遍历整个表以匹配记录。我在下面尝试了其他的东西。

-define(ACCESS_MOD,mnesia_frag).
-define(DEFAULT_CONTEXT,transaction).
-define(NULL,'_').
-record(address,{tel,zip_code,email}).
-record(person,{name,sex,age,address = #address{}}).

match()-> Z = fun(Spec) -> mnesia:match_object(Spec) end,Z.

match_object(Pattern)->
    Match = match(),
    mnesia:activity(?DEFAULT_CONTEXT,Match,[Pattern],?ACCESS_MOD).

尝试此功能给了我很好的结果。但我发现我必须为我的存储过程中可能进行的每次搜索动态构建模式。

我决定经历这样做的破坏,所以我编写的函数会根据要搜索的参数为我的记录动态构建野生模式。

%% This below gives me the default pattern for all searches ::= {person,'_','_','_'}

pattern(Record_name)->
    N = length(my_record_info(Record_name)) + 1,
    erlang:setelement(1,erlang:make_tuple(N,?NULL),Record_name).

%% this finds the position of the provided value and places it in that 
%% position while keeping '_' in the other positions.
%% The caller function can use this function recursively until
%% it has built the full search pattern of interest

pattern({Field,Value},Pattern_sofar)->
    N = position(Field,my_record_info(element(1,Pattern_sofar))),
    case N of
        -1 -> Pattern_sofar;
        Int when Int >= 1 -> erlang:setelement(N + 1,Pattern_sofar,Value);
        _ -> Pattern_sofar
    end.

my_record_info(Record_name)->
    case Record_name of
        staff_dynamic -> record_info(fields,staff_dynamic);
        person -> record_info(fields,person);
        _ -> []
    end.

%% These below,help locate the position of an element in a list
%% returned by "-record_info(fields,person)"

position(_,[]) -> -1;
position(Value,List)->
    find(lists:member(Value,List),Value,List,1).

find(false,_,_,_) -> -1;
find(true,V,[V|_],N)-> N;
find(true,V,[_|X],N)->
    find(V,X,N + 1).

find(V,[V|_],N)-> N;
find(V,[_|X],N) -> find(V,X,N + 1). 

虽然计算密集,但效果很好。 它甚至可以在更改记录定义后仍然有效,因为在编译时它会获得新的记录信息

问题是,当我在运行WinXP的3.0 GHz奔腾4处理器上启动甚至25个进程时,它会挂起并需要很长时间才能返回结果。

如果要在这些片段中使用qlc,为了获得准确的结果,我必须指定要搜索的片段。

find_person_by_tel(Tel)->
  select(qlc:q([ X || X <- mnesia:table(Frag), (X#person.address)#address.tel == Tel])).

select(Q)->
case ?transact(fun() -> qlc:e(Q) end) of
    {atomic,Val} -> Val;
    {aborted,_} = Error -> report_mnesia_event(Error) 
end.

Qlc正在返回[],当我搜索某些东西时,当我使用match_object / 1时,我得到了准确的结果。我发现使用match_expressions可以提供帮助。

Mnesia的:表(表,道具)。 其中Props是一个定义匹配表达式的数据结构,返回值的块大小为e.t.c

当我尝试动态构建匹配表达式时遇到了问题。

函数mnesia:read / 1或mnesia:read / 2要求你拥有主键

现在问自己,我如何有效地使用QLC来搜索大型碎片表中的记录?请帮忙。

我知道使用记录的元组表示会使代码难以升级。这就是为什么 我讨厌使用mnesia:select / 1,mnesia:match_object / 1,我想坚持QLC。 QLC在我的查询中给出了错误的结果,即使在同一节点上,也有64个片段的mnesia表。

有没有人用过QLC查询碎片表?请帮忙

1 个答案:

答案 0 :(得分:0)

您是否在活动上下文中调用了qlc?

tfn_match(Id) ->
    Search = #person{address=#address{tel=Id, _ = '_'}, _ = '_'},
    trans(fun() -> mnesia:match_object(Search) end).

tfn_qlc(Id) ->
    Q = qlc:q([ X || X <- mnesia:table(person), (X#person.address)#address.tel == Id]),
    trans(fun() -> qlc:e(Q) end).

trans(Fun) ->
    try Res = mnesia:activity(transaction, Fun, mnesia_frag),
    {atomic, Res}
    catch exit:Error ->
    {aborted, Error}
    end.