我不知道我面临的问题是由于嵌套循环还是由于其他原因（错误的代码，大数据）。让我解释一下，希望有人能帮助我弄明白： -
我正在开发一款Windows Phone 8应用。在启动时，应用程序对3个不同的页面进行三次httpclient调用，然后将每个响应（即html）转换为xml然后转换为json数据（OBS !!!这样可以正常工作并且没有问题）。在这个阶段，我想从那些3 json中提取数据，并将提取的数据组合成一个新的Json，以便稍后保存到IsolatedStorage。为了做这个提取我使用了多个foreach循环，甚至有时linq （我认为这是问题）。每个foreach循环可以在50和> 500次迭代之间进行。提取过程需要将近2分钟，我认为这很多。您可以在下面看到我的代码中的代码段： -
public async Task LoadData()
{
//baseUri definition....
await CookieHandler.GetCookies(baseUri);
_reqPList=new RequestResponse();
await _reqPList.GetResponse(baseUri, pList); // First page request
XmlConvertor.ConvertToXml(_reqPList.Response); //First page convert to xml
var phoneListResponse = XmlConvertor.XmlString;
//Second and third page request and convert to xml
var handler = new DataHandler();
await handler.phoneListHandler(phoneListResponse); //First page convert to Json
//Second and third page convert to Json
var jObject = JObject.Parse(handler.PhoneListJson);
var jCollection = jObject["tbody"]["tr"].Children();
//The start of extracting data
using (var stream = new MemoryStream())
using (var streamWriter=new StreamWriter(stream))
using (_jsonW = new JsonTextWriter(streamWriter))
{
var watch = Stopwatch.StartNew();
_jsonW.WriteStartArray();
foreach (var item in jCollection) //First foreach loop (100 iteration) using the first page
{
var arr = item.Value<JArray>("td");
if (arr == null) continue;
_jsonW.Formatting = Formatting.Indented;
_jsonW.WriteStartObject();
_jsonW.WritePropertyName("Name");
_jsonW.WriteValue(arr[0].Value<string>());
#region Info Array
_jsonW.WritePropertyName("Info");
_jsonW.WriteStartArray();
// Do some extraction
_jsonW.WriteEndArray();
#endregion
#region Schedule Array
await ScheduleArrayAsync(item, handler.ScheduleJson, handler); // This method extract data from 2nd page
#endregion
#region Current activity
CurrActivityAsync(item, handler.CurrActivitiesJson); // This method extract data from 3rd page
#endregion
_jsonW.WriteEndObject();
}
_jsonW.WriteEndArray();
watch.Stop();
var j = watch.ElapsedMilliseconds;
await streamWriter.FlushAsync();
stream.Position = 0;
using (var streamReader=new StreamReader(stream))
{
var json = await streamReader.ReadToEndAsync();
}
}
this.IsDataLoaded = true;
}
private void CurrActivityAsync(JToken token, string jString) This method is called 1 time only
{
var arr = token.Value<JArray>("td");
var personNameArray = arr[0].Value<string>().Split(',');
if (!_owner.Contains(personNameArray[0])) return;
var jObject = JObject.Parse(jString);
var jCollection = jObject["tbody"]["tr"].Children();
_jsonW.WritePropertyName("Current activity");
_jsonW.WriteStartArray();
foreach (var array in from item in jCollection // Second foreach loop (Almost 60 iteration)
let array = item.Value<JObject>().Value<JArray>("td")
where array != null && item.Children().Count() > 1
select array)
{
_jsonW.WriteStartObject();
// do some extraction
_jsonW.WriteEndObject();
}
_jsonW.WriteEndArray();
}
private async Task ScheduleArrayAsync(JToken token, string jString, DataHandler handler) // This method is called 100 times.
{
var arr = token.Value<JArray>("td");
var personNameArray = arr[0].Value<string>().Split(',');
var jObject = JObject.Parse(jString);
var trList = jObject["tbody"]["tr"];
var selectedArray = default(JArray);
var weekNumber = trList.SelectMany(tr => tr.SelectTokens("td[1].table.tbody.tr", false))
.SelectMany(lk => lk.SelectTokens("td", false))
.Where(j => (!j.HasValues) && (j.Value<string>().Contains("v")))
.Select(lo => lo.Value<string>())
.ToArray();
var psTypeOne = trList.SelectMany(tr => tr.SelectTokens("td[0].a.#text", false))
.Where(hashText => (hashText.Value<string>().Contains(personNameArray[0])) &&
(hashText.Value<string>().Contains(personNameArray[1])))
.Select(td => td.Parent.Parent.Parent.Parent.Parent)
.ToArray();
if (psTypeOne != null)
{
_jsonW.WritePropertyName("Schedule");
_jsonW.WriteStartArray();
_jsonW.WriteStartObject();
_jsonW.WritePropertyName("Week Number");
_jsonW.WriteValue(weekNumber[0].Remove(0, 2));
_jsonW.WritePropertyName("Week days");
_jsonW.WriteStartArray();
foreach (var day in selectedArray) // 7 itereation
{
if (day.SelectToken("table", false) == null) continue;
_jsonW.WriteStartObject();
_jsonW.WritePropertyName("Day name");
var dayname = Convert.ToDateTime(day.Value<string>("@id").Remove(0, 8));
_jsonW.WriteValue(dayname.DayOfWeek.ToString());
_jsonW.WritePropertyName("Date");
_jsonW.WriteValue(day.Value<string>("@id").Remove(0, 8));
var assignments = day.SelectToken("table.tbody.tr", false);
_jsonW.WritePropertyName("Assignments");
_jsonW.WriteStartArray();
//Foreach loop 2 start or Foreach
foreach (var assignment in assignments) // between 1 and 5 iterations
{
//Some extractions
if (info[0].Contains("slotInfo")) //Here we do some new webrequests and extractions
{
await _reqPList.GetSlotInfoPost(info[1]);
XmlConvertor.ConvertToXml(_reqPList.Response);
addedInfo = XmlConvertor.XmlString;
await handler.InfoHandler(addedInfo);
var jO = JObject.Parse(handler.InfoJson);
addedJToken = jO.SelectToken("td");
// Some extractions
}
}
else
{
// Some code
}
}
//Foreach loop 2 end
//Some code to Close the Array
}
//Foreach loop 1 end
//some code to Close the Array
}
}
现在考虑所有这些迭代和方法调用，我可以优化代码以便在不到2分钟的时间内完成处理吗？
修改： -
让我给你一些关于我在代码开头解析的页面的更多信息。首先，它的页面属于我们在工作中使用的在线计划站点。他们没有任何API可供使用。这就是为什么我需要解析Httpclient HtmlResponse并将其转换为xml然后json。
其中每个页面都有一个非常复杂的结构与错误的命名相结合。请看下面： -
<tr class="odd">
<td class="user" onmouseover="userInfo('469');" onmouseout="userInfo(0);" onmousemove="moveSlotInfo();"> User One</td> // User One is needed
<td id="day-469-2014-03-31" style="vertical-align: top;">
<table class="ss" cellspacing="1">
<tbody>
<tr>
<td class="as"> </td>
</tr>
</tbody>
</table>
</td>
<td id="day-469-2014-04-01" style="vertical-align: top;"> // The date is needed
<table class="ss" cellspacing="1">
<tbody>
<tr>
<td class="as" style="color: #ffffff; background-color: #4040ff;" onmouseover="this.className=(document.week_vs_doctor.activityId.value==-1?'sd':'sp');slotInfo('177738',false);" onmouseout="this.className='as';slotInfo(0,false);" onmousemove="moveSlotInfo();">KAVAul</td> // KAVAul is needed
</tr>
</tbody>
</table>
</td>
OBS !!!这只是一个演示代码（我知道它不起作用）。
即使我把它转换为Json，它仍然需要辅助，这就是为什么我决定根据我的需要重写这个json。看看这段代码片段，因为它显示了我需要它。
[
{
"Name": "User Name",
"Info": [
{
"Signature": "un"
},
{
"Group": "Group1"
},
{
"E-mail": "user.name@group1.com"
}
],
"Schedule": [
{
"Week Number": "14",
"Week days": [
{
"Day name": "Monday",
"Date": "2014-03-31",
"Assignments": [
{
"Assignment name": "AAA",
"Assignment time": "07:30 - 16:00",
"Assignment provider": "BBB, 2014-03-07 16:42"
}
OBS !!!我知道json数据需要关闭，这只是为了说明一点。
答案 0 :(得分：0)
我认为使用htmlagility pack简单地从httprequest响应中遍历html可能会更简单。
一个自定义类，它完全代表你是具有serializable属性的最终对象，当类被填充时调用javascript序列化器将所有序列化为一个json对象（你可以使用json converter在线转换你的json自定义类，因此您可以简单地将json反序列化为自定义对象而不会出现问题，反之亦然。
另外还有一个重要的事情：数据维度。如果您处理的数据很少，那么如果使用大数据会更快，响应时间和处理时间会更长。
您可以告诉我们哪个页面涉及哪个，哪个是最终的json对象???