最近在研究網頁HTML的解析,找了一些支持xpath語法的第三方框架,最后定位到Ono框架,但是官方的使用方法介紹太簡單了,導致用的過程中還是踏了不少坑,這里記錄一下,有一點介紹一點,直到目前手里的這個項目做完。
這里主要介紹HTML解析相關,XML不涉及。
1.Ono基礎用法
#import "Ono.h"
NSData *data = ...;
NSError *error;
ONOXMLDocument *document = [ONOXMLDocument HTMLDocumentWithData:data error:&error];
for (ONOXMLElement *element in document.rootElement.children) {
NSLog(@"%@: %@", element.tag, element.attributes);
}
// Support for Namespaces
NSString *author = [[document.rootElement firstChildWithTag:@"creator" inNamespace:@"dc"] stringValue];
// Automatic Conversion for Number & Date Values
NSDate *date = [[document.rootElement firstChildWithTag:@"created_at"] dateValue]; // ISO 8601 Timestamp
NSInteger numberOfWords = [[[document.rootElement firstChildWithTag:@"word_count"] numberValue] integerValue];
BOOL isPublished = [[[document.rootElement firstChildWithTag:@"is_published"] numberValue] boolValue];
// Convenient Accessors for Attributes
NSString *unit = [document.rootElement firstChildWithTag:@"Length"][@"unit"];
NSDictionary *authorAttributes = [[document.rootElement firstChildWithTag:@"author"] attributes];
// Support for XPath & CSS Queries
[document enumerateElementsWithXPath:@"http://Content" usingBlock:^(ONOXMLElement *element, NSUInteger idx, BOOL *stop) {
NSLog(@"%@", element);
}];
是的這就是官方所有的使用方法,再放個鏈接吧
2.Ono中使用Xpath函數
如果你要用的xpath的函數,譬如 concat(), contains()等,則要用以下的方法:
- (nullable ONOXPathFunctionResult *)functionResultByEvaluatingXPath:(NSString *)XPath;
3.Ono莫名其妙的編碼問題
遇到一個奇怪的問題,記錄一下。
解析一個站的HTML網頁,網站編碼要求gbk,在請求完之后,直接用返回的 responseObject
data類型,進行解析,并且一切順利,開始使用的代碼如下:
AFHTTPSessionManager *manager = [[AFHTTPSessionManager alloc] init];
NSStringEncoding encode = CFStringConvertEncodingToNSStringEncoding(kCFStringEncodingGB_18030_2000);
manager.requestSerializer.stringEncoding = encode;
[manager.requestSerializer setValue:@"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36" forHTTPHeaderField:@"User-Agent"];
[manager.requestSerializer setValue:@"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3" forHTTPHeaderField:@"Accept"];
// [manager.requestSerializer setValue:searchHomeUrlStr forHTTPHeaderField:@"Referer"];
manager.responseSerializer = [AFHTTPResponseSerializer serializer];
[manager GET:useDirUrl parameters:nil progress:nil success:^(NSURLSessionDataTask * _Nonnull task, id _Nullable responseObject) {
NSError *error;
//這里直接用NSData類型的數據當入參解析
ONOXMLDocument *doc = [ONOXMLDocument HTMLDocumentWithData:responseData error:&error];
[doc enumerateElementsWithXPath:model.sourceDetail.parser._1._list usingBlock:^(ONOXMLElement * _Nonnull element, NSUInteger idx, BOOL * _Nonnull stop) {
}];
}];
但是同樣是這個站的另外一個網頁,同樣是gbk編碼,用同樣的方法,就會報錯:
encoding error : input conversion failed due to input error, bytes 0xAC 0x4E 0x00 0x00
十分郁悶,最后試了各種辦法只能先用gbk解碼為string,然后用string當入參并且編碼格式為utf8,具體代碼如下:
//這里直接用先gbk解碼為字符串,然后編碼格式為utf8當入參解析
NSString *html = [[NSString alloc] initWithData:responseObject encoding:encode];
ONOXMLDocument *doc = [ONOXMLDocument HTMLDocumentWithString:html encoding:NSUTF8StringEncoding error:&error];
[doc enumerateElementsWithXPath:model.sourceDetail.parser._1._list usingBlock:^(ONOXMLElement * _Nonnull element, NSUInteger idx, BOOL * _Nonnull stop) {
}];
具體為什么還是沒弄明白。