Insightface记录——验证集制作

一、pairs 文件制作
名单包含两种内容：
标签为1， 是同一个人的两两组合图相对，
不同人的两两组合图像对，标签是0，代表是不同人




看网上很多人写的在生成不同人的图像对时忽略了，同一个人员ID目录下包含多张图的情况，我这里进行了修改，代码如下：

1. import argparse
   
2. import itertools
   
3. import os
   
4. import random
   
5. import time
   
6. 
   
7. 
   
8. if __name__ == "__main__":
   
9.     parser = argparse.ArgumentParser(description='Generate image pairs.')
   
10.     parser.add_argument('--dataset', default='G:/myFaceData/myvaldata/imgs/',
    
11.                         type=str, help='Dataset path.')
    
12.     parser.add_argument('--output', default='G:/myFaceData/myvaldata/pairs1.txt', type=str, help='Output path.')
    
13.     parser.add_argument('--same', default=5000, type=int,
    
14.                         help="Number of same pairs for each person.")
    
15.     args = parser.parse_args()
    
16. 
    
17.     assert args.dataset and args.output, \
    
18.         'Dataset and output should be defined.'
    
19.     file = open(args.output, 'w+')
    
20.     #file.writelines('\n')
    
21.     allList = []
    
22.     # ---- Generate same pairs for each person
    
23.     same = 0
    
24.     personList = os.listdir(args.dataset)
    
25.     samePairs = []
    
26.     for person in personList:
    
27.         if not os.path.isdir(os.path.join(args.dataset, person)):
    
28.             continue
    
29.         IDPath = os.path.join(args.dataset, person)
    
30.         subList = []
    
31.         images = os.listdir(os.path.join(args.dataset, person))
    
32.         for image in images:
    
33.             if not image.lower().endswith(('jpg', 'jpeg', 'png')):
    
34.                 continue
    
35.             imagePath = os.path.join(args.dataset, person, image)
    
36.             
    
37.             allList.append(imagePath)#所有的路径都存下来
    
38.             subList.append(imagePath)
    
39.             
    
40. 
    
41. 
    
42.         for pair in itertools.combinations(subList, 2):
    
43.             samePairs.append(pair)
    
44. 
    
45.     choices = random.sample(samePairs, args.same)
    
46.     for pair in choices:
    
47.         file.writelines(f'{pair[0]} {pair[1]} {1}\n')
    
48.         same += 1
    
49.         # ---- Generate different pairs
    
50.     print(f"Will generate {same} different pairs.")
    
51.     count = 0
    
52.     sets = set()
    
53.     while True:
    
54.         if count >= same:
    
55.             break
    
56.         random.seed(time.time() * 100000 % 10000)
    
57.         random.shuffle(allList)
    
58.         indexa=random.sample(range(0, len(allList)),1)[0]
    
59.         indexb=random.sample(range(0, len(allList)),1)[0]
    
60.         IDPath_1 = os.path.split(allList[indexa])
    
61.         IDPath_2 = os.path.split(allList[indexb])
    
62.         if allList[indexa] != allList[indexb] and IDPath_1[0]!= IDPath_2[0] and not (allList[indexa], allList[indexb]) in sets:
    
63.             sets.add((allList[indexa], allList[indexb]))
    
64.             sets.add((allList[indexb], allList[indexa]))
    
65.             file.writelines(f'{allList[indexa]} {allList[indexb]} {0}\n')
    
66.             count += 1

复制代码

二、bin 文件制作

同样网上找到跑不通，自己修改了一些内容。

1. #coding:utf-8
   
2. 
   
3. import mxnet as mx
   
4. from mxnet import ndarray as nd
   
5. import argparse
   
6. import pickle
   
7. import sys
   
8. import os
   
9. import numpy as np
   
10. import pdb
    
11. import matplotlib.pyplot as plt
    
12. 
    
13. def read_pairs(pairs_filename):
    
14.     pairs = []
    
15.     with open(pairs_filename, 'r') as f:
    
16.         for line in f.readlines()[0:]:
    
17.             pair = line.strip().split(',')
    
18.             pairs.append(pair)
    
19.     return np.array(pairs)
    
20. 
    
21. 
    
22. def get_paths(pairs, same_pairs):
    
23.     nrof_skipped_pairs = 0
    
24.     path_list = []
    
25.     issame_list = []
    
26.     cnt = 1
    
27.     for pair in pairs:
    
28.         path0 = pair[0].split(' ')[0]
    
29.         path1 = pair[0].split(' ')[1]
    
30. 
    
31.         if cnt < same_pairs:
    
32.             issame = True
    
33.         else:
    
34.             issame = False
    
35.         if os.path.exists(path0) and os.path.exists(path1):  # Only add the pair if both paths exist
    
36.             path_list += (path0, path1)
    
37.             issame_list.append(issame)
    
38.         else:
    
39.             print('not exists', path0, path1)
    
40.             nrof_skipped_pairs += 1
    
41.         cnt += 1
    
42.     if nrof_skipped_pairs > 0:
    
43.         print('Skipped %d image pairs' % nrof_skipped_pairs)
    
44. 
    
45.     return path_list, issame_list
    
46. 
    
47. 
    
48. if __name__ == '__main__':
    
49.     parser = argparse.ArgumentParser(description='Package  images')
    
50.     # general
    
51.     parser.add_argument('--data-dir', default='G:/myFaceData/myvaldata/imgs', help='')
    
52.     parser.add_argument('--image-size', type=str, default='112,112', help='')
    
53.     parser.add_argument('--output', default='G:/myFaceData/myvaldata/myval.bin', help='path to save.')
    
54.     parser.add_argument('--txtfile', default='G:/myFaceData/myvaldata/pairs.txt', help='txtfile path.')
    
55.     args = parser.parse_args()
    
56.     image_size = [int(x) for x in args.image_size.split(',')]
    
57.     img_pairs = read_pairs(args.txtfile)
    
58.     img_paths, issame_list = get_paths(img_pairs, 5000)   # 这里的15925是相同图像对的个数，需要按照实际产生的相同图像对数量替换
    
59.     img_bins = []
    
60.     i = 0
    
61.     for path in img_paths:
    
62.         with open(path, 'rb') as fin:
    
63.             _bin = fin.read()
    
64.             img_bins.append(_bin)
    
65.             i += 1
    
66.     with open(args.output, 'wb') as f:
    
67.          pickle.dump((img_bins, issame_list), f, protocol=pickle.HIGHEST_PROTOCOL)
    

复制代码