python实现文本文件转二进制文件(二进制序列化)

有一个项目,需要读大量的数据,数据都是txt格式的,读的过程比较慢,为了加快读取的速度,需要将文本文件转为二进制文件。

python代码如下;

#coding:utf-8
#! /bin/python
import os
import sys
import os.path
import pickle
import  struct
dirroot = "F:\feature_train\"
newdirroot="F:\new\"
for dirnames in os.listdir(dirroot):
    print ("进入文件夹:" )
    #print dirnames
    for dirname in os.listdir(dirroot+dirnames):
        #print dirname
        if dirname.split(.)[1]!=txt:
            continue
        file=open(dirroot+dirnames+\+dirname,r)
        filename=dirname.split(.)[0]+.dat
        if not os.path.exists(newdirroot+dirnames+\):
            os.makedirs(newdirroot+dirnames+\)
        fileNew=open(newdirroot+dirnames+\+filename,wb)
        lines=file.readlines()
        

        for line in lines:
            curLine=line.split( )
            for i in range(len(curLine)):
                if len(curLine[i])==0:
                    continue
                parsedata = struct.pack("f",float(curLine[i]))
                fileNew.write(parsedata)
            fileNew.write(
)

        fileNew.close()
        file.close()

使用方法:修改dirroot为要读取的文件夹的目录路径,程序会遍历所有的文件夹,读取其中的txt文件。根目录下都是文件夹。

newdirroot为新的目录的路径,程序运行完以后会生成跟原来一样的目录和dat的二进制文件

txt文件里为float的格式的数据,可以根据情况修改。

C++ 读取二进制文件:

#include <iostream>
#include <fstream>
#include<stdio.h>
using namespace std;

int main(int argc, char** argv)
{
printf("www
");
 //std::cout<<"www"<endl;
  
  float rfea[1024]={0};

	FILE *fp;
	
	fp = fopen("001.dat", "rb");
	if (fp != NULL){
		fread(rfea, 1024*sizeof(float), 1, fp);
		fclose(fp);
	
	}
	int i=0;
  for (i=0;i<30 ;i++ )
  {
	printf("%f
",rfea[i]);
  }
  return 0;
}


经验分享 程序员 微信小程序 职场和发展