文章信息
- 姜鑫, 尹文庆, 浦浩, 胡飞, 陈彩蓉, 李旭辉
- JIANG Xin, YIN Wenqing, PU Hao, HU Fei, CHEN Cairong, LI Xuhui
- 基于结构光三维视觉的螺旋输送器谷粒体积的测量方法
- Measurement method of grain volume on screw conveyor based on structured light of 3D vision
- 南京农业大学学报, 2019, 42(2): 373-381
- Journal of Nanjing Agricultural University, 2019, 42(2): 373-381.
- http://dx.doi.org/10.7685/jnau.201807028
-
文章历史
- 收稿日期: 2018-07-12
螺旋输送器是一种典型的连续输送机械, 广泛应用于冶金化工, 粮食及食品加工等行业颗粒物料的中、短途输送[1]。目前对螺旋输送器输送物料的计量方法有3种:1)运用传统的螺旋输送器输送物料量计算公式计算[2], 一般适用于筒形螺旋输送器; 2)根据进料口、出料口、螺距等已知参数, 在保证进料稳定的条件下, 通过试验确定时间与出料量的比例关系来计算物料流量[3], 该方法在计量不同密度的物料时, 需要重新试验确定时间与出料量的比例关系; 3)将螺旋输送器的料槽改装为称重托盘, 对通过的物料进行实时称重[4], 该方法对螺旋输送器改动较大, 影响称重的干扰因素较多, 需要实时寻找动态零点。
结构光三维视觉是近年来发展迅速的光学测量方法, 适合对不规则物体表面进行测量[5]。本研究根据螺旋输送器物料体积测量的实时、连续、高精度等要求, 应用激光三角法, 在螺旋输送器上建立结构光三维视觉系统, 开发螺旋输送器谷粒流体积测量系统, 实现螺旋输送器谷粒体积流量的在线测量。
1 测量系统的结构及流程设计 1.1 结构设计测量系统结构如图 1所示。系统选用规格为国标LS140螺旋输送器, 搅龙螺距140 mm, 外径140 mm, 内轴直径38 mm, 螺旋叶片厚3 mm。动力采用三相异步电机YS7144, 减速器传动比为1/20, 电机控制器选用SENLAN-BT40D, 搅龙转速0~70 r · min-1可调。料仓与料槽连接尺寸150 mm×210 mm。被测对象稻谷品种为‘早籼307’。系统拍摄视场为150 mm×120 mm, 为保证测量系统的精度, 视场内对物体的分辨细节应小于0.5 mm, 相机帧率应大于100 fps。
根据螺旋输送器尺寸及实际安装需求, 选用一字线激光器, 型号为FU650AB100-GD16, 其激光波长为650 nm, 激光器安装于料槽正上方并垂直于搅龙内轴, 照射位置距料仓边缘200 mm处。工业相机物距大于284 mm, 选用大恒MER-131-210U3M黑白相机(分辨率为1 280×1 024, 帧率为210 fps, 图像格式为bmp), 相机与计算机通过USB 3.0接口连接。根据视场范围, 相机镜头选用M0814-MP2, 焦距为8 mm。出料口放置电子秤, 对系统测量结果进行验证。
1.2 流程设计根据中华人民共和国机械行业标准(JB/T 7679—2008)[6], 螺旋输送器输送稻谷等颗粒状物体时填充率应在45%以上。系统进行测量时, 电机控制器控制搅龙稳定运行, 转速由电机控制器输出。料仓开启阀门后稳定放料, 谷粒在搅龙的推动下通过线激光扫描区, 工业相机实时采集图像, 上传计算机进行处理, 工作流程如图 2所示。
2 螺旋输送器谷粒体积测量算法 2.1 系统参数标定采用试验参数标定法, 对系统参数进行标定。标定光路图如图 3所示。
线激光照射在物体表面, 反射光线通过透镜中心O在成像平面上成像, B为成像物距, b为成像像距, θ为入射光线与最低点的反射光线夹角, α为最低点反射光线与成像平面夹角。当物长为h1, 对应成像平面像素偏移值为d1; 当物长为h2, 对应成像平面像素偏移值为d2, 因为相机安装于螺旋输送器固定位置, 即B、b、θ、α为固定值, 物长与像素偏移值具有一一对应的关系[7]。为了得到物长与像素偏移值的关系, 在实验台上安装一部辅助激光发射器, 它与测量激光线形成十字激光, 同时在测量激光平面上安装激光测距仪, 如图 4所示。
在测量激光线安装架上选取4个辅助激光器安装位置, 每个安装位置向料槽填充谷粒20次, 如图 4-a所示, 每次填充谷粒后读取激光测距仪的数据及CCD相机拍摄的图像对应点的像素偏移值, 每一测点重复测量10次取均值。利用曲线拟合法对标定数据进行最小二乘法[8]拟合, 得标定曲线, 如图 5所示。平均相对误差为0.93%。
2.2 结构光图像预处理为了获取螺旋输送器料槽内谷粒流表面的线激光轮廓, 对相机视场感兴趣区域进行提取, 确定感兴趣区域为1 280×700。空载状态下激光照射位置料槽轮廓如图 6-a所示, 用极值法对图像轮廓坐标进行提取, 由于相机拍摄视场相对于料槽位置不变, 根据料槽结构光轮廓特点, 分3段进行最小二乘法曲线拟合[9], 得到料槽轮廓的表达式(1), 料槽轮廓拟合曲线如图 6-b所示。
(1) |
图像采集过程会受环境光干扰, 采用5×5模板的中值滤波算子进行滤波处理[10]。对结构光图像采用极值法进行边界检测与提取[11], 如图 7-a所示。通过阈值判定法提取谷粒结构光轮廓zc, 将提取的结构光轮廓减空载时料槽的轮廓[12], 得到判定值Δz, 如式(2)所示。
(2) |
通过试验验证选取阈值Tc=5, 当Δz≥Tc时, 判定为谷粒流轮廓上的点; 当zc < Tc时, 判定为料槽轮廓点, zc置0处理。提取谷粒流轮廓, 结果如图 7-b所示。
2.3 螺旋叶片处理方法及对应方法中谷料流与料槽交点提取方法螺旋输送器推送谷粒时, 采集的谷粒流结构光图像中, 叶片会出现2种情况:1)叶片在谷粒流内部, 如图 8-a所示; 2)叶片裸露, 如图 8-b所示。采用图像处理法与几何解析法对叶片情况进行判定, 并对叶片截面积进行处理, 对谷粒流与料槽交点进行提取(图 8)。
2.3.1 图像处理法对图 8-a、8-b螺旋叶片2种情况分别进行膨胀[13]处理, 结果如图 8-c、8-d所示。图 8-c中谷粒流轮廓形成1个连通域, 图 8-d中则形成多个连通域。对图像连通域个数进行统计, 若连通域个数为1, 则判定叶片未裸露; 若连通域个数大于1, 筛选像素小于Tc的连通区域(Tc=360由试验得出), 处理结果如图 8-e所示。由于叶片在结构光平面上出现区域固定, 计算符合筛选条件的连通域质心坐标, 如果有质心在叶片运动区域中, 判定叶片裸露, 且对应的连通域为叶片顶点轮廓, 设其质心坐标为(y2, z2); 若所有质心均未在运动区域内, 判定叶片未裸露。
搅龙在结构光平面上投影如图 8-g所示。叶片裸露时, 部分叶片会埋没于谷粒流内部, 谷粒流轮廓曲线与叶片截面投影如图 8-h所示。根据乌兰图雅[14]的研究, 结构光平面上螺距为140 mm的螺旋叶片截面积为S叶=S叶1+S叶2=235.57 mm2。当谷粒经叶片推动时, 叶片截面所在区域的叶片顶点轮廓、物料流与内轴近似为同心圆, 通过式(3)计算谷粒流内部叶片截面积S叶2。
(3) |
式中:r轴为搅龙内轴半径; r为搅龙半径; θ为叶片截面扇形的圆心角; r1为叶片顶点质心和轴心连线f1(y)与谷粒流的交点(y1, z1)到搅龙轴心的距离。具体计算:1)由于叶片顶点质心(y2, z2)、轴心(y0, z0)已知, 可得通过两点的直线f1(y); 2)对滤除叶片光斑的谷粒流轮廓进行三次方函数曲线拟合[15], 设其为方程f2(y); 3)通过式(4)对自变量y进行插值, 找出给定区间内所有满足式(3)的z值, 得交点坐标(y1, z1), 如图 8-h所示。
为计算谷粒流截面积, 需要对谷粒流与料槽轮廓的交点进行提取。通过拟合的谷粒流轮廓曲线f2(y)和料槽轮廓f3(y), 利用式(4)对自变量y进行插值, 计算得交点坐标如图 8-f所示。
(4) |
将图 8-a、8-b 2种情况进行结构光预处理, 如图 9-a、9-b所示, 对提取的结构光轮廓分别按式(5)进行二次曲线拟合, 如图 9-c、9-d。由多次试验可知, 当拟合曲线方程系数a∈(0, -0.000 4)时叶片未裸露; 当a∈(-∞, -0.000 4]∪[0, +∞)时叶片裸露。
(5) |
螺距为140 mm的螺旋叶片截面积(S叶)为235.57 mm2, 螺旋输送器搅龙投影面积为13 407.37 mm2, 谷粒流内部叶片截面积(S叶2)相对较小, 为快速测量, 几何解析法不对谷粒流内部叶片截面积进行计算。
几何解析法边界点提取:通过对谷粒流轮廓左右两侧首个非零点进行寻找, 确定边界点坐标, 如图 9-a、9-b所示。
2.4 谷粒流截面积计算通过标定结果, 将谷粒流轮廓边界坐标转换为对应的谷粒流实际物理高度。设图像处理法与几何解析法提取的谷粒流左右边界点坐标为im(ym, zm)和in(yn, zn)。
2.4.1 叶片未裸露图像处理法与几何解析法截面积模型相同, 如图 10-a所示, 设k为t时刻拍摄获取的谷粒流截面帧数, 因相机在谷粒流截面方向上分辨率大于1 000, 可将相邻两点间连线近似看作线性变化[16], 第k帧时, 第i个梯形微元面积为:
(6) |
式中:Δy为y方向像素格之间的距离。在t时刻谷粒流瞬时截面积为:
(7) |
设断裂的谷粒流轮廓曲线为fk(y), 料槽轮廓曲线为fl(y)。
图像处理法在t时刻第k帧, 谷粒流瞬时截面积为:
(8) |
几何解析法在t时刻第k帧, 谷粒流瞬时截面积为:
(9) |
设螺旋输送器以转速n(t)推运谷粒, 则谷粒轴向运动速度为v, 如图 10-b所示, S(1), S(2), …, S(n), 为第1, 2, …, n帧线激光谷粒流轮廓截面积。设t时刻, 谷粒流截面积为S(t), 则螺旋输送器瞬时体积V(t)为:
(10) |
式中:f为相机帧率; v(t)为谷粒运动轴向速度, 由运动控制器求出, 其计算公式为:
(11) |
式中:P为螺旋输送器螺距。则在t时间内, 谷粒物料体积为:
(12) |
式中:m为单位时间内谷粒流截面数。
3 结果与分析为了检验测量方法的准确性与有效性, 试验对3个不同体积11.6、17.4、23.2 L的谷料, 在6种转速13.2、19.7、26.3、32.8、39.4、46 r · min-1条件下, 重复测量10次[17]。结果如表 1所示:图像处理法最小误差为1.73%, 几何解析法最小误差为1.97%, 均出现在转速32.8 r · min-1, 体积11.6 L; 图像处理法最大误差为5.20%, 几何解析法最大误差为5.90%, 均出现在转速13.2 r · min-1, 体积23.2 L; 同一体积下, 测量误差随转速增加, 呈现由大到小再变大的趋势, 转速小于26.3 r · min-1时, 转速越小误差越大, 转速大于32.8 r · min-1时, 转速越大误差越大。对比2种处理方法, 相同条件下, 图像处理法误差更小。系统在转速为26.3~46.0 r · min-1, 2种测试方法误差均小于5%, 重复变异系数均小于0.024, 均方根误差均小于0.969, 说明本系统测量精度较高且具有较强的可靠性。
转速/(r·min-1)Speed | 体积/LVolume | 图像处理法Image processing method | 几何解析法Geometric analytic method | |||||||
平均值/LMean | 误差/%Error | 变异系数CV | 均方根误差RMSE | 平均值/LMean | 误差/%Error | 变异系数CV | 均方根误差RMSE | |||
13.2 | 11.6 | 11.96 | 4.01 | 0.027 | 0.415 | 11.99 | 4.22 | 0.028 | 0.440 | |
19.7 | 11.6 | 11.81 | 3.04 | 0.024 | 0.305 | 11.95 | 3.08 | 0.014 | 0.335 | |
26.3 | 11.6 | 22.63 | 2.12 | 0.018 | 0.219 | 11.85 | 2.63 | 0.018 | 0.272 | |
32.8 | 11.6 | 11.74 | 1.73 | 0.013 | 0.184 | 11.83 | 1.97 | 0.007 | 0.197 | |
39.4 | 11.6 | 11.68 | 2.63 | 0.024 | 0.289 | 11.92 | 2.93 | 0.013 | 0.319 | |
46.0 | 11.6 | 11.81 | 3.33 | 0.028 | 0.356 | 11.98 | 3.68 | 0.019 | 0.386 | |
13.2 | 17.4 | 17.95 | 4.26 | 0.030 | 0.685 | 18.16 | 4.81 | 0.018 | 0.903 | |
19.7 | 17.4 | 17.94 | 3.61 | 0.023 | 0.608 | 17.97 | 3.54 | 0.014 | 0.663 | |
26.3 | 17.4 | 17.53 | 2.51 | 0.025 | 0.444 | 17.88 | 2.79 | 0.011 | 0.529 | |
32.8 | 17.4 | 17.64 | 2.01 | 0.016 | 0.339 | 17.80 | 2.32 | 0.010 | 0.454 | |
39.4 | 17.4 | 17.62 | 2.72 | 0.023 | 0.413 | 17.89 | 3.37 | 0.019 | 0.629 | |
46.0 | 17.4 | 17.94 | 3.51 | 0.018 | 0.576 | 18.09 | 4.01 | 0.006 | 0.756 | |
13.2 | 23.2 | 24.41 | 5.20 | 0.006 | 1.168 | 24.57 | 5.90 | 0.008 | 1.122 | |
19.7 | 23.2 | 24.25 | 4.51 | 0.005 | 1.014 | 24.36 | 5.01 | 0.006 | 1.074 | |
26.3 | 23.2 | 23.97 | 3.34 | 0.004 | 0.722 | 24.12 | 3.97 | 0.003 | 0.854 | |
32.8 | 23.2 | 23.68 | 2.24 | 0.011 | 0.475 | 23.85 | 2.81 | 0.010 | 0.614 | |
39.4 | 23.2 | 23.88 | 3.10 | 0.015 | 0.635 | 24.13 | 4.01 | 0.013 | 0.960 | |
46.0 | 23.2 | 24.13 | 3.99 | 0.006 | 0.879 | 24.23 | 4.42 | 0.006 | 0.969 |
根据分析, 测量结果误差主要来源于以下2个方面:
1) 拍摄误差:根据多次试验结果, 工业相机拍摄过程中会出现丢帧现象, 由此产生误差。
2) 模型误差:在测量体积相同条件下, 转速越大采集的谷粒流轮廓图像越少, 叶片裸露时曲线拟合次数越少。转速在13.2~26.3 r · min-1时, 速度慢谷粒流轮廓拟合次数变多, 导致截面积计算产生误差累积; 转速在26.3~39.4 r · min-1时, 系统测量稳定; 转速在39.4~46.0 r · min-1时, 系统步长增大, 体积计算模型产生误差累积。
4 结论1) 建立了一种基于结构光三维视觉的螺旋输送器谷粒体积测量系统。该系统采用黑白工业相机与波长为650 nm线激光发射器, 以帧率210 fps实时采集螺旋输送器推运谷粒结构光图像, 工业相机与上位机采用USB 3.0接口连接。
2) 基于激光三角法建立了应用于螺旋输送器的谷粒体积计算方法:在实现谷粒流结构光轮廓提取的基础上, 提出了图像处理法与几何解析法2种对搅龙叶片位置的判定方法, 采用曲线拟合法对断裂谷粒轮廓进行修补, 建立了谷粒流截面积计算模型与体积计算模型。
3) 试验结果表明:螺旋输送器填充率在45%以上, 转速在26.3~46 r · min-1, 输送3种不同体积谷物时, 谷粒流体积测量平均误差小于5%, 重复变异系数小于0.024, 均方根误差小于0.969;图像处理法最小误差为1.73%, 几何解析法最小误差为1.97%, 均出现在测量体积11.6 L, 转速32.8 r · min-1条件下。
4) 该测量方法成本低, 安装方便, 可应用于各种不同尺寸的U型螺旋输送器, 有助于实现谷物体积的在线测量, 增加丢帧检查功能, 可进一步减小该系统的测量误差。
[1] |
宋欢.定量螺旋输送机的优化设计及模拟[D].青岛: 青岛科技大学, 2016: 1-8. Song H.Optimization design and simulation of quantitative screw conveyor[D].Qingdao: Qingdao University of Science & Technology, 2016: 1-8(in Chinese with English abstract). |
[2] |
李占荣, 王金良, 李存华. 定量添加碎烟片的螺旋输送装置设计及应用[J]. 机械工程师, 2015(10): 216-218. Li Z R, Wang J L, Li C H. Design and application of screw conveyor of quantitative adding tobacco scrap[J]. Mechanical Engineer, 2015(10): 216-218 (in Chinese with English abstract). DOI:10.3969/j.issn.1002-2333.2015.10.095 |
[3] |
翟军强. 螺旋输送器在原盐计量包装秤中的应用[J]. 工业计量, 2007, 17(S1): 91-94. Zhai J Q. Application of screw conveyor in raw salt metering packaging scale[J]. Industrial Measurement, 2007, 17(S1): 91-94 (in Chinese). |
[4] |
张小超, 胡小安, 张爱国, 等. 基于称重法的联合收获机测产方法[J]. 农业工程学报, 2010, 26(3): 125-129. Zhang X C, Hu X A, Zhang A G, et al. Method of measuring grain-flow of combine harvester based on weighing[J]. Transactions of the Chinese Society of Agricultural Engineering, 2010, 26(3): 125-129 (in Chinese with English abstract). |
[5] |
罗胜彬, 宋春华, 韦兴平, 等. 非接触测量技术发展研究综述[J]. 机床与液压, 2013, 41(23): 150-153. Luo S B, Song C H, Wei X P, et al. Review for the development and research of non-contact measurement technology[J]. Machine Tool & Hydraulics, 2013, 41(23): 150-153 (in Chinese with English abstract). DOI:10.3969/j.issn.1001-3881.2013.23.042 |
[6] |
国家发展和改革委员会.螺旋输送机JB/T 7679-2008[S].北京: 机械工业出版社, 2008. National Development and Reform Commission.Screw conveyor JB/T 7679-2008[S].Beijing: Machinery Industry Press, 2008(in Chinese). |
[7] |
李汉超.基于激光三角法的物料体积计量方法研究[D].合肥: 合肥工业大学, 2015: 31-36. Li H C.Research of methods for material volume measurement based on laser triangulation[D].Hefei: Hefei University of Technology, 2015: 31-36(in Chinese with English abstract). |
[8] |
Huang X, Tian Q, Mao J, et al. The theory and application of an adaptive moving least squares for non-uniform samples[J]. WSEAS Transactions on Computers, 2010, 9(7): 686-695. |
[9] |
赵延超, 武美萍, 任仲贺, 等. 线结构光视觉技术与最小二乘法中孔直线度检测[J]. 机械设计与研究, 2018, 34(1): 141-144. Zhao Y C, Wu M P, Ren Z H, et al. Research on line structured light vision technology and the least squares method for detection of straightness of injector body[J]. Machine Design & Research, 2018, 34(1): 141-144 (in Chinese with English abstract). |
[10] |
Lukac R. Adaptive vector median filtering[J]. Pattern Recognition Letters, 2003, 24(12): 1889-1899. DOI:10.1016/S0167-8655(03)00016-3 |
[11] |
南方, 李大华, 高强, 等. 改进Steger算法的自适应光条纹中心提取[J]. 激光杂志, 2018, 39(1): 85-88. Nan F, Li D H, Gao Q, et al. Implementation of adaptive light stripe center extraction of improved Steger algorithm[J]. Laser Journal, 2018, 39(1): 85-88 (in Chinese with English abstract). |
[12] |
Alard C, Lupton R H. A method for optimal image subtraction[J]. The Astrophysical Journal, 1998, 503: 325-331. DOI:10.1086/apj.1998.503.issue-1 |
[13] |
Hedberg H, Kristensen F, Owall V. Low-complexity binary morphology architectures with flat rectangular structuring elements[J]. IEEE Transactions on Circuits and Systems, 2008, 55(8): 2216-2225. DOI:10.1109/TCSI.2008.918140 |
[14] |
乌兰图雅.揉碎玉米秸秆螺旋输送机理研究[D].呼和浩特: 内蒙古农业大学, 2016: 22-25. Wulantuya.Study on the mechanism of screw conveying theory for rubbing and breaking corn straw[D].Hohhot: Inner Mongolia Agricultural University, 2016: 22-25(in Chinese with English abstract). |
[15] |
Martchenko A, Deng G. Fast algorithm for least-squares based image prediction[J]. IET Image Processing, 2016, 10(8): 582-589. DOI:10.1049/iet-ipr.2016.0017 |
[16] |
宋冠霆, 宋伟刚. 带式输送机物料截面积计算方法的评述与确定[J]. 煤炭学报, 2017, 42(S2): 556-561. Song G T, Song W G. Determination and review on calculation method of cross-sectional area of carrying material at belt conveyor[J]. Journal of China Coal Society, 2017, 42(S2): 556-561 (in Chinese). |
[17] |
曾飞, 吴青, 初秀民, 等. 带式输送机物料瞬时流量激光测量方法[J]. 湖南大学学报(自然科学版), 2015, 42(2): 40-47. Zeng F, Wu Q, Chu X M, et al. Measurement of material instantaneous flow on belt conveyors based on laser scanning[J]. Journal of Hunan University(Natural Science Edition), 2015, 42(2): 40-47 (in Chinese with English abstract). |