智能技术、大数据分析与机器学习方法在贫困脆弱性及返贫风险研究中的应用进展论文
2025-12-19 16:51:40 来源: 作者:xuling
摘要:贫困脆弱性是学界及政策制定者关注的重要议题,对于中国消除绝对贫困后的返贫风险控制策略具有核心意义。文章综述了智能技术、大数据分析与机器学习方法在贫困脆弱性及返贫风险研究中的应用进展。
摘要:贫困脆弱性是学界及政策制定者关注的重要议题,对于中国消除绝对贫困后的返贫风险控制策略具有核心意义。文章综述了智能技术、大数据分析与机器学习方法在贫困脆弱性及返贫风险研究中的应用进展。首先介绍了贫困脆弱性的概念和测度方法;其次概述了大数据分析与机器学习等智能化技术在贫困脆弱性估计与预测方面的应用实例,以期为贫困脆弱性检测的智能化现代化提供参考;文章还进一步探讨了智能化发展对家庭贫困脆弱性产生的影响。最后总结了智能化技术应用的优点及挑战,并提出了未来的改进方向。
关键词:贫困脆弱性;智能技术;大数据分析;机器学习
引言
贫困脆弱性和返贫风险是全球减贫和可持续发展的重大挑战,也是制约我国实现共同富裕目标的关键障碍。随着2020年我国“绝对贫困”问题的历史性解决,因贫困脆弱性造成的隐性返贫问题成为我国反贫事业的最大阻碍。因此我们不仅要关注家庭福利水平低于某一临界阈值的静态贫困状况,还需要从动态视角来识别和评估家庭面临或预期面临的不利冲击及其应对能力,即家庭的贫困脆弱性[1]。当家庭面临的潜在风险越强、暴露度越高而应对能力有限时,其脆弱性越强,相应地,脱贫家庭的返贫率越高。
近年来,贫困脆弱性成为学界及政策制定者关注的重要议题。这一概念表明,在不确定环境中,贫困以及脱贫家庭仍然存在着加深贫困程度或重新陷入贫困的风险。这种风险既取决于外部环境变化带来的不确定性和波动性,也取决于内部个体或家庭自身的应对能力和韧性。因此,为了有效防减新的致贫和规模性返贫,政策制定者需要在了解家庭当前收入水平和福利状况基础上,进一步评估家庭的贫困脆弱性情况,从而有针对性地对具有较高脆弱性和返贫风险的群体进行事前政策干预与支持。贫困脆弱性是一个动态复杂的概念,其测量涉及对相关函数的前瞻性预测,从而对特征数据的获取与处理提出了更高的要求。随着信息技术的发展,智能技术、大数据分析与机器学习方法为实现贫困人口和地区的精准识别、动态监测和风险预警提供了新的思路和工具,在降低主观偏差、节省数据成本、提升时空精度等方面具有明显优势。为此,本文系统梳理了这些方法近年来在开展的相关研究中所取得的进展,以期为贫困脆弱性研究的现代化、智能化赋能,为政策制定提供参考与借鉴。
一、贫困脆弱性的内涵与度量
世界银行在《世界发展报告》中提出了“贫困脆弱性”的概念,将贫困从“事后的福利状态”扩展为动态的定义,关注家庭未来贫困或陷入贫困的风险。然而,对于家庭或个人的“贫困脆弱性”,不同的研究者有不同的定义和度量方法。以往研究对贫困脆弱性的定义大致可以分为三种[2]。一是由风险或冲击导致的收入或消费的波动,即风险暴露贫困的脆弱性(Vulnerability as Uninsured Exposure to Risk,VER);二是由风险或冲击对家庭福利所造成的影响,即低效用水平脆弱性(Vulnerability as Low Expected Utility,VEU);三是由风险或冲击导致家庭未来跌落到贫困线以下的概率,即预期贫困的脆弱性(Vulnerability as Expected Poverty,VEP)。

(一)风险暴露贫困的脆弱性(VER)
Dercon等[3]利用埃塞俄比亚农村家庭三期的半年度数据进行实证分析,发现劳动者在面对不同的劳动力需求和价格冲击时,其消费倾向和收益也有所差异,因此提出了一种基于家庭消费水平对收入变动敏感程度的贫困脆弱性测量方法,即风险暴露贫困的脆弱性(VER)。Amin等[4]也指出,如果家庭消费与冲击同步变动,说明该家庭缺乏平滑消费的能力和应对冲击的手段,因而是脆弱的。VER法认为,消费水平是衡量家庭福利状况的重要指标,当家庭面临风险冲击时,如果没有有效的风险管理措施,收入会受到损失,从而导致消费水平下降。因此,消费水平的变动可以反映出家户暴露在不确定性之下的风险程度。这种测量方法用消费变动来反映负向冲击下的福利变动,风险对收入造成的冲击越大,家庭应对风险的能力越弱,消费水平下降得也越剧烈。具体而言,该方法以体现家庭遭受共同或特殊冲击的相关特征为自变量,对家庭消费及其变动进行回归,用回归系数来反映贫困脆弱性的大小。然而,Hoddinott等[5]认为,这一方法忽略了正向冲击与负向冲击的相反作用,因此他们提出将两种冲击分开计量,这种计量方法使VER方法得到了进一步完善。尽管如此,VER方法仍存一些不足之处,例如它并没有对脆弱性进行直接度量,而是通过家庭消费对收入冲击的敏感度来间接反映家庭的脆弱性,但这两者之间并非具有高度的一致性。此外,该方法也未能分离出风险对家庭的影响以及家庭抵抗风险能力的大小[6]。
(二)低效用水平脆弱性(VEU)
Ligon等[7]指出,以往对家庭福利的测量多集中在收入和消费两个维度上,相应的反贫困政策也多针对这两类指标,这忽略了家庭所面临的风险因素,因而并不能很好的反映家庭贫困脆弱性。因此,他们提出了一种基于效用函数和风险偏好来评估家庭脆弱性的方法,即VEU法。VEU法将贫困脆弱性定义为未来消费的期望效用低于贫困线效用的程度。该方法选取了一种包含风险偏好因素的效用函数测度福利水平,并在分析框架中考虑了时间趋势进行动态分析。这一方法假设效用函数的风险厌恶系数是不变的,而且随着消费水平的提高而增加,但边际效用递减。风险偏好程度则用Arrow-Pratt法来衡量。VEU方法将贫困脆弱性拆分为贫困和风险的组合,是一种充分考虑了风险因素和人们偏好的测量方法,对于理解和减少贫困脆弱性具有重要意义。该方法对数据的要求较高,需要使用高频率和长期跨度的数据来捕捉风险冲击和慢性贫困的特征,例如家庭消费的长期时间序列数据或面板数据等。
(三)预期贫困的脆弱性(VEP)
Pritchett等[8]在其研究中将贫困脆弱性定义为在未来几个月内一个家庭陷入贫困的可能性,并提出了预期贫困的脆弱性(VEP)测量方法。该方法根据可观测到的变量和冲击因素,推算出未来收入的表达式,进而估计出未来收入低于贫困线的概率。他们将这一概率设定为脆弱线,认为当家庭面临超过50%的贫困风险时,就是贫困脆弱的。在VEP法中,贫困线是一个不随时间变化的常数,反映了一个既定的福利标准,从而增强了该模型的稳健性[6]。此外,该方法还考虑了贫困脆弱性与时间维度的动态关系,认为随着时间的延长,家庭的贫困脆弱性程度会增加。然而,该模型仍存在一定的不足,即它只能对家庭是否贫困脆弱进行二元判断,并不能度量每个家庭的贫困脆弱程度[9]。为了解决这一问题,Hoddinott等[5]对该模型进行了修正,将贫困脆弱性定义为不同状态下损失程度的期望值,从而可以度量不同贫困脆弱性家庭的贫困程度,并显示出不同家庭陷入贫困的深度差异。另外,Chaudhuri等[10]以消费水平为参考标准,将贫困脆弱性定义为下一期的消费水平小于或等于贫困线所代表消费水平的概率。Dutta等[11]则不再仅以给定的贫困线作为基准参照,而是结合了家庭目前生活水平与贫困线提出了基准线这一新的标准,使得对贫困脆弱性的度量更具个性化特征,且具有更强的动态化趋势。
在上述3种方法中,VEP和VEU是事前估计未来风险导致的福利损失,而VER刻画的是家庭对已实现风险的应对能力,本质上属于一种事后测度,不能满足前瞻性及预测的需求。同时,VEU方法需要刻画家庭效用函数,而效用函数受个体差异、地区差异、社会环境等因素的影响并不容易准确得到,这使得VEU方法的实际应用受到很大限制。鉴于VEU和VER在实际应用中的限制和缺陷,VEP成为目前相关研究衡量贫困脆弱性所采用的主要方法。VEP法对贫困脆弱性测量的精度很大程度依赖于收入或消费等函数的生成,而相关函数的生成则需要各种准确相关数据的支持。在大数据背景下,贫困脆弱性的评价方法日益现代化。数据的获取更多利用了大数据技术和人工智能等新兴技术,综合了社交媒体、卫星遥感、移动电话、互联网搜索等各种非传统数据来源。数据分析方法也综合了自然地理、区域经济、社会政策、统计学等相关学科方法,通过计算机强大的运算功能,将人工智能中的核心机器学习方法运用到贫困脆弱性评价中来,突破了传统的数理模型方法的局限,更深程度地挖掘影响贫困脆弱性的数据信息,从而对贫困脆弱性进行更精确和及时的评估与预测。
二、智能技术、大数据分析与机器学习方法在贫困脆弱性及返贫风险研究中的应用
贫困的识别与风险预测是降低家庭贫困脆弱性防止大规模返贫工作的重要前提和基础环节。传统的贫困识别方法主要依赖于普查抽查数据,但这种方法获得的数据质量参差不齐且时间跨度较大,难以实现对贫困脆弱性及返贫风险的准确度量。随着信息技术的发展,大数据分析、智能技术以及机器学习在贫困识别及脆弱性预测领域展现了广阔的应用前景。
在大数据分析技术下的支持下,遥感卫星影像、夜间灯光、互联网搜索、社交媒体等多源多维度数据,均可作为贫困识别的有效途径,为贫困识别提供更精准和全面的信息。例如,Duque等[12]利用遥感数据获取了城市的土地覆盖类型、房屋特征、拥挤杂乱程度等特征测量了哥伦比亚城市内的贫困程度;Noor等[13]以夜间灯光数据集并结合主成分分析法测算了非洲的贫困指数,这一方法使无法获得家庭资产数据国家的贫困程度得到有效识别,降低了数据获取成本;Smythe等[14]构建了基于卫星图像和其他地理空间数据的高分辨率贫困地图,并发现基于机器学习的贫困地图可以有效提高援助目标识别的效率与准确性。
作为一种数据驱动的建模方法,机器学习在大数据背景下展现了独特的优势。目前,基于机器学习的贫困识别预测方法主要有以下几种。
基于卷积神经网络(CNN)的方法:CNN是一种深度学习模型,能够从图像中提取特征并进行分类或回归等任务。Jean等[2]提出了一种基于CNN的方法,利用高分辨率卫星图像估计了非洲等国家的消费支出和资产财富。其研究结果表明利用CNN识别的特征能够解释高达75%的地方层面经济结果的变化,该方法具有准确性、低成本和可扩展性等优点。Okaidat等[15]的研究同样验证了卷积神经网络在预测贫困方面的有效性。
基于人工神经网络(ANN)的方法:ANN是一种模拟人脑神经元结构和功能的计算模型,能够通过学习数据中的内在规律,从而实现分类或回归等任务。ANN具有处理复杂数据、适应动态环境、自我组织和自我学习等优点。Wang等[16]利用ANN对中国农村家庭贫困状况进行了评估,使用了人口、教育、健康、就业、收入等多个指标作为输入变量,证明了ANN法是一种稳健的分析方法。
基于贝叶斯网络(BN)的方法:BN是一种概率图模型,能够表示变量之间的条件依赖关系,从而模拟复杂现象的不确定性,并进行推理或预测等任务。BN在风险评估领域也得到了广泛的应用,其优势是考虑了风险因素之间的相互作用以及传递路径。Gallardo[17]基于智利的家庭调查和人口普查数据,运用贝叶斯网络(BN)模型,提出并检验了一种新的多维贫困脆弱性测量指标,发现该方法与该指标体系具有较高的预测准确度和政策适用性。
基于社交媒体数据(SMD)的方法:SMD是一种包含用户生成内容(UGC)的网络数据源,能够反映用户的行为、偏好、情感等信息。Llorente等[18]利用Twitter数据集探究了西班牙多个经济区域的经济活动特征,并发现SMD与传统经济指标具有较强的相关性。Choi等[19]则利用谷歌搜索引擎数据来预测美国失业率等经济指标的短期值,并指出谷歌数据与传统数据的结合提高了预测的准确性。
基于手机使用历史数据(MUD)的方法:MUD是一种包含用户通话记录、短信记录、移动轨迹等信息的移动通信数据源,能够反映用户的社会经济地位。Blumenstock等利用MUD估计了个人和群体的社会经济地位,并据此构建了卢旺达的财富分布。这种方法为在资源有限的环境中收集人口和经济信息提供了一种低成本和高效的选择。[20]

基于随机森林(RF)的方法:RF是一种集成学习模型,能够利用多个决策树进行分类或回归等任务。RF具有处理高维数据、抗噪声、防止过拟合等优点。Li等[21]基于夜间光图像和RF方法,对1992—2013年中国贫困县的时空动态进行了识别和分析。Zhao等[22]利用夜间灯光、卫星图像、土地覆盖、交通网络和部门总部位置等多源数据和RF回归模型估计了孟加拉国和尼泊尔的贫困水平,模型具有较高的预测准确性,弥补了发展中国家缺乏空间明确且可靠的贫困数据的问题。
基于支持向量机(SVM)的方法:SVM是一种监督学习模型,能够利用核函数将数据映射到高维空间,从而实现分类或回归等任务。SVM具有处理非线性数据、避免维数灾难、提高泛化能力等优点。Naviamos等[23]以菲律宾为例,收集了贫困和非贫困家庭的数据,使用SVM算法建立了一个分类模型。并使用80%的数据作为训练集,20%的数据作为测试集,对模型的准确性和评估进行了检验。结果表明,模型精确度高达88.64%。Yassine等[24]通过对摩洛哥全国家庭生活水平调查的数据进行分析,发现支持向量机的方法在预测贫困家庭方面的效果比传统的基于阈值和权重的方法具有更高的准确度和稳定性。
三、智能化发展与家庭贫困脆弱性
随着信息化、网络化、数字化、智能化手段在经济社会发展和扶贫工作中的广泛应用,智能化发展为扶贫数据挖掘提供了强大的技术支撑,有利于对贫困脆弱性进行精准测量和有效干预,从而降低返贫风险。同时,智能化发展本身也对家庭的贫困脆弱性产生了影响。
一方面数字智能化发展为降低家庭贫困脆弱性创造了新的可能。Lopez-Ridaura等[25]指出智能化农业技术的发展降低了家庭遭受大规模农业损失的概率,提高了农业生产效率和收入。同时数字智能化创造了许多新的就业岗位[26],如电商、网约车、外卖等,为人们提供了更多的就业机会和收入来源,降低了家庭的失业风险。这些都有效地降低了家庭面临外部环境的不确定性与风险冲击。此外,数字互联网的发展降低了个人和家庭的人力资本投资成本[27],并拓宽了家庭的信息来源渠道,促进了其人力资本与社会资本的积累[28],从而增强了个人或家庭应对风险和冲击的抵御力。Wang等[29]研究发现数字普惠金融也是一种有效的减缓贫困脆弱性的手段,它能够通过增加信贷可得性、促进收入增长和缩小收入差距等机制,显著降低贫困发生的概率。
另一方面,数字智能化发展也伴随着一些问题和挑战。Yao等[30]指出由于地区、收入、年龄、教育等因素的差异,部分人群可能难以享受到数字智能化带来的红利,甚至被边缘化和排斥,形成数字资源不平等问题。另外,网络安全、个人隐私、消费欺诈等问题也随之而来[31],使得部分人群在使用数字智能化服务时面临遭受损失或伤害的风险。这些因素都可能使个人或家庭更容易陷入贫困。
四、结论与启示
综上所述,基于智能技术、大数据分析以及机器学习方法的贫困脆弱性研究已经有了诸多进展,为贫困脆弱性的评估与预测提供了一种新颖有效的技术手段,并且具备以下优势:突破了传统方法对人工调查数据的依赖,增强了贫困识别的时效性和动态性;利用大量非结构化数据,发掘出更多的潜在信息,提升贫困识别的全面性和客观性;运用复杂的算法,处理高维度和非线性的数据,提高贫困识别和预测的准确性与灵活性。同时,这些方法也存在着一些挑战和局限,如深度学习的复杂性和不透明性、数据质量和安全问题、算法选择和优化问题、模型解释和验证问题、以及伦理和社会责任问题等。这些问题需要我们持续地研究和改进,以实现更高效、可靠和可信的智能技术,为贫困脆弱性的准确识别,以及精准扶贫工作的有效开展提供有力的技术支持。
参考文献:
[1]JHA R,DANG T.Vulnerability to poverty in Papua New Guinea in 1996[J].Asian Economic Journal,2010,24(3):235-251.
[2]JEAN N,BURKE M,XIE M,et al.Combining satellite imagery and machine learning to predict poverty[J].Science,2016,353(6301):790-794.
[3]DERCON S,KRISHNAN P.Vulnerability,seasonality and poverty in Ethiopia[J].The Journal of Development Studies,2000,36(6):25-53.
[4]AMIN S,RAI A S,TOPA G.Does microcredit reach the poor and vulnerable?Evidence from northern Bangladesh[J].Journal of Development Economics,2003,70(1):59-82.
[5]H ODDI NOT T J,QUIS UMB ING A.Meth o d s f o r microeconometric risk and vulnerability assessment[M].Risk,Shocks,and Human Development:On the Brink.London:Palgrave Macmillan,2009.
[6]WARD P S.Transient poverty,poverty dynamics,and vulnerability to poverty:An empirical analysis using a balanced panel from rural China[J].World Development,2016,78:541-553.
[7]LIGON E,SCHECHTER L.Measuring vulnerability[J].The Economic Journal,2003,113(486):C95-C102.
[8]PR ITCH ET T L,SURYA HAD I A,SUM ART O S.Quantifying vulnerability to poverty:A proposed measure,with application to Indonesia[R].SMERU Working Paper,Social Monitoring and Early Response Unit(SMERU),Washington:World Bank,2000.
[9]BARTFELD J,GUNDERSEN C,SMEEDING T,et al.SNAP matters:How food stamps affect health and well-being[C].Stanford:Stanford University Press,2015.
[10]CHAUDHURI S,JALAN J,SURYAHADI A.Assessing Financial observation household vulnerability to poverty from cross-sectional data:A methodology and estimates from Indonesia[J/OL].Discussion Papers,2002.[2025-02-01].
[11]DUTTA I,FOSTER J,MISHRA A.On measuring vulnerability to poverty[J].Department of Economics Working Papers,2010.[2025-02-01].
[12]DUQUE J C,PATINO J E,RUIZ L A,et al.Measuring intra-urban poverty using land cover and texture metrics derived from remote sensing data[J].Landscape and Urban Planning,2015,135:11-21.
[13]NOOR A M,ALEGANA V A,GETHING P W,et al.Using remotely sensed night-time light as a proxy for poverty in Africa[J].Population Health Metrics,2008,6:1-13.
[14]SMYTHE I S,BLUMENSTOCK J E,Geographic microtargeting of social assistance with high-resolution poverty maps[J].Proceedings of the National Academy of Sciences,2022,119(32):10.
[15]OKAIDAT A,MELHEM S,ALENEZI H,et al.Using convolutional neural networks on satellite images to predict poverty[C]//2021 12th International Conference on Information and Communication Systems(ICICS),2021.
[16]WANG S,GUO Y,HE Z.Analysis on the measurement and dynamic evolution of multidimensional return to poverty in Chinese rural households[J].Social Indicators Research,2022,165:31-52.
[17]GALLARDO M.M e a s u r i n g v u l n e r a bility t o multidimensional poverty with Bayesian network classifiers[J].Economic Analysis and Policy,2022,73:492-512.
[18]LLORENTE A,GARCÍA-HERRANZ M,CEBRIAN E,et al.Social Media Fingerprints of Unemployment[J/OL].PLOS One,2015,10(5).[2025-02-01].
[19]CHOI H Y,VARIAN H.Predicting the present with Google trends[J].Economic Record,2012,88:2-9.
[20]BLUMENSTOCK J,CADAMURO G,ON R.Predicting poverty and wealth from mobile phone metadata[J].Science,2015,350:1073-1076.
[21]LI G,CHANG L,LIU Xiaojian,et al.Monitoring the spatiotemporal dynamics of poor counties in China:Implications for global sustainable development goals[J].Journal of Cleaner Production,2019,227:392-404.
[22]ZHAO Xizhi,YU Bailang,LIU Yan,et al.Estimation of poverty using random forest regression with multi-source data:A case study in Bangladesh[J].Remote Sensing,2019,11:1-18.
[23]NAVI AMOS M P,NIGUIDULA J D.A study on determining household poverty status:SVM based classification model[C].Proceedings of the 3rd International Conference on Software Engineering and Information Management.New York:ACM,2020:79-84.
[24]YASSINE E A,MOHAMMED K.Study on determining household poverty status:Evidence from SVM approach[C]//Proceedings of ICDTA,23,Fez,Morocco,Volume 2,Berlin:Springer,2023(2):3-10.
[25]LOPEZ-RIDAURA S,FRELAT R,VAN WIJK M T,et al.Climate smart agriculture,farm household typologies and food security:An ex-ante assessment from Eastern India[J].Agricultural Systems,2018,159:57-68.
[26]WILSON H J,DAUGHERTY P,BIANZINO N.The jobs that artificial intelligence will create[J].MIT Sloan Management Review,2017,58:14.
[27]IRTYSHCHEVA I,TRUSHLYAKOVA A.Improvement of investment support for human capital development in the conditions of digital transformation[J].Journal of Vasyl Stefanyk Precarpathian National University,2020,7:89-96.
[28]MANDARANO L,MEENAR M,STEINS C.Building social capital in the digital age of civic engagement[J].Journal of Planning Literature,2010,25:123-135.
[29]WANG X,FU Y.Digital financial inclusion and vulnerability to poverty:Evidence from Chinese rural households[J].China Agricultural Economic Review,2022,14:64-83.
[30]YAO Lianying,MAI Xiaoxiao.Has digital finance widened the income gap?[J].PLOS One,2022,17:1-20.
[31]MAZUREK G,MAłAGOCKA K.Perception of privacy and data protection in the context of the development of artificial intelligence[J].Journal of Management Analytics,2019,6:344-364.