通过社交媒体上的自然语言处理(NLP)技术,探索工业大麻领域所面临的障碍与机遇
《TECHNOLOGICAL FORECASTING AND SOCIAL CHANGE》:Exploring barriers and opportunities in industrial hemp through NLP on social media
【字体:
大
中
小
】
时间:2026年05月02日
来源:TECHNOLOGICAL FORECASTING AND SOCIAL CHANGE 13.3
编辑推荐:
黄一涵 | 阿卜杜勒·库杜斯 | 大卫·苏霍夫 | 法希亚尔·拉赫曼
北卡罗来纳州立大学纺织工程、化学与科学系,美国北卡罗来纳州罗利市 27695
**摘要**
工业大麻的相关利益方在种植和加工过程中面临着多样且复杂的挑战。像YouTube这样的平台已成为农民、加工
黄一涵 | 阿卜杜勒·库杜斯 | 大卫·苏霍夫 | 法希亚尔·拉赫曼
北卡罗来纳州立大学纺织工程、化学与科学系,美国北卡罗来纳州罗利市 27695
**摘要**
工业大麻的相关利益方在种植和加工过程中面临着多样且复杂的挑战。像YouTube这样的平台已成为农民、加工者和供应链管理者分享见解和交流知识的重要场所。本研究采用自然语言处理(NLP)技术分析YouTube上的评论,揭示了工业大麻领域中的挑战与新兴机遇。我们的研究发现了两个关键点:(1)关于监管障碍(尤其是THC含量限制和政策不一致性)以及市场不稳定性的持续不满;(2)对大麻在建筑材料、可持续纺织品和农业技术方面潜力的高度乐观态度。通过应用先进的情感分析方法和主题建模技术,我们识别出生产挑战、供应链效率低下以及气候适应等关键问题,同时也突出了行业增长和创新的方向。此外,我们还开发了一个回归模型,表明平均情感得分能够很好地预测年度工业大麻的种植面积。这项研究表明,NLP如何将社交媒体数据转化为大麻行业的可操作性见解。该框架实现了对行业情感的实时跟踪,并提供了一种通过数字讨论观察农业领域的灵活方法。我们的发现强调了将数据驱动的方法与传统农业决策过程相结合的重要性。
**1. 引言**
**1.1 动机**
工业大麻产业在全球和美国都正在复兴,这得益于其在纺织品、生物塑料、建筑和可持续农业中的多种应用。特别是2018年的《农业法案》通过将THC含量低于0.3%的大麻合法化,推动了国内产业的发展。2021年美国农业部的最终规则进一步明确了生产指南,欧盟也在其共同农业政策框架下调整了大麻的THC阈值(美国国会,2018年;美国农业部,农业营销服务局,2021年;欧洲议会和理事会,2021年)。尽管具有巨大潜力,但包括农民和供应链管理者在内的相关利益方仍面临监管不确定性、市场波动和加工效率低下等重大挑战。这些障碍阻碍了行业的发展,需要创新解决方案来应对。
工业大麻的利益方既面临机遇也面临挑战。一方面,对基于大麻的纤维产品的需求不断增加,联邦、州和国际层面也出现了政策协调;另一方面,他们必须应对严格的0.3%总THC阈值、地区间的政策差异以及FDA指南的不明确性(Ellison,2020年)。此外,2018年《农业法案》后CBD(大麻二酚)市场的过度生产导致了价格暴跌,以及《农业法案》与2021年美国农业部最终规则之间的监管空白期,这一时期利益方的预期更多受到信息流的影响而非正式指导。此外,不受监管产品的竞争也使情况更加复杂(Johnson等人,2022年)。这些挑战影响了行业的各个运营环节,包括种植和收获计划、投入使用策略以及其他决策过程(美国农业部和俄勒冈州立大学,2024年)。因此,这些问题影响了整个大麻行业的生产效率。为了解决这些复杂性,我们提出将情感分析与生产预测相结合,开发一个指数以帮助利益方主动应对种植面积的趋势。从更广泛的角度来看,这种逻辑类似于环境和可持续性研究中广泛采用的监测与响应框架,其中连续的数据流被分析以将模糊的信号转化为可操作的管理和政策决策(Bhardwaj等人,2025年;Preeti等人,2023年)。
鉴于这些挑战的复杂性,利益方经常转向在线平台分享他们的经验、表达关切并讨论新兴趋势。像YouTube这样的社交媒体平台已成为利益方知识交流的关键场所,其中的讨论反映了挑战与创新。这些平台每分钟上传超过500小时的视频,每日观看量达数十亿次(Giri等人,2024年),提供了前所未有的实时行业情感数据。与Twitter或Reddit不同,YouTube上的农业和工业内容吸引了从业者、研究人员和政策关注用户,使得数据更具领域相关性(Giri等人,2024年)。然而,现有研究大多忽视了这一宝贵的工业大麻数据来源,因为官方统计数据并不完整,而社交媒体可能是关键政策转变期间利益方预期的唯一连续记录。大多数研究关注的是CBD产品(Li等人,2023年)、一般农业(Yadav等人,2022年)或无关行业的情感建模(Cruciata等人,2024年)。这一空白促使我们应用NLP技术来分析与大麻相关的话语。
为了识别和应对这些挑战并捕捉新兴机遇,情感分析可以作为一种有效工具,系统地从大型多样化的数据集(如社交媒体评论)中提取、量化并解释利益方的意见、情绪和关切。例如,利益方可能会表达对监管不确定性的沮丧或对市场机遇的乐观态度(Yadav等人,2022年)。通过分析这些情感,我们可以了解他们对大麻行业的看法。此外,主题建模有助于揭示特定利益方群体面临的独特挑战(Jagannathan等人,2022年),为不同行业参与者提供有价值的参考和见解。通过系统地提取和解释利益方的情感,本研究旨在弥合行业挑战与数据驱动的政策和商业策略之间的差距。为了捕捉这些维度,本研究将情感分析与政策层面的变量(特别是2018年《农业法案》和美国农业部的最终规则)相结合,并通过利益方聚类来区分不同参与者的观点。对代表性评论的定性分析使定量发现基于具体的行业经验。
**1.2 相关文献**
要理解数字情感如何反映行业动态,需要明确利益方行为与计算测量之间的联系。Stimulus–Organism–Response(S–O–R)框架(Mehrabian和Russell,1974年)解释了这一行为过程:政策变化和媒体内容作为外部刺激,利益方通过认知评估(例如,感知到的机会或监管负担)和情感反应(例如,乐观或担忧)来解读。这些内部反应随后表现为可观察的数字情感,在某些情况下还表现为后续的行为意图。先前的研究表明,社交媒体上表达的情感与后续的行为反应相关,表明在线情感可以先于可观察的结果出现(Cao等人,2022年)。为了可靠地测量这种关系,需要一个结构化的情感分析流程。Liu(2012年)描述的情感分析框架以及基于Transformer的模型(如Bidirectional Encoder Representations from Transformers,BERT)提供了一个系统化的过程,包括数据收集、文本预处理、基于嵌入的特征提取和情感分类。这些框架共同解释了数字情感的重要性及其如何被一致地测量。S–O–R模型将情感与利益方的决策过程联系起来,而计算流程确保情感以可复制和透明的方式被提取(图1,我们将在下一节图2中进一步讨论)。它们共同支持使用社交媒体情感作为行业层面变化的实用指标,提供及时见解,而这些见解无法通过延迟的指标(如官方生产统计数据)获得。
为了将我们的研究置于更广泛的学术背景下,我们回顾了关于大麻应用和农业情感分析的现有研究,强调了我们的研究旨在解决的差距。由于工业大麻对环境的影响低于棉花和合成纤维,它越来越多地被研究作为可持续纺织生产的纤维来源(Malabadi等人,2023年)。当前的研究集中在提高脱胶和去胶效率上,同时探索了多种方法(如酶法和生化过程)来增强纤维分离。然而,许多方法仍然依赖化学强度高的方法(Pinsard等人,2023年)。棉化技术进一步促进了大麻在纺织行业的发展,使其可以使用棉纺工艺进行纺纱(Hurren等人,2013年)。材料研究强调了大麻的耐用性和强度,但也指出了其粗糙的质地和纺纱难度。为了缓解这些限制,研究人员探索了将大麻与棉花、粘胶纤维和合成纤维混合以制造混合纱线(Malabadi等人,2023年)。尽管取得了这些进展,工业应用仍受到纤维质量不稳定、加工成本高以及缺乏大规模加工设施的制约(Vandepitte等人,2020年)。关于混合纱线和技术纺织的新研究为将大麻的应用扩展到耐用和功能性织物提供了新的机会(Avc?和Demiryurek,2022年)。更广泛地说,可持续性和环境创新领域的平行研究强调了以循环经济为导向和以材料为中心的解决方案,作为长期行业转型的一部分,为理解围绕新兴大麻应用的乐观态度提供了有用的背景(Kumar等人,2024年;Pal等人,2024年)。
**图1. 工业大麻行业情感分析的S–O–R框架**
情感分析在农业及相关行业中得到了广泛应用,但尚未有研究专门针对大麻农业中的情感分析。以往的研究将情感分析应用于消费者对农业产品的反馈(Cao等人,2022年)、考察农民对政策和技术的态度(Singh等人,2021年),以及评估公众对可持续性和智能农业创新的看法(Mahon等人,2023年)。先进的机器学习模型(如BERT、Text-CNN和SVM)在这些应用中展示了出色的领域特异性成果。例如,Cao等人(2022年)开发了一个改进的BERT模型,用于分析农产品评论中的情感,重点关注专业术语和数据稀疏等问题,从而提高了分类准确性,并提供了有关消费者偏好的宝贵见解。同样,Singh等人(2021年)使用多语言推文分析了印度2020年《农业法案》的情感,探讨了分析混合语言内容情感分类的复杂性。Maulida和Devi(2023年)使用名为VADER的Python库分析了Twitter上关于可持续农业的情感,发现大多数推文对食品安全和气候变化表达了积极态度。
传统的数据来源,如行业报告、学术调查和官方统计数据,对于分析农业和可持续性行业至关重要。虽然这些方法提供了结构化和可信的见解,但也存在显著缺点。这些方法包括高昂的数据收集成本、更新频率低,以及对快速变化的市场和政策条件的响应延迟(Yang和Lu,2025年;Cornaggia和Cornaggia,2024年)。在许多情况下,这些数据只有在重要决策之后才发布,这限制了它们在早期监测或快速政策响应中的实用性。例如,关于可持续性目标的公众观点调查通常每年或每隔几年进行一次。这种时间线使得它们无法捕捉到情感的短期变化、新兴的利益方问题或由于监管公告或市场冲击引起的突然变化(Guan等人,2019年)。此外,正式报告和基于评级的指标可能会受到战略报告行为的影响。Cornaggia和Cornaggia表明,即使运营没有相应变化,公司在评级标准改变后也可以提高报告的ESG分数。这表明,仅依赖官方披露可能会导致对实际情况的误导性结论(Cornaggia和Cornaggia,2024年)。
相比之下,社交媒体分析提供了对大量未过滤的利益方讨论的实时访问(Tian等人,2022年)。这使得研究人员能够捕捉到基层观点、非正式的知识共享以及传统数据收集方法常常错过的早期预警信号。由于社交媒体讨论是持续进行的,并由各种参与者自愿创建的,它们提供了关于政策、技术和市场条件发展的不同视角。先前在工程信息学和建筑管理领域的研究(Song等人,2021年)表明,分析非结构化文本数据可以揭示隐藏的知识结构、主题趋势和通过手动审查或静态总结难以发现的宝贵见解(Tian等人,2021年;Dai等人,2020年;Sun等人,2020年)。这些发现共同表明,大规模文本挖掘作为复杂和变化系统中传统决策支持方法的强大补充,其有效性日益增强。
**1.3 研究范围和贡献**
尽管对工业大麻的兴趣日益增长,但在理解利益方的看法和挑战方面仍存在显著的研究空白。首先,现有研究大多忽视了社交媒体数据在追踪行业情感方面的潜力,而侧重于缺乏实时动态的传统调查方法。其次,尽管情感分析已经应用于其他农业领域(Cao等人,2022年),但尚未有研究开发出专门针对大麻的NLP流程,能够处理该行业独特的词汇和利益相关者动态。第三,以往的研究将大麻视为一个整体行业,未能区分不同子领域(CBD、农业、纺织、建筑)之间的情绪变化,而这些子领域面临着不同的挑战和机遇。本研究旨在解决以下研究问题:
- 利益相关者对销售大麻的总体情绪是什么?这些情绪在不同类别(CBD、农业、纺织、建筑)之间有何差异?
- 在当前的大麻产业环境中,利益相关者面临哪些挑战?
- 利益相关者如何看待与生产、营销和可持续性相关的挑战?
- 如何将利益相关者的情绪量化地与工业大麻的种植面积决策联系起来,以实现积极的市场预测?
本研究对学术研究和行业实践做出了以下关键贡献:
- 我们进行了首批系统性的情绪分析之一,重点关注工业大麻行业多个领域的利益相关者讨论,填补了农业情感分析文献中的关键空白。
- 我们应用了先进的自然语言处理(NLP)技术,包括基于Transformer的模型,如BERT和Robustly Optimized BERT Pretraining Approach(RoBERTa),以提高情绪分类和主题检测的准确性,克服了传统基于词汇和规则的方法的局限性。
- 我们开发了一个预测回归模型,将平均情绪得分与工业大麻的种植面积联系起来,证明了在线情绪与种植趋势之间的强相关性。
- 我们生成了数据驱动的见解,以支持农民、政策制定者、投资者和供应链管理者的决策,特别强调了应对监管不确定性、市场波动和可持续性考虑。
通过利用大规模社交媒体数据上的情感分析和主题建模,本研究提供了一种新的方法来理解大麻行业中的利益相关者关切。从这项研究中获得的见解可以为政策制定者、行业领袖和研究人员提供信息,从而实现数据驱动的决策,以促进工业大麻行业的未来发展。
2. 方法论
为了系统地分析与工业大麻相关的YouTube评论中的情绪和主题,我们开发了一种结构化的方法论。本节概述了用于分析大麻相关YouTube评论的方法论框架。图2提供了工作流程的概览,包括数据收集、预处理、主题分类、情感分析和主题建模。每个步骤都旨在从大规模社交媒体数据中一致地提取利益相关者的情绪和讨论主题。
2.1. 数据收集
我们的数据收集和预处理流程旨在平衡广度和深度,以支持两个核心研究目标:(1)通过多类别关键词搜索捕捉工业大麻价值链中各种利益相关者的观点;(2)通过控制采样、任务特定的预处理和多模型验证来实现稳健的情绪和主题分析。该数据集包含2008年至2025年间发布的21,609条YouTube评论。其中17,027条评论(79.5%)具有地理元数据,美国频道占识别位置的69.6%,其次是加拿大(8.3%)和英国(7.3%)。英语内容占数据集的99.3%。所有评论都被保留下来,以捕捉与工业大麻相关的所有公开表达的情绪。如图3所示,数据集主要由美国的内容组成,但也包含来自其他国家的贡献。
我们使用Google API Python客户端库中的YouTube Data API(v3)(Google Developers,2025年)来提取评论。应用基于关键词的搜索以确保视频与工业大麻的相关性。为了平衡数据的广度和代表性,我们将MAXRESULTS参数设置为1000,这是YouTube Data API支持的最大值,从而确保涵盖各种与大麻相关主题的视频的全面检索。每条视频的评论数量限制为100条,对应于commentThreads.list端点的上限(范围:1-100)。评论按时间顺序检索(顺序=时间),从而捕捉到具有时间代表性的讨论,而不仅仅是评分最高或最受欢迎的评论。由于每条视频的平均评论数为7条(中位数32.2条),且99.9%的视频评论数量不超过100条,这种策略在避免算法流行偏见的同时保留了代表性。
数据收集过程分为两个阶段。在第一阶段,我们使用关键词列表搜索与工业大麻相关的视频。为了确保结果的多样性和准确性,我们将搜索范围从仅包含“hemp”扩展到一组更广泛的相关关键词,这使得数据量增加了十倍。我们监控了视频的标题、发布日期和观看次数等关键信息。在第二阶段,我们收集了每个识别视频的所有可用评论,包括内容、作者和发布日期。用于提取的详细关键词在表1中进行了总结。这些数据随后被保存在CSV文件中,以便于分析。表1中的关键词短语来自同行评审的大麻文献,并综合起来代表主要的应用领域,而不是来自个别来源的逐字术语。农业术语反映了纤维大麻的农学、收获物流、土壤健康和市场不确定性(Viskovi?等人,2023年;Adesina等人,2020年);纤维加工术语涵盖了大麻茎秆加工、去壳、纺织应用和全球市场定位(Viskovi?等人,2023年;Enarevba和Haapala,2024年);材料术语涉及大麻混凝土、生物复合材料和生物塑料的开发(Crini等人,2020年;Viskovi?等人,2023年);其他应用术语涵盖了食品加工、生物能源转换、市场需求和纸张生产(Basak等人,2025年;Kaur和Kander,2023年)。这些参考文献在类别级别提供,以记录关键词构建的文献基础,而不是暗示个别关键词与具体研究之间的一一对应关系。
搜索中使用的关键词结合了领域知识、文献回顾和与研究团队的讨论。此外,为了使关键词更加简洁,我们使用了更具体的术语,例如“工业大麻纤维生产”。然而,这种选择不太可能显著影响结果,因为YouTube v3 API使用复杂的算法来处理搜索查询,而不仅仅是简单的关键词匹配。它可能会考虑多种因素,如视频相关性、受欢迎程度等,而不仅仅是依赖标题或描述中的完全匹配。API可能会返回部分匹配的结果,而不是要求所有关键词完全匹配(Google Developers,2025年)。
表1. YouTube API中的工业大麻搜索关键词
2.2. 数据预处理
在数据收集之后,我们实施了一个处理流程来准备YouTube评论以供分析。这一阶段对于确保数据质量至关重要,正如Padma等人(2024年)所强调的。语言过滤是在评论级别进行的,而不是在频道级别。尽管数据集中包含少量非英语频道(例如意大利语和德语频道,约占0.02%),但这些频道中的绝大多数评论都是用英语写的。因此,这些频道被保留了下来。在应用评论级别的语言检测后,只有三条评论主要包含非英语文本,占数据集的比例可以忽略不计,因此对情感分析没有实质性影响。为了防止冗余和噪声,我们使用唯一的Comment_ID值识别并移除了重复的评论,在最终数据集中没有检测到完全重复的评论。此外,长度少于三个字符的评论也被排除,因为这些评论通常反映的是垃圾信息或无信息的回复,从而提高了下游分析的信噪比。
为了使预处理选择与特定的分析目标保持一致,我们对情感分析和主题建模应用了不同的策略。对于情感分析,我们采用了一种温和的文本清洗策略,平衡了语言模式的保留和必要的标准化。这种方法包括将文本转换为小写、删除HTML标签和URL,并规范化空白字符,以创建标准化的输入格式。这些方法根据每个模型的具体要求进行了仔细调整。像BERT这样的基于Transformer的模型,凭借其子词分词器和注意力机制,即使经过最少的预处理也能有效地捕捉语言模式。正如Juna和Hayaty(2023年)所展示的,这些模型只需要基本的预处理,因为过度的规范化可能会损害形态丰富语言的意义。Kosala和Nirmalrani(2025年)的研究也支持了这一发现,他们比较了BERT、TF-IDF和GloVe的预处理效果,表明即使进行最少的预处理,Transformer也能表现良好。
对于主题建模,我们实施了更广泛的数据清洗策略。这一步是必要的,因为当利用基于Regex的语义分类时,主题建模对文本噪声非常敏感。虽然Regex提供了一种高效且高精度的分类方法,但其有效性严重依赖于干净的输入。因此,我们的数据清洗包括:(a)将文本转换为小写,(b)删除特殊字符和数字,(c)消除多余的空白字符,(d)过滤掉常见的日常词汇(停用词),(e)排除少于三个字符的单词。这个严格的清洗过程有助于去除噪音,同时保留内容,特别是与工业大麻相关的关键词,从而能够识别出更有意义的模式。预处理阶段采用了三阶段的关键词分类系统:
**第一阶段:API关键词搜索与定义**。表2报告了用于基于API的检索和分类的初始关键词集。关键词的构建遵循了一个系统的三步程序。首先,从关于大麻领域的评论中提取了一个种子列表,这些评论涵盖了育种、农学、纤维加工、建筑和健康应用等方面。农学术语如栽培、灌溉、肥料、产量和害虫控制是从大麻育种和生产的评论中借鉴的(Ndlovu等人,2020年;Muhammad等人,2025年)。纤维加工术语如脱胶、剥皮、纺纱、编织和韧皮纤维则来自以纺织品为导向的大麻评论,这些评论详细描述了从田间到纤维的价值链(Muhammad等人,2025年)。与建筑相关的术语如大麻混凝土、墙壁、绝缘材料和建筑材料则来源于关于大麻基材料的评论和生命周期评估(LCA)研究(Aryal等人,2024年;Kaur和Kander,2023年)。与健康相关的术语如大麻二酚(CBD)、CBD油、大麻素、THC和大麻则基于对大麻衍生产品的药理学和范围研究(Aryal等人,2024年;Lim等人,2021年)。然后,这个由专家精心策划的列表与在大麻文献计量学研究中报告的高频索引关键词进行了交叉验证(Ndlovu等人,2020年;Aryal等人,2024年;Kaur和Kander,2023年),以确保与已建立的索引惯例一致(例如Cannabis sativa、大麻、品种、纤维、大麻混凝土)。之后,为了捕捉社交媒体中常用的某些通俗同义词(例如weed、marijuana、pot、ganja),在进行了范围研究后将其添加进来,因为仅使用“hemp”进行搜索可能会错过与大麻相关的重要讨论(Lim等人,2021年)。所有术语通过团队讨论被分配到五个应用类别(CBD、农业、纤维、建筑、其他),遵循科学计量学研究中的标准领域-关键词程序(Ndlovu等人,2020年;Kaur和Kander,2023年)。表2列出了每个关键词及其主要文献来源,以便于复制。
**第二阶段:基于观察到的讨论的主题分组**。通过迭代的语料库分析,关键词被组织成六个主题维度(政策、市场、技术、供应链、可持续性、未来展望),如表3所示。分类是根据YouTube评论中的使用模式得出的,而不是预先确定的框架。例如,“regulation”(监管)和“compliance”(合规性)在政策讨论中频繁出现,而“price”(价格)和“sell”(销售)则围绕市场问题聚集。这种归纳方法确保了主题类别反映了真实的利益相关者讨论。
**表2. 与CBD、农业、纤维和建筑相关的关键词**
| 关键词 | 参考文献(文本) |
|---------------|-------------------|
| CBD | Aryal等人,2024年;Tran和Kavuluru,2020年 |
| marijuana | Aryal等人,2024年;Tran等人,2020年 |
| hemp | Ndlovu等人,2020年;Muhammad等人,2025年 |
| farming | Ndlovu等人,2020年;Muhammad等人,2025年 |
| fiber | Muhammad等人,2025年 |
| construction | Aryal等人,2024年;Kaur和Kander,2023年 |
| other | Aryal等人,2024年;Kaur和Kander,2023年 |
**第三阶段:子类别**:在第三阶段,我们为之前的大麻行业组开发了一个层次化的关键词分类系统。该框架包括主要类别(CBD、农业、纤维、建筑)和跨领域的主题(政策、市场、技术、供应链、可持续性、未来)。这创建了一个矩阵,其中每个交集(例如Fiber-policy或CBD-technology)都捕捉到了独特的行业方面,确保了有针对性的分析。例如,技术关键词针对每个领域进行了定制——CBD专注于提取过程,而建筑则强调建筑材料。
**表3. 用于大麻情感分析的关键词组**
| 关键词组 | 主要类别 |
|-----------------|------------------|
| policy | 政策、法规、法律、立法、合规性 |
| market | 市场、价格、商业、销售、购买、利润、损失、成本、需求、消费者、零售 |
| supply chain | 供应链、物流、分销、采购、库存、运输、仓储、供应网络、价值链、分销渠道 |
| sustainability | 可持续性、碳捕获、碳、二氧化碳、氧气、气候、环境、绿色、生态、可再生、可生物降解、环境影响、碳足迹 |
| future | 未来、潜力、趋势、当前趋势、新兴趋势、未来发展、未来市场、增长潜力、长期前景 |
| technology | 提取、蒸馏、加工、纯化、测试、色谱法、过滤、精炼、分离、结晶、实验室、设备、机器、提取器、蒸馏器、分析器、工具、仪器、装置 |
为了获得更深入的见解,我们对分类后的关键词组进行了相关性分析。在子分类之后,每个关键词都被映射到相应的组,并进行统计评估。为了增强分析的稳健性,我们应用了0.3%的总评论出现次数的阈值来过滤掉不太重要的关键词。这个阈值是基于模拟和统计验证选定的。通过假设关键词出现的二项分布并分析标准误差范围,我们构建了置信区间,以区分有意义的信号和噪音。通过使用0.1%、0.5%和1%的阈值进行比较模拟,我们发现0.3%在减少噪音和保留关键词方面达到了最佳平衡。因此,这个阈值不是随意设定的,而是基于统计学的。可视化使用Matplotlib和Seaborn创建,注意通过优化的标签、标题和注释来确保清晰度。这些图表以高分辨率格式导出,并使用描述性统计来支持我们的主要发现。
**2.3. 模型开发**
这些模型的目标都是相同的:将YouTube视频评论分类为三种情感类别——正面、中性和负面。为此,本研究使用了Valence Aware Dictionary and Sentiment Reasoner(VADER)、Bidirectional Encoder Representations from Transformers(BERT)、RoBERTa和Twitter-RoBERTa来识别最有效的模型。我们的结果显示,Twitter-RoBERTa模型在这些模型中表现最佳。
VADER(Valence Aware Dictionary and Sentiment Reasoner)模型是一种基于规则的通用情感分析工具,适用于社交媒体文本。它使用情感相关词汇和规则来确定文本的情感强度,适用于分析类似微博的内容。VADER经常用于为缺乏情感信息的数据集提供初始情感标签,可以以半监督的方式使用(Hutto和Gilbert,2014年)。BERT旨在通过联合条件化所有层的左右上下文来预训练深度双向表示。与传统模型相比,BERT在情感分析任务中表现出更好的性能(Devlin等人,2019年)。我们使用了这个模型,因为它也具有预训练的特性。RoBERTa是一个基于Transformer的模型,通过显著减少预训练量和提出改进的BERT模型训练方法来改进BERT;一些研究表明,基于RoBERTa的模型在情感分析任务中的表现优于传统的机器学习模型和其他Transformer模型(Liao等人,2021年)。基于这些基础,我们的研究重点关注预训练的Twitter-RoBERTa模型。该模型专门针对2018年至2021年的1.24亿条英文推文进行了训练,使其非常适合非正式和对话式文本。它还可以处理农业讨论中常见的细微表达(Barbieri等人,2020年)。此外,它专为短形式的社交媒体内容设计,与YouTube评论的平均长度(我们数据集中的中位数64.0个字符)相匹配;其预处理流程原生地处理了如@提及和URL等社交媒体特性,减少了数据清洗的工作量。另一方面,几项研究已经使用预训练的Twitter-RoBERTa模型进行情感分类任务。在金融行业预测中,该模型在短期社交媒体帖子上的情感分类准确率达到了约85%,F1分数为79%(Bhatt等人,2023年)。此外,一项研究使用‘cardiffnlp/twitter-roberta-base-sentiment-latest’预训练的Transformer来捕捉推文中的情感细微差别,将评论分类为正面、负面和自然类别(Jahin等人,2024年)。对于这项研究,我们训练了一个预训练的Twitter-RoBERTa模型。我们还优化了参数:文本序列通过字符串转换标准化并截断为512个令牌,这是基础Transformer模型的最大上下文窗口。批量推理(size=32)优化了GPU内存使用,同时保持了吞吐量。输出logits使用模型学习到的分类头映射到分类标签(负面/中性/正面)。此外,还添加了一个容错流程,通过用错误标志替换失败的预测来处理运行时异常,保持数据集的完整性。具体来说,我们通过调整两个关键超参数评估了五种不同的配置:最大序列长度(max_length:256、512个令牌)和批量大小(batch_size:8、16、32)。我们观察到,在所有五种配置下,混淆矩阵和分类结果非常相似。最后,我们没有进行微调过程,因为我们的目标是看看模型在半监督方式下的表现,为未来的研究提供了一个更灵活的框架。
**2.4. 验证**
为了确保模型的准确性和数据集的代表性,我们进行了全面的验证过程,结合了人工标记评估、统计测试和分布比较。我们的分析随机抽取了标记数据(n=250,包含108条中性评论、75条正面评论和67条负面评论)。这显示了数据集的强大代表性和均衡性。我们没有进行微调,因为有时微调可能会降低它们的通用能力或导致性能问题(Yang等人,2025年)。我们的验证表明,Twitter-RoBERTa的社交媒体预训练适用于YouTube上的大麻讨论,准确率达到94.4%。避免微调有助于防止在我们有限的250条标记样本上过拟合,同时保持模型对未来跨平台使用的灵活性。这种方法在良好的分类性能和实际使用之间取得了平衡。零样本方法允许利益相关者在不需要大量标记训练数据的情况下对新的大麻讨论进行情感分析。我们的验证结果还表明,基于社交媒体的Transformer可以很好地适应农业行业讨论。
我们进行了卡方检验(chi-square test)、Cramer’s V检验和Kolmogorov–Smirnov检验。结果显示标记子集和完整数据集之间存在显著的卡方差异(χ2(9)=452.57,p<0.001)。然而,效应大小(Cramer’s V=0.14)较小,表明这种差异对采样和未采样数据集的影响较小。这也可能是因为卡方检验在大样本(n=21,609)中的高敏感性。为了支持这一点,我们还进行了Kolmogorov–Smirnov检验(p=0.12)和图4所示的分数分布的视觉检查。这两者都显示了数据集之间的显著重叠。这种视觉一致性增强了我们对标记子集代表性的信心,使我们能够继续计算详细的性能指标。
**下载:** 下载高分辨率图像(184KB)
**下载:** 下载全尺寸图像
**图4. 标记评论和未标记评论之间的分数分布比较。**
1. TP(真阳性):正确识别在其实际类别中的评论数量。例如:正确标记为与农业相关的评论。
2. TN(真阴性):正确识别不属于特定类别的评论数量。
3. FP(假阳性):错误分配到某个类别的评论数量。
4. FN(假阴性):错误从其真实类别中排除的评论数量。
以下性能指标是计算得出的(Pushpa等人,2021年):
**准确性 = TP + TN**
**精确度 = TP / (TP + FN)**
**召回率 = TN / (TP + FN)**
**F1分数 = 2 × 精确度 × 召回率**然而,两种模型在中性情感上的表现同样出色(F1 = 0.94),而Twitter-RoBERTa在识别积极情感方面表现更为突出(F1 = 0.96 vs 0.95)。总之,Twitter-RoBERT不仅实现了最高的整体准确率(0.9440),而且在主要的积极和中性类别中表现出更高的稳定性,优于标准的RoBERTa基线模型。尽管RoBERTa在消极情感上略有优势,但Twitter-RoBERTa在积极和中性类别上的结果更为显著,而这些类别在我们的数据集中更为普遍。此外,Twitter-RoBERTa是专门为短形式的社交媒体文本进行了微调,因此更适合我们的YouTube评论数据集以及未来的扩展应用。
下载:下载高分辨率图片(397KB)
下载:下载全尺寸图片
图5. 不同模型的情感分类性能热图比较。
表4. 情感分类模型的比较性能指标。
空单元格
Twitter-RoBERTa
RoBERTa
BERTVA
情感类别
PaRb
F1c
PRF1
PRF1
PRF1
消极情感
0.94
0.92
0.93
0.95
0.92
0.94
0.51
0.75
0.61
0.57
0.44
0.50
中性情感
0.94
0.94
0.94
0.93
0.95
0.94
0.63
0.21
0.31
0.79
0.49
0.60
积极情感
0.96
0.97
0.96
0.96
0.94
0.95
0.50
0.86
0.63
0.49
0.91
0.64
准确率
0.9440
0.940
0.5240
0.5920
aP = 精确度。
bR = 召回率。
cF1 = F1分数。
3.2. 大麻相关YouTube评论的情感分析
Twitter-RoBERTa模型表现优异,因此被选用于后续的分析,并结合了主题建模。情感分析的关键要素包括预测的情感标签(积极、消极或中性)以及相关的预测分数,该分数的范围是从-1到1。负值表示消极情感,正值表示积极情感。
总体情感分布。如图6所示,27.7%的评论是积极的,47.2%是中性的,25.1%是消极的。这对应于5960条积极评论、10,179条中性评论和5406条消极评论,第2.3节讨论了64个分类错误。我们可以看到,评论中的大部分情感是中性情感,积极情感略高于消极情感。
情感分数分布。图7展示了模型预测的情感分数直方图。直方图显示了大麻相关YouTube评论的情感分数,负值(红色)在左侧,正值(绿色)在右侧,由零处的灰色虚线分隔。分布明显呈双峰状,并略微偏向积极情感,平均值(蓝色垂直线)为0.081。积极情感在最高值(接近+1.0)处集中,大约有2500条评论,而消极情感在其范围内分布较为均匀,最高频率在-0.9左右,大约有1100条评论。这一可视化结果表明,虽然大麻讨论中包含大量的消极情感,但积极意见的数量更多,且强度也更高。
下载:下载高分辨率图片(115KB)
下载:下载全尺寸图片
图6. 情感标签分布(积极、中性、消极)。
文本清洗和词云比较。图8展示了文本预处理对从YouTube评论中提取有意义术语的影响。面板(a)展示了原始语料库,其中通用功能词占主导:“the”(12,780次出现)、“and”(7,284次)和“you”(3,717次)掩盖了特定领域的内容。“Hemp”(2,026次)与“will”、“make”和“think”等对话术语一起出现,表明这是自然语言模式而非技术性讨论。
下载:下载高分辨率图片(157KB)
下载:下载全尺寸图片
图7. 情感分数分布。(关于此图例中颜色的解释,请参阅本文的网页版本。)
面板(b)显示了系统预处理后的实质性词汇群。农业术语尤为突出:“seed”(581次)、“plant”(492次)、“grow”(439次)和“soil”(289次)反映了种植的重点。工业应用通过“oil”(703次)、“fiber”(261次)、“product”(215次)和“fuel”(128次)显现出来,表明了多样的商业兴趣。监管词汇通过“government”(169次)、“THC”(203次)和“CBD”(360次)凸显出来,突出了政策关注点。像“cannabis”(360次)、“marijuana”(201次)和“hempcrete”(174次)这样的术语揭示了比较框架和建筑应用。
预处理流程去除了127个英语停用词,标准化了变体拼写,并移除了平台特定的内容(URL、表情符号)。这将语料库从1,101,127个字符减少到了110,446个有意义的单词(保留率为23.4%),共有17,225个独特术语。清洗后的词汇使得后续的情感分析能够基于与大麻行业话语相一致的语言单位进行,而不仅仅是对话评论。
下载:下载高分辨率图片(563KB)
下载:下载全尺寸图片
图8. 文本清洗前后的词频可视化。(a)原始评论文本,高频停用词掩盖了实质性内容。面板(b)去除停用词并标准化术语后的特定领域术语。
图7是模型预测的结果。直方图显示了大麻相关YouTube评论的情感分数,负值(红色)在左侧,正值(绿色)在右侧,由零处的灰色虚线分隔。分布明显呈双峰状,并略微偏向积极情感,平均值(蓝色垂直线)为0.081。积极情感在最高值(接近+1.0)处集中,大约有2500条评论,而消极情感在其范围内分布较为均匀,最高频率在-0.9左右,大约有1100条评论。这一可视化结果表明,虽然大麻讨论中包含大量的消极情感,但积极意见的数量更多,且强度也更高。
3.3. 情感和参与度的时间趋势
图9显示了2008年至2025年每年与大麻相关的YouTube评论数量。2008年至2014年,评论数量很少(每年11-50条),随后从2015年至2017年稳步增长(每年78-183条)。2018年开始迅速增加,2023年达到517条,到2024年激增至3,362条。2024年评论数量达到峰值7,483条——是前一年的两倍多。截至2025年初,数量已经达到了3,189条,表明又创下了新纪录。总体而言,从2008年到2024年增长了680倍,显示出公众对大麻相关YouTube内容的兴趣和参与度的指数级增长。
图10展示了随时间变化的情感趋势。中性情感(蓝色)始终占主导地位,积极情感(绿色)一直增长到2023年。然而,2024年末消极情感(红色)超过了积极情感,并在2025年保持较高水平。在18年中,有14年积极情感超过了消极情感,而只有4年(2011年、2024年和2025年)消极情感占优。积极情感占优的最大差距出现在2021年(积极评论多出401条)。图11中的热图提供了更详细的月度积极与消极情感比率。颜色较浅的月份表示积极情感比例较高;黄色表示消极情感较多。7月通常表现出更强的积极情感,而10月则倾向于消极情感。
下载:下载高分辨率图片(256KB)
下载:下载全尺寸图片
图9. 2008-2025年与大麻相关的YouTube评论年总量。
下载:下载高分辨率图片(308KB)
下载:下载全尺寸图片
图10. 随时间变化的情感趋势。(关于此图例中颜色的解释,请参阅本文的网页版本。)
这些分析和可视化提供了数据集整体情感趋势的概览。然而,仔细观察会发现不同行业类别(如纺织品、建筑和健康)的情感模式各不相同。它们在每个行业内的主题上也有所不同(例如,政策讨论与市场讨论)。因此,将评论进一步细分为更具体的类别将能够进行更细致和可操作的情感分析。这种方法有助于揭示每个行业和主题背景下的具体关切、机会和公众看法。
下载:下载高分辨率图片(486KB)
下载:下载全尺寸图片
图11. 2018-2024年的月度积极与消极情感比率。(关于此图例中颜色的解释,请参阅本文的网页版本。)
除了政策驱动的动态外,我们还对2019-2024年的数据(n=9,128)进行了季节性分析,发现了农业日历效应。秋季占讨论的31.9%(2,910条评论),10月达到峰值(1,063条评论),农业讨论集中在7月至10月(占农业评论的42.6%)。季节性情感差异显著(ANOVA: F=5.676, p<0.001),春季/夏季比秋季/冬季更积极(+0.16)。这种0.06点的差异在各个类别中都存在,表明农业节奏补充了政策驱动的模式。代表性评论说明了这一点:秋季的评论集中在操作挑战上,例如:“我的问题是植物在干燥空间中湿度不够...”(2022年10月)。然而,春季则表达了乐观情绪,如“希望他们的工业大麻业务蓬勃发展”(2019年3月)。
3.4. 特定类别的情感分析
为了更好地理解大麻相关YouTube评论的主题结构和情感动态,我们进行了特定类别的分析。评论被分为五个主要类别——CBD、农业、纺织品、建筑和其他。每个类别进一步细分为五个主题组:政策、市场、技术、供应链和可持续性与未来。这种层次化的分类使我们能够评估各个领域内和跨领域的情感趋势,并突出主题之间的联系。
3.4.1. 评论和情感趋势的分布
需要注意的是,许多评论跨越了多个类别。例如,一条评论可能同时涉及纺织品应用和农业实践。这种重叠丰富了我们对大麻话语相互关联性的理解。在五个类别中,CBD包含的分类评论数量最多(11,050条),其次是其他(8,652条)、农业(5,763条)、建筑(5,113条)和纺织品(3,675条),如图12所示。然而,由于评论的重叠,这些数字并不等于独特评论的总数。图13显示,农业占评论的最大份额(14.4%),其次是建筑(10.9%)和纺织品(8.5%)。类别之间的重叠讨论也很显著。值得注意的是,1.8%的评论同时提到了农业和纺织品相关的话题,1.5%的评论同时涉及建筑和纺织品,1.0%的评论同时涉及农业和建筑。一个较小的子集(0.4%)涉及所有三个领域——农业、建筑和纺织品。
每个类别内的情感趋势揭示了有信息量的模式。农业类别表现出最高的积极情感(33.5%),而其他类别的消极情感最高(26.6%)。尽管CBD很受欢迎,但它包含了相对较高的消极情感比例(25.5%)。中性评论在所有五个类别中占主导地位,比例在45%到49%之间,表明了信息性或观察性评论的强烈存在。这些情感比例在图12中有所体现。
下载:下载高分辨率图片(114KB)
下载:下载全尺寸图片
图12. 按类别划分的评论数量条形图。
下载:下载高分辨率图片(132KB)
下载:下载全尺寸图片
图13. 重叠类别的维恩图。
3.4.2. 按子组和关键词的情感:跨类别视角
为了提供更细致的见解,我们分析了所有类别和子组中的关键词级别情感分数。图14展示了每个子组(政策、市场、技术、供应链、可持续性与未来)在五个主要类别中的情感分数。情感极性用颜色表示(绿色表示积极,红色表示消极),每个条形图的大小反映了相关评论的数量。标签包括情感分数和关键词频率。
政策相关评论在所有类别中都表现出一致的消极情感,其中农业(-0.32)和其他(-0.35)类别的消极情感最为强烈。市场相关讨论则更加多样化;CBD表现出最消极的情感(-0.12),而农业和其他类别则相对中性(0.00)。相比之下,技术子组则总体上积极,特别是在建筑(0.31)、CBD(0.29)和纺织品(0.26)中。即使其他类别的积极性较低,也仍然偏向积极(0.06)。
下载:下载高分辨率图片(669KB)
下载:下载全尺寸图片
图14. 按类别划分的大麻行业话题情感分析。(关于此图例中颜色的解释,请参阅本文的网页版本。)
供应链相关的情感在建筑类别中最高(0.25),而农业显示出轻微的消极情感(-0.04),表明存在物流或基础设施方面的问题。可持续性话题在大多数类别中都表现出积极情感,特别是在建筑和农业(均为0.22),而其他类别仍略微消极(-0.02)。关于未来的评论在所有类别中都表现出强烈的积极情感,尤其是在建筑(0.56)和农业(0.55)中,反映了人们对大麻长期潜力的乐观态度。
3.4.3. 行业关键词的全面情感分析
为了深入分析,我们检查了行业类别中的关键词级别情感。图15(见附录B)可视化了五个大麻领域的关键词极性和重要性。气泡大小表示关键词频率,颜色反映了情感强度。结果揭示了明确的话语模式:建筑和纺织品在面向未来的和技术相关的术语中表现出主要的积极情感,而CBD和其他类别则显示出更大的两极分化,监管问题引发了消极情感。
在所有类别中,前瞻性关键词始终表现出强烈的积极情感。诸如FUTURE和POTENTIAL这样的术语在建筑(+0.45, +0.32)、纺织品(+0.47, +0.47)、农业(+0.44, +0.37)和CBD(+0.29, +0.26)等积极象限中出现,表明尽管当前市场存在挑战,人们对大麻应用仍抱有抱负的乐观态度。代表性评论说明了这一模式:“大麻有潜力彻底改变可持续建筑材料”(建筑,情感=+0.87)和“纺织品的未来在于天然纤维,如大麻”(纺织品,情感=+0.92)。与技术相关的术语(TECHNOLOGY、MANUFACTURE、CULTIVATION)在多个领域呈现出积极趋势,尤其是在建筑(+0.35)和纺织(+0.39)领域,这表明利益相关者对创新驱动的增长充满信心。可持续性相关的词汇(CARBON、CLIMATE、ENVIRONMENT)则表现出类别依赖性的两极分化:在建筑和纺织领域持积极态度(+0.14至+0.20),但在其他领域则呈现消极态度(-0.35至-0.17),这反映了人们对泛化环境声明的怀疑态度,尤其是在具体应用背景下的质疑。监管和经济相关的关键词在各个领域普遍带有负面情绪。例如,“LAW”在CBD(-0.41)、其他领域(-0.29)、纺织(-0.35)和农业(-0.21)中都表现出强烈的负面倾向,显示出人们对法律框架的普遍不满。一条典型的CBD评论写道:“法律状况一团糟,现在没人知道什么是被允许的”(情绪值=-0.76),这反映了利益相关者对监管模糊性的愤怒。与市场相关的术语(PRICE、SELL、MARKET)也普遍呈现负面趋势,尤其是在CBD领域,显示出明显的商业悲观情绪(SELL:-0.29,PRICE:-0.26,MARKET:-0.22)。建筑领域则是一个例外,其中市场相关的术语如BUSINESS(+0.19)和PROFIT(+0.06)仍保持积极情绪,这与纺织(PROFIT:-0.13)和农业(SELL:-0.12)形成鲜明对比,表明建筑领域的利益相关者认为该行业的商业前景更为乐观。
3.5. 利益相关者群体分析
虽然类别分析能够提供关于受众的见解,但用户层面的特征(如参与时间和参与模式)需要更深入的研究。为了捕捉行为异质性和跨类别的参与情况,我们基于类别比例、主题焦点和参与指标应用了K均值聚类(k=5)。除了基于类别的分类外,我们还进行了用户层面的聚类,以揭示不同的利益相关者群体,如图16所示。分析确定了五个行为群体:E组(政策批评者)几乎完全关注政策问题,D组(农业爱好者)则表现出最高的技术参与度。A组和B组对政策的兴趣最低,这表明行业与政策之间存在脱节。通过K均值聚类(k=5)对所有用户进行行为特征(类别比例、主题焦点、参与指标)的分析,识别出五个不同的利益相关者群体,如图16(a)和(b)所示:
- A组——CBD爱好者,占比21.0%(前5个关键词:“cbd”、“weed”、“thc”、“smoke”、“dry”):几乎完全关注CBD,使用与大麻相关的术语,反映出对产品消费的兴趣而非农业方面的关注。这些用户在2009年至2024年间活跃,2024年的参与度最高(777条评论),情绪中立(+0.107),对政策的关注度最低。主要是单条评论的用户(平均每用户1.02条评论),他们的评论内容多与购买体验相关,例如:“我买了这个来缓解焦虑……第一天使用后感觉好多了”(2020年)。
- B组—— Casual观众,占比45.8%(前5个关键词:“oil”、“seeds”、“protein”、“chia”、“healthy”):人数最多但参与度最低(平均每用户1.01条评论),兴趣分散在纤维(16%)和建筑(14%)领域。他们的情绪值接近零(+0.013),技术关注度也很低(0.2%),表明他们更多是出于好奇而非具备技术专业知识。这些用户在整个时间段(2008-2025年)都活跃,但参与度呈间歇性,例如:“非常欣赏这个概述,看起来是个非常健康的住宅”(2020年)。
- C组——多兴趣领域的积极参与用户,占比4.1%(前5个关键词:“fuel”、“carbon”、“products”、“quality”、“soil”):虽然人数最少,但参与度最高(平均每用户2.59条评论),情绪最为积极(+0.257)。他们的兴趣分布较为均衡(CBD 39%,农业 28%,建筑 21%),同时非常关注可持续性(23%)和技术(38%)。这种跨领域的视角表明这些用户可能是行业专业人士或可持续性倡导者,他们综合了大麻的多种应用。
- D组——农业技术爱好者,占比23.5%(前5个关键词:“soil”、“hempcrete”、“carbon”、“material”、“plastic”):这个群体主要关注农业(53%),同时对技术(82%)和建筑(25%)也有浓厚兴趣。他们的情绪积极(+0.214),参与度也较高(平均每用户1.02条评论),表明他们具备实用的农业知识,并了解其工业应用。他们的活动在2018年农业法案通过后达到高峰,例如:“大麻是一种非常适合再生农业的作物,可以作为轮作中的经济作物”(2021年)。
- E组——政策批评者,占比5.7%(前5个关键词:“legal”、“illegal”、“government”、“law”、“legalize”):这是唯一一个情绪消极的群体(-0.342),几乎完全关注政策问题(99%)。他们的评论主要围绕大麻合法化辩论,而非产品本身的好处。他们在整个时间段都保持活跃,在监管关键节点时有集中讨论,例如:“被禁止的其实是工业用途,而不是娱乐用途。人民的权利一直存在”(2024年)。他们的市场关注度较高(36%),反映出对禁令的经济批评。
A组(仅关注CBD且情绪中立)与E组(通过政策角度看待CBD且情绪消极)之间的差异表明,仅靠类别划分无法充分预测用户的立场——政治框架会将相同的话题转化为对立的观点。D组将“soil”与“hempcrete”联系起来,表明农业利益相关者意识到了大麻的下游工业价值;而C组将可持续性和技术相结合,体现了他们在环境倡导和技术实施之间的桥梁作用。值得注意的是,45.8%的 Casual 观众表明大麻行业的讨论仍然局限于小众专家和短暂关注者之间,限制了知识的传播。
3.6. 回归结果与预测意义
准确预测工业大麻的种植面积对于利益相关者来说至关重要,以便他们能够管理市场波动、规划生产和适应监管变化。为此,我们采用了多元回归模型,该模型结合了从社交媒体讨论中提取的情绪相关外生变量。我们使用了对数线性回归框架,将每年的大麻种植面积与社交媒体讨论中的情绪信号和监管干预措施联系起来。这种回归分析旨在探索情绪动态与宏观生产决策之间的关联,而非进行因果推断。因变量是每年种植面积的自然对数,以稳定方差并适应非线性增长模式。所有连续的情绪变量在模型估计前都经过z分数标准化处理,以确保规模可比性和系数可解释性。最终回归方程为:
Log(Acreage Planted) = 10.35 + 0.15 × CBD_sentiment2 + 0.67 × Farming_sentiment2 + 0.02 × Fiber_sentiment2 - 0.42 × Construction_sentiment2 - 0.42 × Other_sentiment2 + 0.96 × Farm_Bill_20183 - 1.30 × USDA_Final_Rule
情绪变量是通过多阶段聚合得到的。YouTube评论被分为五个类别(CBD、农业、纤维、建筑、其他),然后使用VADER评分系统(范围:-1至+1),按年份平均后进行z分数标准化处理以便解释。两个二元政策指标用于捕捉监管变化:2018年农业法案(2019-2024年)和USDA最终规则(2021-2024年)。
模型开发遵循嵌套规范。基线模型(R2 = 0.000,MAPE = 107.56%)没有解释能力。加入情绪变量后(模型1:R2 = 0.812,MAPE = 34.39%),模型拟合度显著提高。最终模型(模型2)纳入了政策指标(R2 = 0.973,MAPE = 12.71%),似然比检验确认了这一改进(LR = 9.52,p = 0.009)。诊断结果显示模型在样本内的表现良好:没有多重共线性(最大VIF = 2.78),轻微的负自相关(Durbin-Watson = 3.13),残差呈正态分布(Jarque–Bera p = 0.449)。由于观测数据有限(n=10年),置信区间较宽(自由度df = 2)。增量数据实验表明,使用60%的评论训练的模型比使用全部数据的模型预测误差更低(4.88% vs 41.08%),这表明后期讨论中可能存在概念偏差。由于多重共线性(r = 0.78)和自由度有限,我们排除了宏观经济控制变量。表5展示了估计结果。图17展示了模型在整个观测窗口内的表现。
农业情绪与种植面积呈最强的正相关(0.67,p = 0.069),表明情绪每增加一个标准差,种植面积就会增加95%。CBD情绪呈弱正相关(0.15,p = 0.443),纤维情绪几乎无影响(0.02,p = 0.918)。建筑和其他情绪则呈负相关(各为-0.42),需要定性解读。2018年农业法案与种植面积呈正相关(0.96,p = 0.137),而USDA最终规则则呈负相关(-1.30,p = 0.078)。
4. 情绪类别的定性解读
农业情绪的强正相关系数(0.67,p = 0.069)表明消费者信心推动了种植决策。CBD情绪的弱相关系数(0.15,p = 0.443)反映了消费者通过市场中介传递的观点,且存在滞后效应。纤维情绪的接近零的系数表明在2015-2024年CBD主导期间其相关性较低。其他情绪的负相关系数(-0.42)表明相关讨论缺乏预测价值。建筑情绪的负相关系数(-0.42,p = 0.136)虽然统计上不显著,但仍需解释。详细分析揭示了三个原因:首先,许多高情绪值的评论更多是表达愿望而非实际需求;其次,一些评论表达了对未来发展的期待;最后,近期评论指出建筑的可行性取决于整个行业的成熟度。这些现象表明,建筑领域的热情更多是基于对未来发展的期望,而非即时的生产需求。此外,时间上的变化显示了从乐观预期到现实评估的转变:早期评论强调大麻的潜力,而近期讨论则反映了实际应用中的挑战。该指数可以帮助利益相关者(如农民、政策制定者和投资者)预测种植模式的变化,并更好地应对监管和市场不确定性。最终,这项研究不仅有助于理解与大麻相关的话题,还为将数据驱动工具应用于其他面临快速变化、监管不确定性或公众观念演变的行业提供了可扩展的蓝图。
5. 结论与未来研究方向
本研究提出了一个新颖的框架,利用自然语言处理技术分析YouTube评论,揭示工业大麻领域中的新兴情感和主题模式。通过包括评论预处理、关键词分类、特定类别的情感评分和网络分析在内的结构化方法,我们识别了利益相关者在数字生态系统中表达的明确挑战和机遇。我们的分析发现了两个主要主题:一是对监管不一致性的持续不满,特别是关于THC限制和政策环境的变化;二是对大麻在可持续创新中作用日益增长的乐观态度——尤其是在纺织、建筑材料和精准农业领域。主题建模揭示了人们对生产效率低下、供应链瓶颈和气候适应性的关键关切,而网络可视化则展示了政策不确定性、市场波动和投资犹豫等关键问题之间的紧密联系。不同利益相关者和产品类别之间的情感分布显示了感知上的细微差异——例如,对生物基建筑和创新的积极态度较高,而针对农业成本和官僚拖延的负面情绪则较为明显。此外,我们的关键词相关性和重叠分析提供了关于围绕关键问题形成的话语群组的见解,为行业战略响应提供了实时指标。为了进一步评估情感与宏观趋势之间的关系,我们开发了一个回归模型,将年平均情感得分与随后几年种植的大麻面积联系起来。分析显示,情感与种植面积之间存在强烈关联,尤其是在CBD、农业和纤维类别中。这表明这些领域的在线乐观情绪可能成为种植趋势的领先指标。
下载:下载高分辨率图片(379KB)
下载:下载全尺寸图片
图18. 建筑关键词情感分析
在解释这些结果时,应考虑几个限制因素。首先,回归分析依赖于少量的年度观测数据,这限制了残差自由度,并增加了过拟合的风险。因此,这些发现应被视为探索性的而非因果关系的。其次,分析仅基于YouTube评论,这些评论代表了自我选择的一部分利益相关者,可能无法完全反映整个大麻社区的情况。第三,情感仅被分为三个类别,这可能过于简化了利益相关者话语中的情感复杂性。最后,由于大部分数据来自美国用户,观察到的模式可能主要反映了美国特定的监管和市场条件。
尽管这些限制影响了结果的普遍性和因果解释,但它们也直接指出了未来研究的有希望的方向。整合多平台数据源(如Reddit或Twitter)、分析回复链以获取更深入的对话背景,以及应用自适应长度的Transformer模型,可能会带来对利益相关者动态的更深入理解。结合地理标记和利益相关者画像将有助于提高政策干预和推广策略的针对性。最后,将这种数字监听方法与传统调查或实地研究相结合,可以验证研究结果,并促进对大麻供应链中情感演变的全面理解。
总体而言,这项工作为传统数据收集工具提供了可扩展的实时补充——将基于NLP的情感挖掘技术定位为导航复杂且快速变化的大麻行业的重要工具。
**作者贡献声明**
黄一涵:撰写——原始草稿、可视化、验证、软件、方法论、调查、概念化、正式分析。
Md Abdul Quddus:撰写——审阅与编辑、监督、软件、资源、项目管理、方法论、资金获取、概念化、验证、撰写——原始草稿。
David Suchoff:撰写——审阅与编辑、验证。
Md Fashiar Rahman:撰写——审阅与编辑、验证。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号