带货视频评论洞察 Baseline 学习笔记 (Datawhale Al夏令营)
一、 项目认识
背景：
电商直播/短视频已积累大量「视频 + 评论」数据，蕴含了消费者的真实反馈。
目标：
通过「商品识别 → 情感分析 → 评论聚类」三步，辅助品牌洞察、网红投放评估。
二、 Baseline 代码流程
1. 读取和预处理
video_data = pd.read_csv("origin_videos_data.csv")
comments_data = pd.read_csv("origin_comments_data.csv")
video_data["text"] = video_desc + " " + video_tags # 拼接文本2. 商品识别
pipeline = make_pipeline(TfidfVectorizer(tokenizer=jieba.lcut, max_features=50),SGDClassifier()
)
pipeline.fit(labeled_text, labeled_product)
video_data["product_name"] = pipeline.predict(video_data["text"])实现思路： TF-IDF + 线性分类器（SGD）做二分类
简化点：仅用了 50 个特征，无额外的清洗。
3. 意图分类（四个模型）
for col in ["sentiment_category", "user_scenario", "user_question", "user_suggestion"]:pipeline = make_pipeline(TfidfVectorizer(tokenizer=jieba.lcut), SGDClassifier())pipeline.fit(train_text, train_label)comments_data[col] = pipeline.predict(all_text)4. 评论聚类 & 主题词抽取 （5个维度进行执行）
pipeline = make_pipeline(TfidfVectorizer(tokenizer=jieba.lcut), KMeans(n_clusters=2))
pipeline.fit(subset_text)
labels = pipeline.predict(subset_text)
top_words = (" ".join(前 10 重要词)) # 每簇
comments_data[target_theme_col] = [top_words[label] for label in labels]大赛要求： 要求 5 - 8 个簇，目前项目仅用了 n_clusters = 2。
调整策略：将 n_clusters 进行优化调整，让其等于 5-8 之间，进行优化。
5. 结果导出
video_data[["video_id", "product_name"]].to_csv("submit/submit_videos.csv", index=False)
comments_data[导出列].to_csv("submit/submit_comments.csv", index=False)
!zip -r submit.zip submit/三、 技术分析
1. 分词 & 特征
jieba + TfidfVectorizer： 适配中英文及 emoji/特殊符号。
2. 商品识别
SGDClassifier： 快速迭代、可在线学习。
3. 意图分类
多个 SGDClassifier： 训练速度快，支持稀疏特征。
4. 聚类
KMeans： 易解释、效率高。
5. 主题词抽取
中心向量前 N 词： 简单直观。
四、Baseline 局限 & 提升方向
1. 文本预处理缺失：大小写、URL、表情、停用词均未处理。
2. 模型简单：全部采用线性/常规模型，难以捕捉深层语义。
3. 聚类数量不合规：固定 2 簇，势必影响 100 分聚类子任务。
4. 未利用多语言特性：数据包含中/英/日/韩等多语，分词器不统一。
5. 评价指标未在本地计算：无法提前验证得分。
五、学习收获
1. 端到端管线思维：一个 Notebook 覆盖读取→标注数据利用→预测→聚类→提交文件的完整链路，是参赛 Baseline 的典型范式。
2. 快速原型：Scikit-learn + jieba 几行代码即可跑通 baseline，利于早期验证。
3. 实验可重复：全部步骤在 Notebook 内显式记录，方便 debug / 复现。
4. 评测视角：先满足格式与流程正确，再逐步优化指标 —— 典型竞赛节奏。
5. 改进空间评估：通过阅读代码可迅速定位性能瓶颈，为后续升级指明方向。