首页 > 代码库 > 一个开源的从图片生成文本描述的工具：NeuralTalk
一个开源的从图片生成文本描述的工具：NeuralTalk
简介
斯坦福大学建立了一个可以对图像内容产生自然语言描述的模型NeuralTalk，它是一个开源的Python工具，它可以从图像生成文本描述。它实现了Google (Vinyals等，卷积神经网络CNN + 长短期记忆LSTM) 和斯坦福 (Karpathy and Fei-Fei， CNN + 递归神经网络RNN)的算法。它可以从一副图像用递归神经网络（LSTM或RNN）得到一句描述这幅图像的话。
这个项目包含的Python+ numpy的源代码，通过多层递归神经网络从图像生成自然语言描述。
依赖:
Python 2.7, numpy, scipy, nltk, argparse
指引
得到代码。从这里 $ git clone 它的 repo
获取的数据。它在repo中不提供。点击打开链接下载data/中的数据，此外，本下载不包括原始图像文件，所以如果你想以可视化的原始图像的注释，你必须获得Flickr8K/ Flickr30K/ COCO的图像并放到相应的数据文件夹。原始图像下载:http://nlp.cs.illinois.edu/HockenmaierGroup/ (要填表)
训练模型。运行python driver.py
监测训练。运行本地Web服务器（如python -m SimpleHTTPServer 8123），然后打开http://localhost:8123/monitorcv.html。
评估模型检查点.。运行python evaluate_sentence_predctions.py+检查点路径。
可视化的预测。使用附带的HTML文件visualize_result_struct.html可视化的评估代码生成的JSON结构。这将可视化的图像和它们的文本描述。请注意，你必须先下载原始图像，并将它们放到相应的数据/文件夹。
我下载的是flickr8k的数据集
效果如下:
更多详情请戳
https://github.com/karpathy/neuraltalk
一个开源的从图片生成文本描述的工具：NeuralTalk
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。