技术标签: # U-Net tensorflow 深度学习 keras
论文地址:https://arxiv.org/abs/1505.04597
代码地址:https://github.com/zhixuhao/unet
CUDA 8.0
cuDNN
Tensorflow 1.2.1
Keras 2.0.6
Python 3.5
# 创建虚拟环境
conda create -n u-net python=3.5
conda activate u-net
# 安装依赖
pip install tensorflow-gpu==1.2.1
pip install keras==2.0.6
pip install scikit-image
conda install numpy
conda install h5py
可以运行一下代码中自带的数据集 membrane 看看:
python main.py
正常训练的话是这个样子:
main.py
是执行训练的主文件,其中:
data_gen_args
定义了数据扩充操作trainGenerator
前四个参数分别为 1)训练的 batch_size,2)训练文件的主路径,3)训练图像的文件夹名称,4)训练图像对应标签的文件夹名称,接下来分别是 5)数据扩充操作,6、7)图像、标签的色彩模式,8、9)图像、标签的保存路径,10)是否多类别,11)类别个数(num_class 大于 2 的就属于多类别,flag 就应该设置为 True),12)是否保存,13)图片大小在 ~/unet-master/data
下创建自己的数据集文件夹,比如 mydata
。在 mydata 下创建 train
和 test
文件夹用于存放训练和测试数据。其中 train/image
和 train/label
中分别存放训练图像和对应的标签。test
下直接放所有测试图像即可。
(1)修改训练文件路径及 batch size
myGene = trainGenerator(10,'data/mydata/train','image','label',data_gen_args,save_to_dir = None)
(2)修改 checkpoint 保存名称
model_checkpoint = ModelCheckpoint('unet_mydata.hdf5', monitor='loss',verbose=1, save_best_only=True)
(3)修改训练 epoch
model.fit_generator(myGene,steps_per_epoch=80,epochs=100,callbacks=[model_checkpoint],class_weight={
1,245,245,245})
steps_per_epoch
是每个 epoch 要迭代多少次,比如训练图像有 800 张,设训练 batch 为 10 的话,steps 就是 800 / 10 = 80;epochs
为训练的 epoch 数,这里设为了 100;(4)修改测试路径
testGene = testGenerator("data/mydata/test")
# 测试图片有 400 张
results = model.predict_generator(testGene,400,verbose=1)
saveResult("data/mydata/test",results)
python main.py
另外,使用自己定义的 loss 函数,就在 model.py
修改使用的 loss 函数
model.compile(optimizer = Adam(lr = 1e-4), loss = 'ACLoss', metrics = ['accuracy'])
然后相应地,通过上面的 compile 找到了损失函数定义的 losses.py
文件,把自己的 loss 函数加进去就可以啦,输入参数为 (y_pred, y_true)
源代码训练单类别,也就是只有前景(1)和背景(0)时没有问题,但是在进行多类别分割时报错:
ValueError: Error when checking target: expected conv2d_24 to have 4 dimensions, but got array with shape (5, 65536, 4)
原因:查了下原因是这个代码不适用于多类分割任务,参考了这篇文章,对代码做出修改。
解决:
(1)修改数据处理文件 data.py
def adjustData(img,mask,flag_multi_class,num_class):
if(flag_multi_class):
img = img / 255
mask = mask[:,:,:,0] if(len(mask.shape) == 4) else mask[:,:,0]
new_mask = np.zeros(mask.shape + (num_class,))
for i in range(num_class):
#for one pixel in the image, find the class in mask and convert it into one-hot vector
#index = np.where(mask == i)
#index_mask = (index[0],index[1],index[2],np.zeros(len(index[0]),dtype = np.int64) + i) if (len(mask.shape) == 4) else (index[0],index[1],np.zeros(len(index[0]),dtype = np.int64) + i)
#new_mask[index_mask] = 1
new_mask[mask == i,i] = 1
# 对这里进行了修改
new_mask = np.reshape(new_mask,(new_mask.shape[0],new_mask.shape[1],new_mask.shape[2],new_mask.shape[3])) if flag_multi_class else np.reshape(new_mask,(new_mask.shape[0]*new_mask.shape[1],new_mask.shape[2]))
mask = new_mask
elif(np.max(img) > 1):
img = img / 255
mask = mask /255
mask[mask > 0.5] = 1
mask[mask <= 0.5] = 0
return (img,mask)
(2)修改模型文件 model.py
第大约第 53 行,因为报错中的 conv2d_24
实际就是 conv10
,这里第一个参数 1
就是我们的类别数,将其修改为自己的类别数量即可。
# 将源代码:
conv10 = Conv2D(1, 1, activation = 'sigmoid')(conv9)
# 修改为:
conv10 = Conv2D(4, 1, activation = 'sigmoid')(conv9)
(3)修改损失函数:源代码使用的是二元交叉熵,不适用于多类别分割问题,故这里改为 Dice loss。
# data.py line 39
new_mask = np.reshape(new_mask,(new_mask.shape[0],new_mask.shape[1],new_mask.shape[2],new_mask.shape[3])) if flag_multi_class else np.reshape(new_mask,(new_mask.shape[0]*new_mask.shape[1],new_mask.shape[2]))
# model.py line 53
conv10 = Conv2D(4, 1, activation = 'sigmoid')(conv9)
【1】 ImportError: cannot import name 'tf_utils'
原因:keras 和 tensorflow 版本不兼容。
解决:tensorflow 1.2.1 和 keras 2.0.6 是 OK 的。
pip install tensorflow-gpu==1.2.1
pip install keras==2.0.6
=========================================================
【2】ImportError: `save_model` requires h5py
解决:安装 h5py:conda install h5py
=========================================================
【3】 tensorflow.python.framework.errors_impl.InternalError: Blas GEMM launch failed
原因:GPU 被占用
解决:确保一下 GPU 足够用呀~
=========================================================
【4】
Traceback (most recent call last):
File "main.py", line 21, in <module>
results = model.predict_generator(testGene,30,verbose=1)
File "/data/zyy/usr/local/anaconda3/envs/u-net/lib/python3.5/site-packages/keras/legacy/interfaces.py", line 87, in wrapper
return func(*args, **kwargs)
File "/data/zyy/usr/local/anaconda3/envs/u-net/lib/python3.5/site-packages/keras/engine/training.py", line 2067, in predict_generator
generator_output = next(output_generator)
StopIteration
Traceback (most recent call last):
File "/data/zyy/usr/local/anaconda3/envs/u-net/lib/python3.5/threading.py", line 914, in _bootstrap_inner
self.run()
File "/data/zyy/usr/local/anaconda3/envs/u-net/lib/python3.5/threading.py", line 862, in run
self._target(*self._args, **self._kwargs)
File "/data/zyy/usr/local/anaconda3/envs/u-net/lib/python3.5/site-packages/keras/utils/data_utils.py", line 560, in data_generator_task
generator_output = next(self._generator)
StopIteration
原因不知道,参考以下回答:
[1] https://github.com/zhixuhao/unet/issues/130
[2] https://stackoverflow.com/questions/46302911/what-raises-stopiteration-in-mine-keras-model-fit-generator
解决:
(1)根据 2067 行的报错,找到 training.py
代码中第 2003 行,将 max_queue_size
设置为 1
def predict_generator(self, generator, steps,
max_queue_size=1, # modified
workers=1,
use_multiprocessing=False,
verbose=0):
=========================================================
【5】 Lossy conversion from float32 to uint8. Range [0, 1]. Convert image to uint8 prior to saving to suppress this warning.
原因:关于精度的警告,就是说从 float32 直接保存为 uint8 类型可能会损失精度。参考:https://www.jianshu.com/p/84b825b9e8a3
解决:将 image 转换为 uint8 类型。修改 data.py
最后的保存函数:
from skimage import img_as_ubyte
def saveResult(save_path,npyfile,flag_multi_class = False,num_class = 2):
for i,item in enumerate(npyfile):
img = labelVisualize(num_class,COLOR_DICT,item) if flag_multi_class else item[:,:,0]
io.imsave(os.path.join(save_path,"%d_predict.png"%i),img_as_ubyte(img)) # modified
不过仍然会报一个警告,总比每张图片都有警告好
UserWarning: Possible precision loss when converting from float32 to uint8 .format(dtypeobj_in, dtypeobj_out))
=========================================================
文章浏览阅读5.8w次,点赞2次,收藏7次。今天装完常用软件后,准备一键备份一下系统,就从一键GOST官网下载安装了一键GHOST,安装完成之后提示不支持UEFI+GPT格式系统,但仍可以使用,就没在意,也没卸载,接着就重启电脑试一试,结果就出现了无法进入系统引导的情况。 折腾一番BIOS之后,发现只需要按F7(我的笔记本主板选择启动方式或者说选择启动盘的快捷键是F7键,具体哪个按键根据自己电脑主板选择),选择windows_一键ghost不支持uefi+gpt
文章浏览阅读339次。—Xss:规定了每个线程虚拟机栈的大小,会影响此进程中并发的线程数。—Xms:堆得初始值。—Xmx:堆能达到的最大值。一般Xms与Xmx的值设置的一样大小,当堆不够用进行扩容时会发生内存抖动,影响程序运行的稳定性。..._jvm三大性能调优参数
文章浏览阅读884次。写一个按钮,点击事件,然后:1.调用代码: openCamera(this);2.粘贴以下代码实现拍照 public void openCamera(Activity activity) { //獲取系統版本 int currentapiVersion = android.os.Build.VERSION.SDK_INT; // 激活相机 Intent intent = new Intent(MediaStore.ACT.._android studio如何调用摄像头
文章浏览阅读321次。DragonBones发布后的动画,加载到Egret中场景中,原点的位置在哪呢?DragonBones中的图片位置导出加载到Egret中。可见DragonBones中的图片位置原点左下方(0,0)对应着Egret中的左上角(0,0)将DragonBones中的图片位置调整到左上导出发布到Egret中,圆球..._龙骨动画里如何更改中心点
文章浏览阅读1.6k次。Cow ContestTime Limit: 1000MSMemory Limit: 65536KTotal Submissions: 8986Accepted: 5045DescriptionN (1 ≤ N ≤ 100) cows, conveniently numbered 1..N, are partici_poj 3660 并查集
文章浏览阅读123次。try-except语句允许我们编写能够应对异常的代码块。在try代码块中编写可能会引发异常的代码,而在except代码块中编写处理异常的代码。try:# 可能会引发异常的代码# ...# 异常处理代码# ...```在这个结构中,如果`try`代码块中的代码引发了`ExceptionType`类型的异常,Python将跳转到相应的`except`代码块中执行异常处理代码。## 示例让我们通过一个简单的示例来说明`try-except`语句的用法。
文章浏览阅读1.2k次,点赞27次,收藏29次。错误。看了网上的一些博客,并follow了解决方案,结果导致误删文件。误删该文件以后,因为很多功能不可用,所以又脑残的把系统重启了,然后,,,,,,,就进不了系统了。文件误删并重启后,在进入系统的过程中出现一个白色光标在屏幕左上角闪动,然后就一直闪动而无法进入系统,(在出现白色光标之前,可以打开BIOS)。_linux libstdc++.so.文件
文章浏览阅读487次。allegro等长走线_等长线路径上有元器件
文章浏览阅读410次。目录 Typora官方Markdown教程翻译 概述 块级元素 段落和换行符 标题 引文区块 列表 任务列表 (隔绝的)代码区块 数学区块 表格 脚注 ..._typora翻译
文章浏览阅读214次。23-295、STM32单片机直流电压检测报警系统设计-分压-LCD1602-声光BELL-WiFi本系统由STM32单片机核心板、电压采集、LCD1602液晶、蜂鸣器、LED灯、WiFi模块组成。1、通过单片机检测电压(15V内)并在1602液晶上显示。2、电压显示最小单位0.01V。3、将液晶显示的数据通过WiFi模块实时上传到手机WiFi串口助手APP。4、当检测电压超过电压阈值则声光报警。5、通过手机APP发送直流可以设置阈值。wifi命令:*SV1234# //设置为12.34
文章浏览阅读495次,点赞12次,收藏9次。3、 依次点击打开【 本地计算机配置 】-【 管理模板 】-【 Windows组件 】-【 Microsoft Defender防病毒 】;4、 双击【 Windows Defender 】,在右侧选择【 关闭 Microsoft Defender 防病毒 】选项;2、 在弹出的运行工具中,输入组策略命令【 gpedit.msc 】,并点击确定;5、 在弹出的对话框中,选择【 已启用 】选项,并点击下方【 确定 】即可。就是好不容易下载了个文件,windows安全中心直接给我删了,很搞心态。_关闭 阿里云电脑的 microsoft defender
文章浏览阅读1w次,点赞39次,收藏198次。&lt;!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"&gt;&lt;html xmlns="http://www.w3.org/1999/xhtml"&am_茶文化网页设计源代码