(原)一次揪心的乱码排查过程-程序员宅基地

技术标签: 网络  开发工具  操作系统  

序)很多时候其实问题很简单,问题在于自己懂得过于肤浅

  项目中需要用到一个功能,机器人模拟和人类聊天,玩家说出一句话之后,机器人本能的和他开始聊天,这破B玩意儿我觉得只要有强大的词库和拆分算法,就那么点东西,但是要自己做还真是压力满满的。于是果断的在网上搜索,轻松的找到了这个东西:

  

 

  这玩意儿给我的第一感觉就是实在,可以,完全能够满足需求,不过貌似它没有提供接口,这不是事儿,果断的翻网页源码,找到post的地方,是一个ajax的post请求,带了一个参数,很简单,于是果断的来个java模拟HTTP,分分钟搞定,写了个junit测试下:

  

 

  10分钟就搞定了一个智能聊天机器人,本来以为问题就解决了,于是轻松的部署到jetty去,鄙人对jetty绯闻挺多了,websocket中的EOF曾经就搞了很久,部署上去之后,果断开始使用安卓端测试下,客户端发了一个:你好,另一个客户端收到:骞茶帿瀛�

  明显是乱码了,感觉debug一下:

  

 

  可以看到接受到http的返回值的时候已经乱码了,在此过程中经历过如下步骤:

  发出http请求 ---> 第三方接口http返回值 --> 本地jetty容器接受二进制流 --> jetty根据容器编码重新编码二进制数据 --> Java InputStream接受jetty编码之后的流 --> java将其转换成String

 

  于是我们看到了一个String的返回值,而这个返回值乱码,一般在汉字乱码中分为两种情况:

  1:骞茶帿瀛�  这样的乱码其实不叫乱码,而是数据不是我们想要的,因为我们要的是A却显示成了B,这样的原因主要是因为编码格式不正确导致

  2:?????  全是问号的乱码应该很多人都遇见过,这样的东西应该才是算乱码,为什么会出现?。因为字节内的东西无法用一个汉字展示出来,也就是找不到汉字对应这个内容,于是这样的东西会以?的形式展示出来,官方的称呼就是编码黑洞,对应的二进制数据为63,转换后就是一个?

 

  根据情况来看自己遇到的是第一种,于是有点疑惑,管他的,来个强转:

  

   ChangeCharset changeCharset = new ChangeCharset();
        try {
            result = changeCharset.toUTF_8(URLDecoder.decode(result, "UTF-8"));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        return result;

  管你什么编码,哥给你来个统一,于是美滋滋的再次打开客户端测试,又出现了另外一种情况:

 

  

机器人说:你好爱你哦亲??

  妈了个巴子,居然有部分乱码,于是继续测试想找出规律,后来果然发现规律,只要过来的数据是偶数个,则不会乱码,若是奇数个,则最后一个汉字乱码,乱码的形式是固定的?,来了一个?,我靠,今天两种情况都遇到了,本以为很简单的东西居然卡在了编码的地方,苦思冥想,很明显是容器编码问题,很SB的解决方法也很简单,判断下是不是奇偶,不是偶数加个东西就行了。

 

  但是想搞明白为什么是最后一个字乱码,突然想到一个东西,UTF-8中,一个汉字3个字节,GBK中一个汉字2个字节,我好像明白了什么。。

 

  因为jetty容器默认是按照系统编码来决定容器编码,前提是没有自己修改启动编码,而公司里我台PC是windows的,好像默认GBK的,反正我对windows绯闻也挺多的,于是这里有一个问题,比如jetty接受到了一串经过UTF-8编码的汉字:

  我很好

  jetty收到的最原始的二进制数组是这样的:

  [-26, -120, -111, -27, -66, -120, -27, -91, -67]

  当然这不是最原始的,最原始的0和1,当然为了好看就算他是最原始的吧,下一步jetty要开始编码了,按照jetty的GBK编码,他按照2个字节一个汉字的格式去编码,于是出现了这样的组合:

  [-26, -120]  [ -111, -27]  [-66, -120]  [-27, -91]  [-67]

  前面每两个字节都能找到对应的汉字,最后jetty发现最后居然只有一个字节,找不到对应的汉字,心里想这SB是哪来的,于是jetty放弃它了,把它赶出去,把63丢过去,于是最后的组合成了:

  [-26, -120]  [ -111, -27]  [-66, -120]  [-27, -91]  [63]

  经过GBK的格式编码,两个字节对应一个汉字,就显示出了这样的东西:

  骞茶帿瀛

  会出现5个,因为每2个字节代表一个汉字,最后一个字节是63,对应的符号是?,就出现了上面的东西,于是我对它做了强制的UTF-8编码,导致上面的二进制数组重新组合,经过UTF-8的组合之后,二进制数组成了这样:

  [-26, -120, -111] [-27, -66, -120] [-27, -91, 63]

  再经过UTF-8显示之后,变成了这样:

  我很�?

  前6个字节能够正常的显示出汉字,因为那就是真正的数据,然而最后3个字节,已经被GBK处理了,替换过了,即使使用UTF-8也无法还原它原来的容貌,于是它就显示成了上面的样子,但是为什么偶数不会出错?

  因为偶数能够被GBK正常的解码,也就是如果汉字是偶数,UTF-8和GBK是等同的,但是如果是奇数,则就出问题了,这也是传说中的最后一个汉字乱码的问题,因为最后一个 字节始终是63,要解决这个问题,必须要治标还要治本,项目中必须全程保证编码一致性,因为我这个项目是游戏服务器,走的WebSocket,要是Servlet可以直接在Servlet里面处理或者Filter处理。

  不同的编码方式,处理逻辑不一样,很多时候我们强转看似解决了问题,其实只是问题没有暴漏出来,知道其根本,方能运筹帷幄之中,决胜千里之外。

 

  扯点题外话,前几天半夜不知道抽了什么风,将Centos升级到了6.6,结果在6.6下eclipse全部打不开,全是fatal级别的错误,反正不是我等闲人能解决的,那一次更新下载的更新包是1.4GB,明显是系统兼容性的问题,我了个擦,于是想到一代码农不能死于eclipse下,于是折腾下了VIM,弄了几个插件。虽然以前也用VIM,但是没有这次这么正式,弄了下发现其实这玩意儿相当优秀,基本除了eclipse的打断点Debug,其他和他差不多,写C/C++更快,一个\im过去整个文件注释main整体就起来了,相当便捷,另外Linux下的UI也相当不错,特别是DUCK桌面,和Mac基本差不多,甚至你可以用java写出这样的东西:

  

  对于程序猿,Linux是个好东西,有喜欢试水的朋友,可以试试。

  附上最近给自己系统加了DUCK美容后的美照:

  

  

 

结语)其实这个问题很简单,只是当时太SB,想想就揪心。。

  

  

转载于:https://www.cnblogs.com/bfchuan/p/4083548.html

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_33811539/article/details/93588647

智能推荐

51单片机的中断系统_51单片机中断篇-程序员宅基地

文章浏览阅读3.3k次,点赞7次,收藏39次。CPU 执行现行程序的过程中,出现某些急需处理的异常情况或特殊请求,CPU暂时中止现行程序,而转去对异常情况或特殊请求进行处理,处理完毕后再返回现行程序断点处,继续执行原程序。void 函数名(void) interrupt n using m {中断函数内容 //尽量精简 }编译器会把该函数转化为中断函数,表示中断源编号为n,中断源对应一个中断入口地址,而中断入口地址的内容为跳转指令,转入本函数。using m用于指定本函数内部使用的工作寄存器组,m取值为0~3。该修饰符可省略,由编译器自动分配。_51单片机中断篇

oracle项目经验求职,网络工程师简历中的项目经验怎么写-程序员宅基地

文章浏览阅读396次。项目经验(案例一)项目时间:2009-10 - 2009-12项目名称:中驰别克信息化管理整改完善项目描述:项目介绍一,建立中驰别克硬件档案(PC,服务器,网络设备,办公设备等)二,建立中驰别克软件档案(每台PC安装的软件,财务,HR,OA,专用系统等)三,能过建立的档案对中驰别克信息化办公环境优化(合理使用ADSL宽带资源,对域进行调整,对文件服务器进行优化,对共享打印机进行调整)四,优化完成后..._网络工程师项目经历

LVS四层负载均衡集群-程序员宅基地

文章浏览阅读1k次,点赞31次,收藏30次。LVS:Linux Virtual Server,负载调度器,内核集成, 阿里的四层SLB(Server Load Balance)是基于LVS+keepalived实现。NATTUNDR优点端口转换WAN性能最好缺点性能瓶颈服务器支持隧道模式不支持跨网段真实服务器要求anyTunneling支持网络private(私网)LAN/WAN(私网/公网)LAN(私网)真实服务器数量High (100)High (100)真实服务器网关lvs内网地址。

「技术综述」一文道尽传统图像降噪方法_噪声很大的图片可以降噪吗-程序员宅基地

文章浏览阅读899次。https://www.toutiao.com/a6713171323893318151/作者 | 黄小邪/言有三编辑 | 黄小邪/言有三图像预处理算法的好坏直接关系到后续图像处理的效果,如图像分割、目标识别、边缘提取等,为了获取高质量的数字图像,很多时候都需要对图像进行降噪处理,尽可能的保持原始信息完整性(即主要特征)的同时,又能够去除信号中无用的信息。并且,降噪还引出了一..._噪声很大的图片可以降噪吗

Effective Java 【对于所有对象都通用的方法】第13条 谨慎地覆盖clone_为继承设计类有两种选择,但无论选择其中的-程序员宅基地

文章浏览阅读152次。目录谨慎地覆盖cloneCloneable接口并没有包含任何方法,那么它到底有什么作用呢?Object类中的clone()方法如何重写好一个clone()方法1.对于数组类型我可以采用clone()方法的递归2.如果对象是非数组,建议提供拷贝构造器(copy constructor)或者拷贝工厂(copy factory)3.如果为线程安全的类重写clone()方法4.如果为需要被继承的类重写clone()方法总结谨慎地覆盖cloneCloneable接口地目的是作为对象的一个mixin接口(详见第20_为继承设计类有两种选择,但无论选择其中的

毕业设计 基于协同过滤的电影推荐系统-程序员宅基地

文章浏览阅读958次,点赞21次,收藏24次。今天学长向大家分享一个毕业设计项目基于协同过滤的电影推荐系统项目运行效果:项目获取:https://gitee.com/assistant-a/project-sharing21世纪是信息化时代,随着信息技术和网络技术的发展,信息化已经渗透到人们日常生活的各个方面,人们可以随时随地浏览到海量信息,但是这些大量信息千差万别,需要费事费力的筛选、甄别自己喜欢或者感兴趣的数据。对网络电影服务来说,需要用到优秀的协同过滤推荐功能去辅助整个系统。系统基于Python技术,使用UML建模,采用Django框架组合进行设

随便推点

你想要的10G SFP+光模块大全都在这里-程序员宅基地

文章浏览阅读614次。10G SFP+光模块被广泛应用于10G以太网中,在下一代移动网络、固定接入网、城域网、以及数据中心等领域非常常见。下面易天光通信(ETU-LINK)就为大家一一盘点下10G SFP+光模块都有哪些吧。一、10G SFP+双纤光模块10G SFP+双纤光模块是一种常规的光模块,有两个LC光纤接口,传输距离最远可达100公里,常用的10G SFP+双纤光模块有10G SFP+ SR、10G SFP+ LR,其中10G SFP+ SR的传输距离为300米,10G SFP+ LR的传输距离为10公里。_10g sfp+

计算机毕业设计Node.js+Vue基于Web美食网站设计(程序+源码+LW+部署)_基于vue美食网站源码-程序员宅基地

文章浏览阅读239次。该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程。欢迎交流项目运行环境配置:项目技术:Express框架 + Node.js+ Vue 等等组成,B/S模式 +Vscode管理+前后端分离等等。环境需要1.运行环境:最好是Nodejs最新版,我们在这个版本上开发的。其他版本理论上也可以。2.开发环境:Vscode或HbuilderX都可以。推荐HbuilderX;3.mysql环境:建议是用5.7版本均可4.硬件环境:windows 7/8/10 1G内存以上;_基于vue美食网站源码

oldwain随便写@hexun-程序员宅基地

文章浏览阅读62次。oldwain随便写@hexun链接:http://oldwain.blog.hexun.com/ ...

渗透测试-SQL注入-SQLMap工具_sqlmap拖库-程序员宅基地

文章浏览阅读843次,点赞16次,收藏22次。用这个工具扫描其它网站时,要注意法律问题,同时也比较慢,所以我们以之前写的登录页面为例子扫描。_sqlmap拖库

origin三图合一_神教程:Origin也能玩转图片拼接组合排版-程序员宅基地

文章浏览阅读1.5w次,点赞5次,收藏38次。Origin也能玩转图片的拼接组合排版谭编(华南师范大学学报编辑部,广州 510631)通常,我们利用Origin软件能非常快捷地绘制出一张单独的绘图。但是,我们在论文的撰写过程中,经常需要将多种科学实验图片(电镜图、示意图、曲线图等)组合在一张图片中。大多数人都是采用PPT、Adobe Illustrator、CorelDraw等软件对多种不同类型的图进行拼接的。那么,利用Origin软件能否实..._origin怎么把三个图做到一张图上

51单片机智能电风扇控制系统proteus仿真设计( 仿真+程序+原理图+报告+讲解视频)_电风扇模拟控制系统设计-程序员宅基地

文章浏览阅读4.2k次,点赞4次,收藏51次。51单片机智能电风扇控制系统仿真设计( proteus仿真+程序+原理图+报告+讲解视频)仿真图proteus7.8及以上 程序编译器:keil 4/keil 5 编程语言:C语言 设计编号:S0042。_电风扇模拟控制系统设计