橫瓜執導眾程序員開展大討論關于C、JAVA及其它主流IT技術使用情況和優點缺點。

?

遙執乾坤(44758121)??18:21:23
mysql據說只能使用一個索引，我這里幾乎所有字段都有索引。
但每個字段就算用索引，也需要掃描至少100w以上記錄。
橫瓜(601069289)??18:23:12
mysql支持16個索引
對1-3字段索引屬于優質的數據庫結構
橫瓜(601069289)??18:24:56
再多了,就是數據庫結構設計不合理
橫瓜(601069289)? 17:53:15

?

處理大數據，對于計算要放應用層
不要采用SQL執行計算,可以垂直分解應用業務和復雜計算
橫瓜(601069289)? 17:54:50
如果數據量特別大,請采用水平方式來分解應用業務和復雜計算
采用水平方式來分解應用業務和復雜計算，可處理TB級的數據量,為全世界提供信息服務
橫瓜(601069289)? 17:59:20
采用普通PC+固態硬盤+水平分解業務+緩存+LINUX2.4以上的版本+接入層請求分發均衡
~游濄丿群鴨(39012090) 2013-6-28 10:49:07
java 是有些東西做不了
上海-石頭哥(59851444) 2013-6-28 10:49:21
?靠！
當然了
人也有些東西做不了
這些都是正常的
做驅動程序 就不適合用java
Glory(1302516908) 2013-6-28 10:50:30
唉，不說了，都是血淚，這么多年，繞不開java的隊伍，都是血淚，和java隊伍搭班子太累
上海-石頭哥(59851444) 2013-6-28 10:50:43
你沒遇到對的人
不是java的問題
最難相處也是人
~游濄丿群鴨(39012090) 2013-6-28 10:51:03
比如讓c c++來做web的前端開發，會不會比較麻煩？
上海-石頭哥(59851444) 2013-6-28 10:51:12
會
北京-普通人(409031406) 2013-6-28 10:51:26
誰會用c++，c做前端
~游濄丿群鴨(39012090) 2013-6-28 10:51:44
是的咯
北京-普通人(409031406) 2013-6-28 10:53:23
c++、c配合JAVA或者PHP啥的，都挺好的嘛，c服務端數據處理
Glory(1302516908) 2013-6-28 10:53:27
有做java的嗎？
請教個問題
遙執乾坤(44758121) 2013-6-28 10:53:56
java至少用過5-6年的才能做事情。用3年以下的人，很喜歡弄一堆構架進去，啥spring, hibernate, structs。。。做企業級應用，這些都是垃圾東西。
Glory(1302516908) 2013-6-28 10:54:08
一個小狗屁項目，hibernate配置數據庫，就比直接寫數據庫訪問快？
遙執乾坤(44758121) 2013-6-28 10:54:56
大公司也不用這些東西，因為前后分離，ao dao分離，無法用他們。
然后剩下的就只有沒有經驗的人，天天被那幫所謂的學校老師忽悠，以為這些很牛叉。
Glory(1302516908) 2013-6-28 10:55:29
乾坤說的太對了
北京-普通人(409031406) 2013-6-28 10:56:03
不比直接寫數據庫快。
~游濄丿群鴨(39012090) 2013-6-28 10:56:09
hibernate 比較適合通用
空/卡皮(501968942) 2013-6-28 10:56:11
大家在批判學校的？
Glory(1302516908) 2013-6-28 10:56:14
弄一堆東西進去，來個新功能，發現無法套那堆東西，然后告訴你：java實現不了，java就這么被惡心了
~游濄丿群鴨(39012090) 2013-6-28 10:56:28
有些公司就喜歡一勞永逸。搞個hibernate就可以通用任何數據庫
不用你在重新重寫sql
遙執乾坤(44758121) 2013-6-28 10:57:35
問題是，正規的公司幾乎都是mysql。。。 oracle那么貴，一般人根本用不起。
~游濄丿群鴨(39012090) 2013-6-28 10:58:10
就像你說的企業開發，就特別喜歡用hibernate
比如 DB2 INFORMIX
等亂起八糟的數據庫都會碰到
Glory(1302516908) 2013-6-28 10:58:36
企業應用，那也可以理解了
我他媽做個自家的系統，硬件都是自己配的，別說軟件了，程序員也非得弄進這一套來，這不是找罵？
~游濄丿群鴨(39012090) 2013-6-28 10:59:35
不過hibernate可以和 直接寫sql 混用
遙執乾坤(44758121) 2013-6-28 10:59:40
調用別人的數據庫是最痛苦的事情。。。
~游濄丿群鴨(39012090) 2013-6-28 11:00:44
我估計是 那個程序員用慣了hibernate，因為它也幫助程序員少些代碼。
~游濄丿群鴨(39012090) 2013-6-28 11:00:53
甚至不用寫sql
Glory(1302516908) 2013-6-28 11:02:02
這就出來問題了——部分java程序員招罵第一原因：套路化
廣州-恒-java(821600682) 2013-6-28 11:02:14
公司開發一套通用的，現場部署時數據庫可能是別人的，表名，字段名可能不一樣，ORM這個個人感覺還是有需要的。。
上海-石頭哥(59851444) 2013-6-28 11:02:36
你們一味的罵是因為不適合你們
Glory(1302516908) 2013-6-28 11:02:45
就像彪哥打架，一套熱身還沒打完，人家一腳踢到褲襠，你已經趴下了
上海-石頭哥(59851444) 2013-6-28 11:02:51
結合自己的觀點
遙執乾坤(44758121) 2013-6-28 11:03:17
框架的確不適合啥東西都是自己的。
~游濄丿群鴨(39012090) 2013-6-28 11:03:23
框架有適用范圍，具體用不用。還不是老大說得算
遙執乾坤(44758121) 2013-6-28 11:03:37
但如果數據庫都是別人的，那就最好用個來屏蔽差異了。
北京-普通人(409031406) 2013-6-28 11:03:38
如果覺得hibernate不好用，可以直接開發ORM，很多公司也會自己封裝自己的orm。其實hibernate優勢還是慢多的
滿多的
上海-石頭哥(59851444) 2013-6-28 11:03:44
hibernate在快速開發上還是有很強大的，也很自動，不過要完全用得游刃有余，那絕對是高手所為，我其實不建議新生用
Glory(1302516908) 2013-6-28 11:03:54
再一個就是霸王硬上弓，前一陣碰上一個學生，給我們做推薦算法，上億的數據，非得java，結果32G的內存怎么都搞不定
北京-普通人(409031406) 2013-6-28 11:04:03
想用好hibernate還是要高手
上海-石頭哥(59851444) 2013-6-28 11:04:18
如果一直使用hibernate，但本身自己sql基礎不牢，其實到后期很致命
遙執乾坤(44758121) 2013-6-28 11:04:20
對。hibernate我當年用的時候，被里面的幾個bug搞死了，后來只能修改hibernate源碼才搞定。浪費了太多時間。
~游濄丿群鴨(39012090) 2013-6-28 11:04:47
hibernate只能完成80%的任務。
abc(951514291) 2013-6-28 11:04:57
要不就用Mybatics，JPA
~游濄丿群鴨(39012090) 2013-6-28 11:05:08
一些復雜查詢，還是得sql來的直接
Glory(1302516908) 2013-6-28 11:05:19
后來直接把他踢走，換另外一個學生過來，8G內存穩定可控，一天推薦的算量還提高好幾倍
遙執乾坤(44758121) 2013-6-28 11:06:05
我寫了一個2個文件，一個db操作，一個多鏈接cache，然后就解決了80%的數據庫問題。操作方式和hibernate的基礎方式幾乎一樣。也是沒有sql語句就能辦事情。
北京-普通人(409031406) 2013-6-28 11:06:06
很多做JAVA的人，做內存控制，內存處理這塊，是沒有概念的
Glory(1302516908) 2013-6-28 11:06:28
只是內存控制沒概念還好，關鍵是數據結構沒概念
上海-石頭哥(59851444) 2013-6-28 11:06:40
如果sql本身基礎很牛B，那你用hibernate我覺得還是可以大大開發效率
~游濄丿群鴨(39012090) 2013-6-28 11:06:53
hibernate 有個很大的用處就是通用各種數據庫呀
Glory(1302516908) 2013-6-28 11:07:13
上億的數據，本是稀疏矩陣，他竟然敢使用兩級字典做數據結構
上海-石頭哥(59851444) 2013-6-28 11:07:18
后來我一直用ibatis
遙執乾坤(44758121) 2013-6-28 11:07:23
通用數據庫，是我認為hibernate唯一值得用的地方。
上海-石頭哥(59851444) 2013-6-28 11:07:36
是因為我也不太喜歡太多的限制
~游濄丿群鴨(39012090) 2013-6-28 11:07:45
不然僅僅是db操作和cache，很多db庫都能做
上海-石頭哥(59851444) 2013-6-28 11:07:51
這點似乎沒啥用
誰會老換數據庫
遙執乾坤(44758121) 2013-6-28 11:08:10
適合你調用別人數據庫的情況。
別人的數據庫天知道啥玩意。有些還是嵌入式的呢。
~游濄丿群鴨(39012090) 2013-6-28 11:08:25
恩
上海-石頭哥(59851444) 2013-6-28 11:08:51
我游走過幾個公司，有銀行，也有第三方支付等
發現hibernate在這些地方出場并不高
幾乎沒有
都是用ibatis
Glory(1302516908) 2013-6-28 11:09:44
訪問量略微大一點，hibernate撐不住啊
上海-石頭哥(59851444) 2013-6-28 11:10:19
關鍵不是這個
是生成的sql不一定可控，這也是很大一方面
~游濄丿群鴨(39012090) 2013-6-28 11:11:21
訪問量大的地方得另外處理了。hibernate 不適合做互聯網應用，做做后臺管理還是可以的。
上海-石頭哥(59851444) 2013-6-28 11:11:23
自己寫sql嘛，你懂的，出來的什么 都知道
遙執乾坤(44758121) 2013-6-28 11:11:25
我寫的代碼和ibatis的結構很像，呵呵。就是輕量很多。
但同時也有bug的多。。。唉。
abc(951514291) 2013-6-28 11:12:00
訪問量大，并發高，把hibernate的緩存用好，再結合第三方緩存框架也可以啊
上海-石頭哥(59851444) 2013-6-28 11:12:03
bug多慢慚改
慢慢改
~游濄丿群鴨(39012090) 2013-6-28 11:12:54
后臺統計、計算這些未必還用hibernate啊？
遙執乾坤(44758121) 2013-6-28 11:13:29
就一個接口。剩下的就是Mysql，oracle的實現了。
jace(793727599) 2013-6-28 11:14:48
你們有專職做數據分析工作的嗎？
Glory(1302516908) 2013-6-28 11:14:52
有那個空改第三方框架的bug，就不能自己寫？
最有意思的，java比c++隊伍多一個崗位：系統架構師
遙執乾坤(44758121) 2013-6-28 11:15:46
c++也有。。。
Glory(1302516908) 2013-6-28 11:15:54
~游濄丿群鴨(39012090) 2013-6-28 11:15:59
架構師應該都有吧。
上海-石頭哥(59851444) 2013-6-28 11:16:07
呵呵！
遙執乾坤(44758121) 2013-6-28 11:16:10
搜索構架師。
Glory(1302516908) 2013-6-28 11:16:14
事實上是有，但c++的隊伍較少公開專門招
jace(793727599) 2013-6-28 11:16:14
類似數據科學家的角色
上海-石頭哥(59851444) 2013-6-28 11:16:20
系統架構師并不是指語言的
java的也有好吧
你們把語言看得太重了
我想說 太年輕
了
Glory(1302516908) 2013-6-28 11:17:00
說的太對了，真正的系統架構師應該是通用的
遙執乾坤(44758121) 2013-6-28 11:17:04
構架師只有大規模項目才需要。
上海-石頭哥(59851444) 2013-6-28 11:17:07
我們公司的就是
Glory(1302516908) 2013-6-28 11:17:14
但java通常有個專門崗位：jva系統架構師，
上海-石頭哥(59851444) 2013-6-28 11:17:18
雖然不見得比我牛B
呵呵！
那是錯誤的認識
Glory(1302516908) 2013-6-28 11:18:00
很多公司專門招java系統架構師的
上海-石頭哥(59851444) 2013-6-28 11:18:02
我們公司的架構師常常問我一些問題的
Glory(1302516908) 2013-6-28 11:18:24
條件就是熟悉各類java框架
加速度(272551280) 2013-6-28 11:18:24
solr 查詢 返回時 剔除了html的內容 怎么改成不剔除呢？
上海-石頭哥(59851444) 2013-6-28 11:18:26
強調的是系統及架構
加速度(272551280) 2013-6-28 11:19:16
solr 查詢 返回時 剔除了html的內容 怎么改成不剔除呢？
有哪位同學 研究過這個？
Glory(1302516908) 2013-6-28 11:20:23
我們土比，偶爾用用solr，都是自己轉碼
~游濄丿群鴨(39012090) 2013-6-28 11:20:44
呵呵 熟悉主流框架，就能從這些成熟的產品吸取經驗嘛
遙執乾坤(44758121) 2013-6-28 11:31:04
有運維人員想找工作不？
哥不要開發，開發找個在校大學生就能搞定了。需要的是運維，因為運維沒有幾年經驗，啥都不會。
~游濄丿群鴨(39012090) 2013-6-28 11:32:27
開發這么不值錢了。。。
遙執乾坤(44758121) 2013-6-28 11:33:13
，核心開發有人了啊，外圍開發自然找幾個實習生足夠了。
北京-***(506650296) 2013-6-28 11:34:15
恩，學生可塑性高，聽話
jace(793727599) 2013-6-28 11:56:19
只要有錢有人有咨詢，想不嬴都不行
jace(793727599) 2013-6-28 12:02:03
有錢意味能用最穩定最先進的架構，有人意味著分工明確，每個領域都各司其職，有專業的工程師，有咨詢意味著可以跟IBM、Oracle、teradata、intel等合作，搞一些規范成熟的方案。
jace(793727599) 2013-6-28 12:03:03
類似于拍電影，有導演有劇本有主角。
jace(793727599) 2013-6-28 12:09:01
所以窩在大公司里可以學到很多東西
Glory(1302516908) 2013-6-28 12:10:51
頭一次聽說，窩在大公司里可以學到很多東西
jace(793727599) 2013-6-28 12:11:40
反正我學到挺多的
Glory(1302516908) 2013-6-28 12:13:11
上邊的人可以學到很多東西
而且有足夠的錢來回折騰
十一月的肖邦(1041901964) 2013-6-28 12:13:35
大公司學得多嗎
表示想去大公司
Glory(1302516908) 2013-6-28 12:14:12
像阿里的技術高層，大概把所有的高性能方案都學習探索過
空/卡皮(501968942) 2013-6-28 12:15:10
進不去啊
Glory(1302516908) 2013-6-28 12:16:23
我當年去華為，操成天就那點屌東西，整個三級部門就那點屌東西
要學東西，大概得混到三級部門經理以上的級別了
遙執乾坤(44758121) 2013-6-28 12:19:17
去互聯網公司吧，的確可以學到很多東西，只要你愿意。
空/卡皮(501968942) 2013-6-28 12:23:33
哦哦
初學者 進也難啊
Glory(1302516908) 2013-6-28 12:23:56
有沒有阿里的？過兩年現在的公司成不了，爭取去阿里了
遙執乾坤(44758121) 2013-6-28 12:24:23
阿里不要大于30歲的人。
空/卡皮(501968942) 2013-6-28 12:24:37
為什么
遙執乾坤(44758121) 2013-6-28 12:24:45
沒有前途了啊。
Glory(1302516908) 2013-6-28 12:24:49
扯啊，阿里動不動開年薪五六十萬，都是30多歲的人
南京-聽風(190661155) 2013-6-28 13:30:18
怎么可能不要30歲以上的人，阿里需要的反而大多數是30歲以上經驗豐富的
十一月的肖邦(1041901964) 2013-6-28 13:36:41
action怎樣獲取前臺select 的值
陽光(413055687) 2013-6-28 14:04:43
request.getParameter("")就可以，或者Action里變量? 名稱跟select名字一樣，有getXXX,setXXX方法也行
北京-普通人(409031406) 2013-6-28 16:51:27
有遇到這樣的情況么，在window下，用jdbc去跑100個mysql查詢需要600毫秒，在linux需要1500毫秒
遙執乾坤(44758121) 2013-6-28 16:54:51
mysql下，跑一個簡單的select范圍查詢，有索引的情況下，花費了2分鐘，大家又遇到過么？
上海-石頭哥(59851444)? 17:00:12
把sql貼出來看看吧
說不定可以看出什么 端倪
100個才600ms
還有什么可以說的啊
2分鐘的看一睛
遙執乾坤(44758121)? 17:03:24
select AvgDownloadSpeed,UploadTaskTime,peerid,TaskDefinitionID from taskexecmain where UploadTaskTime>='2013-06-18 00:00:00 000' and UploadTaskTime<'2013-06-19 00:00:00 000' and TaskDefinitionID in ('7194','7195','7196',) and totalDownLoadTime>'1.4E-45' and totalDownLoadTime<'200.0' and (errorcode is null OR errorcode = '0') limit 0,5000, time:226613167540,ok:true
time:226613167540 納秒，其實就是226秒。
上海-石頭哥(59851444)? 17:05:22
我的媽呀
7194 ~ 7489
上海-石頭哥(59851444)? 17:05:55
這是連起來的啊
上海-石頭哥(59851444)? 17:07:30
and (errorcode is null OR errorcode = '0')
把這個 is null
換成其它方式試試
去掉這個能快多少
遙執乾坤(44758121)? 17:11:01
實際的in有1k多個值，這里拷貝不下。
上海-石頭哥(59851444)? 17:13:04
in里邊的數據是string不是int的嗎
還有你數據字段用是的string是嗎
遙執乾坤(44758121)? 17:14:24
in里面是int，但這些int不能保證連續。
京-一夏<wpx378802619@qq.com>? 17:14:33
in換成exists試試
上海-石頭哥(59851444)? 17:14:40
那你把引號去掉
遙執乾坤(44758121)? 17:14:46
不是一樣么？
引號這種就算轉化也會很快才對啊。
北京-普通人(409031406)? 17:24:36
mysql在你本地，還是其他機器上
遙執乾坤(44758121)? 17:24:50
都是本機跑的。
北京-普通人(409031406)? 17:25:18
那本機跑。應該挺快遞
Glory(1302516908)? 17:25:24
我們現在倒騰數據都用shell，發現shell真他媽強大
mysql里只剩下最后簡單查看的數據，幾乎不用mysql做任何略微復雜的運算了
北京-普通人(409031406)? 17:27:38
shell確實很強大
awk 對數據處理很強大
遙執乾坤(44758121)? 17:28:35
awk處理文本數據，已經足夠了。
南京-聽風(190661155)? 17:28:35
我也聽說了，能舉個應用場景嗎
舉個應用的例子
北京-普通人(409031406)? 17:29:56
對文本數據處理，確實完全夠了
Glory(1302516908)? 17:31:15
非實時系統就有這個好處，早晨8點上班前把數據準備好就OK
北京-普通人(409031406)? 17:31:41
一般用于做分析，做計算用
Glory(1302516908)? 17:31:51
再大的數據都不存在大數據問題了
北京-普通人(409031406)? 17:31:54
恩。大數據公司估計用的多
Glory(1302516908)? 17:33:58
好像群里有些兄弟去年去云基地，云基地都做什么啊？
南京-聽風(190661155)? 17:34:20
哪個云基地？
云基地現在多如牛毛
北京-普通人(409031406)? 17:35:34
云基地？在那里
云基地搞云計算？
Glory(1302516908)? 17:36:07
北京北邊什么云基地，去年群里不是好幾個人去嗎？
北京-醉(253215039)? 17:40:59
@乾坤：
上面那個sql所在表什么量級？
遙執乾坤(44758121)? 17:46:54
1100w
北京-醉(253215039)? 17:49:17
應該是做全表掃瞄了
遙執乾坤(44758121)? 17:50:18
沒有，全部掃描估計30分鐘都搞不定，有好幾十個G呢。
北京-醉(253215039)? 17:50:42
這么大的表啊？
北京-醉(253215039)? 17:51:45
一條紀錄有5k？
遙執乾坤(44758121)? 17:52:15
沒有5k，但也有上K。
橫瓜(601069289)? 17:53:15
計算要放應用層
不要采用SQL執行計算
北京-醉(253215039)? 17:53:53
高版本mysql應該會自動優化
Glory(1302516908)? 17:54:06
先加個where TaskDefinitionID > <的條件，大概能快很多
橫瓜(601069289)? 17:54:21
可以采用垂直分解應用業務和復雜計算
遙執乾坤(44758121)? 17:54:41
TaskDefinitionID 有十萬多個。
橫瓜(601069289)? 17:54:50
如果數據量特別大,請采用水平方式來分解應用業務和復雜計算
采用水平方式來分解應用業務和復雜計算
可處理TB級的數據量,為全世界提供信息服務
北京-醉(253215039)? 17:55:30
如果是int型，查詢時加了引號，未必能用到索引。
遙執乾坤(44758121)? 17:55:45
mysql好像只能用一個索引。
北京-醉(253215039)? 17:55:56
另外得把is null去掉吧，這東西肯定不命中索引
橫瓜(601069289)? 17:56:12
必要時,可以支持1秒/10萬次-100萬次的請求
北京-醉(253215039)? 17:56:31
可以有多個，但你這么大的表，也不能多建。
橫瓜(601069289)? 17:56:46
如果優化到非常完美的情況下,可以支持1秒/10萬次-100萬次的請求
北京-醉(253215039)? 17:56:54
這么大數據，索引也很耗資源
橫瓜(601069289)? 17:57:05
等于100個GOOGLE的請求水平
北京-普通人(409031406)? 17:58:21
1秒/10萬次到100萬次的請求，應該要看cpu和數據量吧
Glory(1302516908)? 17:59:11
那些值都是連續的，肯定是大小比較嘛，怎么會用in?
橫瓜(601069289)? 17:59:20
采用普通PC+固態硬盤+水平分解業務+緩存+LINUX2.4以上的版本+接入層請求分發均衡
北京-醉(253215039)? 17:59:22
1秒10萬次請求，真實的qps也就1000左右把，允許有100ms的網絡延遲

總結

以上是生活随笔為你收集整理的横瓜执导众程序员开展大讨论关于C、JAVA及其它主流IT技术使用情况和优点缺点。...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。